? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?Python KNN K近鄰分類

1 聲明

本文的數據來自網絡，部分代碼也有所參照，這里做了注釋和延伸，旨在技術交流，如有冒犯之處請聯系博主及時處理。

2 KNN簡介

相關概念見下：

對于給定的觀測來預測目標分類時KNN算法執行過程是:

首先先基于計算距離度量方法(如歐式距離)的識別出k個最近的觀測(也叫做的鄰居)

然后這K個觀測基于自己的分類選舉出最終預測的分類。

觀測是第j類的概率見如下公式:

其中v是Xu ?附近內的k個觀測，yi是第i個觀測對應的分類。I是指示函數（1代表真否則為0），在scikit-learn里可通過predict_proba方法查看觀測屬于某個分類的概率。

歐幾里德距離（euclidean）:?

曼哈頓距離（manhattan）:?

閔可夫斯基距離(Minkowski Distance):?

?注:這里p等于1即曼哈頓距離，p等于2即歐幾里德距離。

3 KNN代碼示例

# Step1 加載相關包，(因涉及距離計算，這里將特征都縮放到同一量綱上) from sklearn.neighbors import KNeighborsClassifier from sklearn.preprocessing import StandardScaler from sklearn import datasets from sklearn.pipeline import Pipeline, FeatureUnion from sklearn.model_selection import GridSearchCV # Step2 裝載數據，指定X(特征)y(目標) iris = datasets.load_iris() X = iris.data y = iris.target # Step3 對所有特征實施標準化 standardizer = StandardScaler() X_std = standardizer.fit_transform(X)# Step4 訓練KNN分類器(指定n_neighbors=5為5個，n_jobs=-1即盡可能利用計算機資源) knn = KNeighborsClassifier(n_neighbors=5, n_jobs=-1).fit(X_std, y) # Step5 利用新的觀測預測分類（這里新2個觀測） new_observations = [[ 0.75, 0.75, 0.75, 0.75], [ 1, 1, 1, 1]] print(knn.predict(new_observations)) print(knn.predict_proba(new_observations))# 創建一個pipeline pipe = Pipeline([("standardizer", standardizer), ("knn", knn)]) # 指定n_neighbors參數的候選值 search_space = [{"knn__n_neighbors": [1, 2, 3, 4, 5, 6, 7, 8, 9, 10]}] # 創建網格搜索與交叉驗證 classifier = GridSearchCV( pipe, search_space, cv=5, verbose=0).fit(X_std, y) # 輸出n_neighbors最好的參數 print(classifier.best_estimator_.get_params()["knn__n_neighbors"])

4 總結

關于KNeighborsClassifier超參數的幾點說明:

1 度量指標Metric是計算距離的參數

2 n_jobs參數用于指定能利用計算的多少個核，用于并行計算。

3 algorithm參數用于指定利用何種算法計算最近的鄰居，一般不用刻意指定。

4 weights參數被指定距離時距離近的觀測在“投票”分類時權重會大于遠的鄰居。

5 計算時需要將所有的特征進行標準化，即將它們縮放到同一個量綱上。

總結

以上是生活随笔為你收集整理的Python KNN K近邻分类的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。