分類算法有兩種類型：感知器和適應(yīng)性線性神經(jīng)元

神經(jīng)元的數(shù)學(xué)表示

$$w=?\begin{array}{c}{w}_1\\ w_2\\ ...\\ w_m\end{array}?,x=?\begin{array}{c}{x}_1\\ x_2\\ ...\\ x_m\end{array}?$$
$$z=w_1{x}_1+w_2{x}_2+???+w_m{x}_m$$
其中w為權(quán)重，x為訓(xùn)練樣本

感知機的訓(xùn)練步驟

把權(quán)重向量初始化為0，或把每個分向量初始化為[0,1]間任意小數(shù)

把訓(xùn)練樣本輸入感知機，得到分類結(jié)果（-1或1）

根據(jù)分類結(jié)果更新權(quán)重向量

激活函數(shù)

為了計算方便我們添加$w_0{x}_0$， 其中$w_0=?\theta ，x_0=1$ 則
$$z=w_0{x}_0+w_1{x}_1+...+w_m{x}_m=w^{T}x,?(z)=\{\begin{array}{ll}1& \text{if?z>0}\\ ?1,& \text{otherwise}\end{array}$$
這樣，當(dāng)$z>0$時，$?(z)=1$，當(dāng)$z<0$時，$?(z)=?1$.

權(quán)重的更新算法

• $w(j)=w(j)+\Delta w(j)$
• $\Delta w(j)=\eta ?(y?y^{\prime })?x(j)$ : y表示x(j)的正確分類，y’表示感知機算出來的分類，x(j)表示訓(xùn)練樣本。可以看出來如果感知器的分類結(jié)果$y^{\prime }$與正確分類$y$相同時，那么可以得到$\Delta w(j)=0$，也就可以得到$w(j)=0$，也就是說如果感知器可以正確對數(shù)據(jù)樣本進(jìn)行正確分類，那么對權(quán)重$w(j)$就不需要進(jìn)行調(diào)整；只有感知器得到了錯誤的分類結(jié)果之后，出需要調(diào)整權(quán)重向量$w(j)$。
• $\eta$ 表示學(xué)習(xí)率是[0,1]之間的一個小數(shù)，一般有使用者自己設(shè)置。通過反復(fù)運行模型，人為根據(jù)經(jīng)驗調(diào)整學(xué)習(xí)率$\eta$，使得模型訓(xùn)練結(jié)果越來越好。
• $w(0)=0,\Delta w(0)=\eta ?(y?y^{\prime })$閾值的更新

舉例說明如何更新權(quán)重

假設(shè)

權(quán)重向量初始化為：$w=[0,0,0]$

訓(xùn)練樣本的值：$x=[1,2,3]$

學(xué)習(xí)率：$\eta =0.3$

這個樣本的正確分類y=1

感知器算出來的分類是y’=-1

調(diào)整權(quán)重向量$\Delta w(0)=0.3?(1?(?1))?x(0)=0.3?2?1=0.6$，$w(0)=w(0)+\Delta w(0)=0.6$，則權(quán)重的第一個分量更新為0.6，即$w=[0.6,0,0]$

同理，$\Delta w(1)=0.3?(1?(?1))?x(1)=0.3?2?2=1.2$，則更新權(quán)重的第二個分量為$w(1)=w(1)+\Delta w(1)=1.2$

同理，$\Delta w(2)=0.3?(1?(?1)?x(2))=0.3?2?3=1.8$，則更新權(quán)重的第三個分量為$w(2)=w(2)+\Delta w(2)=1.8$

最終可以得到更新后的權(quán)重向量為$w=[0.6,1.2,1.8]$

這樣就可以再次將新的訓(xùn)練樣本輸入到模型中，根據(jù)分類結(jié)果走相同的步驟繼續(xù)改進(jìn)權(quán)重向量。

感知器算法的適用范圍

必須要滿足上圖中第一個圖中的情況，也就是預(yù)測的數(shù)據(jù)可以現(xiàn)行分割，感知器的訓(xùn)練目標(biāo)就是要找出這條線。而后面兩個情況，是無法進(jìn)行線性可分的，不適用于感知器算法進(jìn)行分類。

代碼實現(xiàn)

定義感知器類

import numpy as npclass Perceptron(object):"""eta: 學(xué)習(xí)率n_iter: 權(quán)重向量的訓(xùn)練次數(shù)w_: 神經(jīng)分叉權(quán)重向量errors_: 用于記錄神經(jīng)元判斷出錯次數(shù)"""def __init__(self, eta = 0.01, n_iter = 10):self.eta = etaself.n_iter = n_iterpassdef fit(self, X, y):"""輸入訓(xùn)練數(shù)據(jù)，培訓(xùn)神經(jīng)元，X表示輸入樣本, y對應(yīng)樣本的正確分類X: shape[n_samples, n_features]n_samples:表示有多少個訓(xùn)練樣本數(shù)量n_features: 表示有多少個屬性例如：X: [[1,2,3], [4,5,6]] => n_samples=2;n_features=3y: [1, -1]表示第一個向量的分類是1, 第二個向量的分類是-1""""""首先初始化權(quán)重為0加一是因為激活函數(shù)w0,也就是閾值,這樣就只用判斷輸出結(jié)果是否大于0就可以了"""self.w_ = np.zero(1 + X.shape[1])self.errors_ = []"""只要出現(xiàn)錯誤分類，那么反復(fù)訓(xùn)練這個樣本，次數(shù)是n_iter"""for _ in range(self.n_iter): errors = 0"""X:[[1,2,3], [4,5,6]]y:[1, -1]zip(X, y) => [[1,2,3,1], [4,5,6-1]]"""for xi, target in zip(X,y):"""update = η * (y-y')"""update = self.eta * (target - self.predict(xi))"""xi 是一個向量, 例如[1,2,3], target表示1update 是一個常量update*xi 等價于 [Δw(1) = X[1]*update, Δw(2) = X[2]*update, Δw(3) = X[3]*update]"""# w_[1:]表示w忽略第0個元素，從第一個元素開始往后self.w_[1:] += update * xiself.w_[0] += update * 1errors += int(update != 0.0)self.errors_.append(errors)passpassdef net_input(self, X):"""z = W0*1 + W1*X1 + W2*X2+ ...+ Wn*Xn"""return np.dot(X, self.w_[1:]) + self.w_[0]def predict(self, X):"""如果self.net_input(X) >= 0.0返回1, 否則返回-1"""return np.where(self.net_input(X) >= 0.0 , 1, -1)

目前雖然有了感知器的分類算法，但是還沒有運行起來，下面將如何使用這個感知器分類算法，然后將訓(xùn)練樣本輸入到模型中，最后進(jìn)行預(yù)測數(shù)據(jù)。

介紹訓(xùn)練數(shù)據(jù)

有了基本模型后，要做的就是要把大量的數(shù)據(jù)，輸入至模型中，讓模型通過對大量數(shù)據(jù)的觀察，總結(jié)出數(shù)據(jù)中隱含的某種規(guī)律，根據(jù)數(shù)據(jù)特點不斷調(diào)節(jié)模型中神經(jīng)元權(quán)重數(shù)值，當(dāng)神經(jīng)元的權(quán)重數(shù)值調(diào)節(jié)到合適的范圍之內(nèi)后，就可以利用訓(xùn)練后的模型對新的數(shù)據(jù)進(jìn)行預(yù)測分類。
首先需要先介紹訓(xùn)練數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)。訓(xùn)練數(shù)據(jù)內(nèi)容如下：

使用pandas工具，來讀取數(shù)據(jù)，可以很容易的進(jìn)行抽取數(shù)據(jù)。
首先安裝pandas:pip install pandas -i https://pypi.douban.com/simple

import pandas as pdfile="./iris.csv" df = pd.read_csv(file, header=None) print(df.head())

結(jié)果輸出如下：

可視化展示這個數(shù)據(jù)，使用matplotlib工具進(jìn)行展示。

import matplotlib.pyplot as plt import numpy as np from test3 import df# 將df中0到100行的數(shù)據(jù)的第四列賦值給y向量 y = df.loc[0:100, 4].values # 將Iris-setosa轉(zhuǎn)為-1,其余轉(zhuǎn)為1 y = np.where(y == 'Iris-setosa', -1, 1) # print(y) # 將df0到100行的數(shù)據(jù)的第0列和第2列抽取出來，賦值給x向量 X = df.iloc[0:100, [0, 2]].values # print(X) # 將X向量的錢50條數(shù)據(jù)的第0列作為x軸，第1列作為y軸坐標(biāo)，畫在二維坐標(biāo)軸，畫出來的點是紅色的'o', plt.scatter(X[:50, 0], X[:50, 1], color = 'red', marker='o', label='setosa') plt.scatter(X[50:100, 0], X[50:100, 1], color = 'blue', marker='x', label='versicolor') plt.xlabel('花瓣長度') plt.ylabel('花徑長度') plt.legend(loc='upper left') # 下面兩行解決亂碼問題 plt.rcParams['font.sans-serif'] = ['KaiTi'] # 指定默認(rèn)字體 plt.rcParams['axes.unicode_minus'] = Falseplt.show()

可以看出來這兩類數(shù)據(jù)可以線性分割開。

一步一步調(diào)試

初始化eta=0.1, w=[0 0 0]5.1,1.4,target=-1, self.net_input(x)=W0*1+W1*5.1+W2*1.4=0,self.predict(xi)=1,update=eta*(target-self.predict(xi))=0.1*(-2)=-0.2,errors=1,W=[1*(-0.2)5.1*(-0.2)1.4*(-0.2)]=[-0.2 -1.02 -0.28] 4.9,1.4,target=-1, self.net_input(x)=W0*1+W1*4.9+W2*1.4=-0.2*1+(-1.02)*4.9+(-0.28)*1.4=-0.3918432<0,self.predict(xi)=-1,update=eta*(target-self.predict(xi))=0.1*0=0,errors=1,W=[-0.2+1*0-1.02+4.9*0-0.28+1.4*0]=[-0.2 -1.02 -0.28] 4.7,1.3,target=-1, self.net_input(x)=W0*1+W1*4.7+W2*1.3=-0.2+(-4.794)+(-0.364)<0,self.predict(xi)=-1,update=0,errors=1,W=[-0.2 -1.02 -0.28] 5.4,1.7,target=-1,self.net_input(x)<0,self.predict(xi)=-1,update=0,errors=1,W=[-0.2 -1.02 -0.28] 7,4.7,target=1,self.net_input(x)<0,self.predict(xi)=-1,update=0.2,errors=2,W=[(-0.2)+(0.2*1) (-1.02)+(0.2*7) (-0.28)+(0.2*4.7)]=[0 0.38 0.66]

首先得到樣本數(shù)據(jù)和分類標(biāo)簽target

然后計算預(yù)測標(biāo)簽的值predict

更新權(quán)重W=eta*(target-predict), 將上一次的權(quán)重W進(jìn)行累加w(j)+Δw(j)

以此類推

總結(jié)

以上是生活随笔為你收集整理的机器学习系列（一）感知器分类算法的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。