BP神經(jīng)網(wǎng)絡(luò)第一篇（M-P模型）

• BP神經(jīng)網(wǎng)絡(luò)背景
• • 人工神經(jīng)網(wǎng)絡(luò)（簡稱神經(jīng)網(wǎng)絡(luò)）
  • • • 神經(jīng)元
      • 神經(jīng)元模型
  • M-P模型
  • • Hebb規(guī)則
  • 總結(jié)

BP神經(jīng)網(wǎng)絡(luò)背景

在認識BP神經(jīng)網(wǎng)絡(luò)模型前，得先了解一下什么是神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)就是一種運算模型。

神經(jīng)網(wǎng)絡(luò)是由大量神經(jīng)元（節(jié)點）之間相互連接構(gòu)成。

目前所有的數(shù)十種神經(jīng)網(wǎng)絡(luò)模型，主要是分為4種：前向型、反饋性、隨機型、競爭型。

前向型：就是從input開始，一級一級向output傳輸，最后輸出。一直向前傳輸，網(wǎng)絡(luò)中各個神經(jīng)元接受前一級的輸入，并輸出到下一級。

反饋型：就是在input到output的傳輸過程中，信息有往回走的。網(wǎng)絡(luò)內(nèi)神經(jīng)元之間有反饋。（再簡單粗暴一點，比如我是其中一個神經(jīng)元，前一個神經(jīng)元給我傳輸了一個大八卦（信息），我看到之后回頭跟它吐槽，我吐槽的內(nèi)容就是反饋的信息。我扭頭跟它吐槽的這個行為就是反饋。）

人工神經(jīng)網(wǎng)絡(luò)（簡稱神經(jīng)網(wǎng)絡(luò)）

在這幾年人工智能領(lǐng)域打的很火熱，人工神經(jīng)網(wǎng)絡(luò)是20世紀(jì)80年代以來人工智能領(lǐng)域研究的熱點。聽名字就可以理解到一點：人工，神經(jīng)網(wǎng)絡(luò)。

顧名思義就是人工模擬人腦神經(jīng)元網(wǎng)絡(luò)。它從信息處理角度對人腦神經(jīng)網(wǎng)絡(luò)進行抽象表達，構(gòu)建出一種模型，按照不同的連接方式組成不同的網(wǎng)絡(luò)，來對實際問題進行計算。

（其實了解一下神經(jīng)網(wǎng)絡(luò)模型的提出者就發(fā)現(xiàn)一個有趣的現(xiàn)象，新的模型提出是數(shù)學(xué)家+心理學(xué)家或者物理學(xué)家+心理學(xué)家，對于神經(jīng)網(wǎng)絡(luò)，總要對神經(jīng)學(xué)之類的有了解才能研究出原理提出模型嘛）

人工神經(jīng)網(wǎng)絡(luò)是由大量處理單元互相聯(lián)合組成的非線性、自適應(yīng)信息處理系統(tǒng)。它試圖通過模擬大腦神經(jīng)網(wǎng)絡(luò)處理、記憶信息的方式進行信息處理。

人工神經(jīng)網(wǎng)絡(luò)一共有4個特征：非線性、非局限性、非常定型、非凸性。

神經(jīng)網(wǎng)絡(luò)中的重要概念：神經(jīng)元

神經(jīng)元

什么是神經(jīng)元，先不著急，看一下生物學(xué)上的神經(jīng)元：

這是我們?nèi)四X神經(jīng)元形狀，人腦由無數(shù)個神經(jīng)元組成。
一個神經(jīng)元經(jīng)常有多個樹突，一條軸突，多個軸突末梢，軸突末梢再跟下一個神經(jīng)元的樹突連接起來。

樹突（input）：用來接收傳入的信息
細胞核：計算處理信息
軸突（output）：向外傳遞處理過的信息。通過多個末梢傳遞到下一個神經(jīng)元的多個樹突，如此往復(fù)。

根據(jù)上圖的神經(jīng)元形狀，就可以知道，抽象化的神經(jīng)元模型就是一個包含輸入，輸出與計算功能的模型。

神經(jīng)元可以使用任何標(biāo)準(zhǔn)函數(shù)來處理數(shù)據(jù)，而在細胞核的位置，也就是有計算功能的位置，這些函數(shù)被統(tǒng)稱為激活函數(shù)。激活函數(shù)被要求是可導(dǎo)的、光滑的。

神經(jīng)元模型

神經(jīng)元模型就是一個包含輸入，輸出與計算功能的模型。
如下圖中，

input相當(dāng)于神經(jīng)元的樹突
計算相當(dāng)于神經(jīng)元的細胞核
輸出相當(dāng)于神經(jīng)元的軸突

再來看下圖，設(shè)定為3個輸入，2個計算過程（非線性函數(shù)就是一個激活函數(shù)），一個輸出：

在整個神經(jīng)元中，最重要的就是連接（即input指向計算的那條線）
每條連接上都有一個權(quán)重值，一個神經(jīng)網(wǎng)絡(luò)的訓(xùn)練算法就是通過調(diào)整權(quán)值到一個最佳值，使網(wǎng)絡(luò)模型的預(yù)測效果最好。

我們用a來表示輸入，w表示權(quán)值，那么由a指向計算的箭頭可以這么理解：在剛從a出發(fā)的時候，信息大小是a；在半路上碰到加權(quán)參數(shù)（權(quán)值），那么經(jīng)過這個參數(shù)后，傳輸?shù)郊^那里的時候信號大小變?yōu)榱?a*w

上圖中我們用g(x)來表示非線性函數(shù)，那么最終輸出的是：$output=g(a1?w1+a2?w2+a3?w3)$

說明：一個神經(jīng)元的輸出可以有多個箭頭指向，但是這些箭頭上的值都是相等的。（想象一下，軸突傳出信息到軸突末梢，同一個軸突出來的信息肯定是一樣的，所有相同的信息都通過多個末梢再傳遞給下一個神經(jīng)元。）
下面的處理就會將計算那里整個隱藏起來，也就是說計算部分用一個$f$表示：

M-P模型

神經(jīng)元理解的差不多了，來看神經(jīng)網(wǎng)絡(luò)的鼻祖模型—M-P模型。MP模型是最早一個神經(jīng)網(wǎng)絡(luò)模型，雖說是一個簡單的模型，但是它為神經(jīng)網(wǎng)絡(luò)的發(fā)展打好了地基。

MP模型就是我們上面畫的模型，包含輸入，計算，輸出。它有一個缺點，就是模型出來時。權(quán)值是預(yù)先設(shè)置不可改變的。所以沒辦法對輸入的數(shù)據(jù)進行學(xué)習(xí)和預(yù)測。

Hebb規(guī)則

鑒于MP模型權(quán)值是固定的，無法進行學(xué)習(xí)，想要網(wǎng)絡(luò)模型具有學(xué)習(xí)功能，就必須要求w值是可改變的。所以提出了Hebb規(guī)則。

Hebb規(guī)則是最早提出的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)規(guī)則之一，用于人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練。
通過更新權(quán)重值來訓(xùn)練神經(jīng)網(wǎng)絡(luò)，使其能夠有一個較好的學(xué)習(xí)和預(yù)測。

參數(shù)說明：
$p_j$:輸入的信息
$w_{ij}$:權(quán)重值
$a_i$:實際輸出值（模型預(yù)測出來的）
$t_i$:目標(biāo)輸出值（我們想要得到的）
$f$,$g$:計算中的函數(shù)
$\alpha$:學(xué)習(xí)率

上圖就是一個簡單的表達，用數(shù)學(xué)表達Hebb規(guī)則就是：
$$新的w_{ij}=舊的w_{ij}+\alpha ?f(a_i)g(p_j)$$
即：
$$新的w_{ij}=舊的w_{ij}+\alpha a_i{p}_j$$

在這里，暫時不考慮學(xué)習(xí)率（如果不了解學(xué)習(xí)率，請翻看另一篇梯度下降博客，里面有學(xué)習(xí)率的具體含義，在此不多做解釋），只看Hebb規(guī)則的話，那么用數(shù)學(xué)表達的Hebb規(guī)則就是：
$$新的w_{ij}=舊的w_{ij}+a_i{p}_j$$

上述的學(xué)習(xí)規(guī)則表達式是一種無監(jiān)督式的學(xué)習(xí)，那么有監(jiān)督的學(xué)習(xí)就是用我們想要的目標(biāo)輸出代替實際輸出：

把未知的$a_i$，替換為目標(biāo)（已知的）值$t_i$（為了讓預(yù)測值更加接近目標(biāo)值），那么到此，有監(jiān)督的學(xué)習(xí)表達式為：
$$新的w_{ij}=舊的w_{ij}+t_i{p}_j$$

總結(jié)

BP神經(jīng)網(wǎng)絡(luò)第一篇到此完結(jié)，主要是了解人工神經(jīng)網(wǎng)絡(luò)，知道什么是神經(jīng)網(wǎng)絡(luò)，什么是神經(jīng)元，神經(jīng)元模型是什么，MP模型是什么樣子，Hebb學(xué)習(xí)規(guī)則為何存在，存在的目的。

以上若有誤，敬請指正。

總結(jié)

以上是生活随笔為你收集整理的BP神经网络模型---第一篇（M-P模型）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。