在深度神經(jīng)網(wǎng)絡(luò)（DNN）模型與前向傳播算法中，我們對(duì)DNN的模型和前向傳播算法做了總結(jié)，這里我們更進(jìn)一步，對(duì)DNN的反向傳播算法（Back Propagation，BP）做一個(gè)總結(jié)。

1. DNN反向傳播算法要解決的問(wèn)題

　　　　在了解DNN的反向傳播算法前，我們先要知道DNN反向傳播算法要解決的問(wèn)題，也就是說(shuō)，什么時(shí)候我們需要這個(gè)反向傳播算法？　

　　　　回到我們監(jiān)督學(xué)習(xí)的一般問(wèn)題，假設(shè)我們有m個(gè)訓(xùn)練樣本：{(x1,y1),(x2,y2),...,(xm,ym)}{(x1,y1),(x2,y2),...,(xm,ym)},其中xx為輸入向量，特征維度為n_inn_in,而yy為輸出向量，特征維度為n_outn_out。我們需要利用這m個(gè)樣本訓(xùn)練出一個(gè)模型，當(dāng)有一個(gè)新的測(cè)試樣本(xtest,?)(xtest,?)來(lái)到時(shí), 我們可以預(yù)測(cè)ytestytest向量的輸出。　

　　　　如果我們采用DNN的模型，即我們使輸入層有n_inn_in個(gè)神經(jīng)元，而輸出層有n_outn_out個(gè)神經(jīng)元。再加上一些含有若干神經(jīng)元的隱藏層。此時(shí)我們需要找到合適的所有隱藏層和輸出層對(duì)應(yīng)的線性系數(shù)矩陣WW,偏倚向量bb,讓所有的訓(xùn)練樣本輸入計(jì)算出的輸出盡可能的等于或很接近樣本輸出。怎么找到合適的參數(shù)呢？

　　　　如果大家對(duì)傳統(tǒng)的機(jī)器學(xué)習(xí)的算法優(yōu)化過(guò)程熟悉的話，這里就很容易聯(lián)想到我們可以用一個(gè)合適的損失函數(shù)來(lái)度量訓(xùn)練樣本的輸出損失，接著對(duì)這個(gè)損失函數(shù)進(jìn)行優(yōu)化求最小化的極值，對(duì)應(yīng)的一系列線性系數(shù)矩陣WW,偏倚向量bb即為我們的最終結(jié)果。在DNN中

總結(jié)

以上是生活随笔為你收集整理的深度神经网络（DNN）反向传播算法(BP)的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。