反向傳播

??上一篇博客介紹了從輸入 X 樣本開始，通過一組 $w$ 參數(shù)，得到了一個(gè)得分值，然后又將得分值經(jīng)過 $y=e^x$ 函數(shù)的變換和歸一化操作得到一個(gè)概率，然后又通過 $y=?logx$ 函數(shù)求出了 Loss 值。有了 Loss 值之后，就可以進(jìn)行最優(yōu)化的操作。

??
??我們通常把從開始到得到 Loss 的過程稱為前向傳播。 通常神經(jīng)網(wǎng)絡(luò)是由 BP 算法求解的，那什么是 BP 算法呢？BP 算法就是說通過前向傳播求出 Loss 值，然后經(jīng)過一次反向傳播再次優(yōu)化這些權(quán)重參數(shù)（$W$）。
??
??其實(shí)神經(jīng)網(wǎng)絡(luò)可以由兩部分組成，一部分為前向傳播，另一部分就是反向傳播。那么這個(gè)反向傳播應(yīng)該怎樣更新這些權(quán)重參數(shù)呢？
??

??下面就舉個(gè)例子說明反向傳播。假設(shè)現(xiàn)在有三個(gè)樣本點(diǎn) $x=?2$，$y=5$，$z=?4$，然后通過 $f(x,y,z)=(x+y)z$ 得到值 -12。

??
??假設(shè)現(xiàn)在 -12 是我們求出的一個(gè)損失值，有了這個(gè)損失值之后，我想知道 $x$，$y$，$z$ 分別對 $f$ 做了多大貢獻(xiàn)？我們可以想象一下，我們之前是要優(yōu)化 $w$，我們要算 $w$ 和 $Loss$ 之間的關(guān)系， 有些 $w$ 可能會(huì)使得 $Loss$ 值變大。比如說，現(xiàn)在有一個(gè) $w$ 增大之后，$Loss$ 值也增大，那么此時(shí)我們就需要將 $w$ 值減小才能使得 $Loss$ 盡可能小。但是如果另外一個(gè) $w$ 增大之后，$Loss$ 減小了，那么此時(shí)我們需要將 $w$ 增大。那么我們現(xiàn)在就計(jì)算一下 $x$，$y$，$z$ 這些權(quán)重參數(shù)對 $f$ 函數(shù)產(chǎn)生了多大影響。

??首先我們分析 $f(x,y,z)=(x+y)z$，第一步計(jì)算 $x+y$，在這里我們將指定一個(gè)額外的元素 $q$，使得 $q=x+y$，那么 $f=q?z$。那么現(xiàn)在就可以計(jì)算 $z$ 對 $f$ 做了多大貢獻(xiàn)，那么只需要計(jì)算 $z$ 對 $f$ 的偏導(dǎo)：

??
??偏導(dǎo)數(shù)等于 3 意味著如果說 $z$ 增大一倍，那么 $f$ 就會(huì)增大 3 倍。但是現(xiàn)在我是想 $f$ 減小，所以 $z$ 應(yīng)該往減小的方向去發(fā)展。那么接下來就計(jì)算 $x$ 和 $y$ 對 $f$ 做了多大貢獻(xiàn)。首先 $x$ 和 $y$ 經(jīng)過了 $q=x+y$ 這樣的組合，所以要想求出 $x$ 和 $y$，必須先求出 $q$ 對 $f$ 產(chǎn)生了多大影響。

??$f=q?z$ 那么 $f$ 對 $q$ 的偏導(dǎo)數(shù)就是：

??偏導(dǎo)數(shù)等于 -4 意味著如果說 $q$ 增大一倍，那么 $f$ 就會(huì)減小 4 倍，所以 $q$ 應(yīng)該朝著增大的方向發(fā)展。而 $q=x+y$，那么要想算出 $x$ 和 $y$ 對 $f$ 的影響，就要先算出 $x$ 和 $y$ 對 $q$ 的影響，那么就要分別算出 $x$ 和 $y$ 分別對 $q$ 的偏導(dǎo)數(shù)。

??那么就可以理解為當(dāng) $x$ 增大一倍，$q$ 就增大一倍；$y$ 增大一倍，$q$ 也增大一倍。那么現(xiàn)在我算 $x$ 對 $f$ 產(chǎn)生多大影響，這個(gè)時(shí)候在反向傳播當(dāng)中有一個(gè)鏈?zhǔn)椒▌t，鏈?zhǔn)椒▌t的意思就是假設(shè)要算 $x$ 對最終結(jié)果做了多大貢獻(xiàn)，那最終結(jié)果中間肯定有很多步，我們需要一步一步將梯度傳下來。比如在這個(gè)例子中，$q$ 對 $f$ 做的貢獻(xiàn)是 -4，$x$ 對 $q$ 做的貢獻(xiàn)為 1，那么 $x$ 對 $f$ 做的貢獻(xiàn)就是 -4 * 1 = -4，遵循鏈?zhǔn)椒▌t。也就是說 $x$ 增大一倍，$f$ 就相應(yīng)減小 4 倍，所以 $x$ 應(yīng)該向增大的方向發(fā)展。要求 $y$ 對 $f$ 的貢獻(xiàn)同理，$q$ 對 $f$ 做的貢獻(xiàn)是 -4，$y$ 對 $q$ 做的貢獻(xiàn)為 1，那么 $y$ 對 $f$ 做的貢獻(xiàn)就是 -4 * 1 = -4，也就是說 $y$ 增大一倍，$f$ 就相應(yīng)減小 4 倍，所以 $y$ 也應(yīng)該向增大的方向發(fā)展。

??下面這張圖就很明顯說明了反向傳播的過程。我們要想算出 $x$ 和 $y$ 對 $L$ 的梯度，首先得先算出 $z$ 對 $L$ 的梯度，再算出 $x$ 和 $y$ 分別對 $z$ 的梯度。不能用一步直接求出 $x$ 和 $y$ 對 $z$ 的導(dǎo)數(shù)，首先第一步肯定是通過 $L$ 傳到 $z$，再由 $z$ 傳到 $x$ 和 $y$，這就是反向傳播的過程。
??

總結(jié)

以上是生活随笔為你收集整理的05 反向传播的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。