我們理想情況是讓神經(jīng)網(wǎng)絡(luò)學習更快
假設(shè)簡單模型: 只有一個輸入,一個神經(jīng)元,一個輸出
簡單模型: 輸入為1時, 輸出為0

初始 w = 0.6, b = 0.9 ? 初始預(yù)測的輸出 a = 0.82, 需要學習 學習率: 0.15
演示:?



初始: w = 2.0, b = 2.0, 初始預(yù)測輸出: 0.98, 和理想輸出0差點很遠
演示:


神經(jīng)網(wǎng)絡(luò)的學習行為和人腦差的很多, 開始學習很慢, 后來逐漸增快.
為什么?
學習慢 => 偏導(dǎo)數(shù)??C/?w 和??C/?b 值小
計算偏導(dǎo)數(shù):
回顧之前學習的Cost函數(shù): 對于一個x, y 和單個神經(jīng)元: 分別對w和b求偏導(dǎo)數(shù):
? x = 1, y = 0

回顧sigmoid函數(shù)
當神經(jīng)元輸出接近1時, 曲線很平緩,? => ?很小, 所以學習很慢
如何增快學習?
介紹cross-entropy cost 函數(shù)
假設(shè)一個稍微復(fù)雜一些的神經(jīng)網(wǎng)絡(luò)

? ?? 定義cross-entropy函數(shù):

為什么可以用來做cost函數(shù)? 1. ?函數(shù)值大于等于0 (驗證) 2. ?當a=y時, cost = 0




用sigmoid函數(shù)定義
推出:

?代入 上面的偏導(dǎo), 得到:

學習的快慢取決于?
也就是輸出的error
好處: 錯誤大時,更新多,學得快. 錯誤小時,學習慢

對于偏向也類似:
用cross-entropy 演示:
w = 0.6, b = 0.9

w = 2.0, b = 2.0
與之前的二次cost比較 學習率=0.005, 但是不是重點, 主要是速度的變化率, 也就是曲線的形狀不同.?
以上是對于一個單個神經(jīng)元的cost, 對于多層:
以上把輸出層所有的神經(jīng)元的值加起來
總結(jié):
cross-entropy cost幾乎總是比二次cost函數(shù)好
如果神經(jīng)元的方程是線性的, 用二次cost函數(shù) (不會有學習慢的問題)

總結(jié)

以上是生活随笔為你收集整理的cross-entropy函数的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。