tensorflow2知識總結(jié)（雜）---2、Adam優(yōu)化器

一、總結(jié)

一句話總結(jié)：

1、Adam算法可以看做是修正后的Momentum+RMSProp算法.

2、Adam通常被認(rèn)為對超參數(shù)的選擇相當(dāng)魯棒

3、學(xué)習(xí)率建議為0.001

1、反向傳播算法？

每一層的導(dǎo)數(shù)都是后一層的導(dǎo)數(shù)與前一層輸出之積，這正是鏈?zhǔn)椒▌t的奇妙之處，誤差反向傳播算法利用的正是這一特點。

二、內(nèi)容在總結(jié)中

博客對應(yīng)課程的視頻位置：

1、反向傳播算法

反向傳播算法是一種高效計算數(shù)據(jù)流圖中梯度的技術(shù)
每一層的導(dǎo)數(shù)都是后一層的導(dǎo)數(shù)與前一層輸出之積，這正是鏈?zhǔn)椒▌t的奇妙之處，誤差反向傳播算法利用的正是這一特點。
前饋時，從輸入開始，逐一計算每個隱含層的輸出，直到輸出層。
然后開始計算導(dǎo)數(shù)，并從輸出層經(jīng)各隱含層逐一反向傳播。為了減少計算量，還需對所有已完成計算的元素進行復(fù)用。
這便是反向傳播算法名稱的由來。

2、常見的優(yōu)化函數(shù)

優(yōu)化器（optimizer）是編譯模型的所需的兩個參數(shù)之一。
你可以先實例化一個優(yōu)化器對象，然后將它傳入model.compile（），或者你可以通過名稱來調(diào)用優(yōu)化器。在后一種情況下，將使用優(yōu)化器的默認(rèn)參數(shù)。
SGD：隨機梯度下降優(yōu)化器
隨機梯度下降優(yōu)化器SGD和min-batch是同一個意思，抽取m個小批量（獨立同分布）樣本，通過計算他們平梯度均值。

RMSprop：經(jīng)驗上，RMSProp被證明有效且實用的深度學(xué)習(xí)網(wǎng)絡(luò)優(yōu)化算法.
RMSProp增加了一個衰減系數(shù)來控制歷史信息的獲取多少，RMSProp會對學(xué)習(xí)率進行衰減。

Adam優(yōu)化器：
1、Adam算法可以看做是修正后的Momentum+RMSProp算法.
2、Adam通常被認(rèn)為對超參數(shù)的選擇相當(dāng)魯棒
3、學(xué)習(xí)率建議為0.001

Adam 是一種可以替代傳統(tǒng)隨機梯度下降過程的一階優(yōu)化算法，它能基于訓(xùn)練數(shù)據(jù)迭代地更新神經(jīng)網(wǎng)絡(luò)權(quán)重。
Adam 通過計算梯度的一階矩估計和二階矩估計而為不同的參數(shù)設(shè)計獨立的自適應(yīng)性學(xué)習(xí)率

3、tensorflow的輸出層注意

如果輸出層是一個連續(xù)的數(shù)字，就不進行其它操作，直接輸出
如果輸出層是一個二分類（是和否），可以對輸出層做一個sigmoid操作，然后輸出
如果輸出層是一個多分類的輸出，我們就可以對輸出層做一個softmax輸出

二分類：輸出層是sigmoid
model.add(tf.keras.layers.Dense(1,activation='sigmoid'))
多分類：輸出層是softmax時
model.add(tf.keras.layers.Dense(10,activation='softmax'))

我的旨在學(xué)過的東西不再忘記（主要使用艾賓浩斯遺忘曲線算法及其它智能學(xué)習(xí)復(fù)習(xí)算法）的偏公益性質(zhì)的完全免費的編程視頻學(xué)習(xí)網(wǎng)站：
fanrenyi.com；有各種前端、后端、算法、大數(shù)據(jù)、人工智能等課程。

版權(quán)申明：歡迎轉(zhuǎn)載，但請注明出處
一些博文中有一些參考內(nèi)容因時間久遠(yuǎn)找不到來源了沒有注明，如果侵權(quán)請聯(lián)系我刪除。

博主25歲，前端后端算法大數(shù)據(jù)人工智能都有興趣。
大家有啥都可以加博主聯(lián)系方式（qq404006308，微信fan404006308）互相交流。工作、生活、心境，可以互相啟迪。
聊技術(shù)，交朋友，修心境，qq404006308，微信fan404006308

26歲，真心找女朋友，非誠勿擾，微信fan404006308，qq404006308

人工智能群：939687837

作者相關(guān)推薦

#fry_added_part .inspiration_content{
//max-height: 120px;
overflow: auto;
margin: 20px 0;
}
#fry_added_part .fry_inspiration .simple a{
margin-right: 25px;
}

感悟總結(jié)

其它重要感悟總結(jié)

感悟總結(jié)200813
最近心境200830
最近心境201019
201218-210205

總結(jié)

以上是生活随笔為你收集整理的tensorflow2知识总结（杂）---2、Adam优化器的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。