【神经网络与深度学习】读书笔记
花了差不多兩個(gè)星期讀完，是一本非常好的書(shū)，除去專業(yè)知識(shí)外還增加了許多的額外知識(shí)，包括使用神經(jīng)網(wǎng)絡(luò)的原因以及卷積網(wǎng)絡(luò)的由來(lái)，甚至加入了大量的生物方面的知識(shí)，使得整本書(shū)閱讀起來(lái)都非常有趣。由于對(duì)算法原理講解的也十分透徹，使得這本書(shū)也十分適合初學(xué)者使用。結(jié)合應(yīng)用以及實(shí)際方法使得整體算法理解起來(lái)也非常的容易。通過(guò)閱讀這本書(shū)，我對(duì)卷積網(wǎng)絡(luò)的認(rèn)識(shí)以及一些常用的算法都有了比較好的認(rèn)識(shí)。唯一有一點(diǎn)小問(wèn)題的就是對(duì)HMM（隱馬爾科夫）算法的介紹有點(diǎn)少，所以理解起來(lái)還是有些吃力的。在此也感謝本書(shū)作者撰寫(xiě)了這么好的一本書(shū)。下面是一些在閱讀完成后自己回顧的筆記。
主要涉及到的算法將包含CNN（卷積神經(jīng)網(wǎng)絡(luò)）、RNN（循環(huán)神經(jīng)網(wǎng)絡(luò)）、MCTS、自編碼器、PGM、貝葉斯網(wǎng)絡(luò)（BN）、BP（誤差反相傳播）
1-卷積神經(jīng)網(wǎng)絡(luò)CNN
這是根據(jù)自己理解畫(huà)的一個(gè)圖，首先進(jìn)行名詞解釋的介紹。
卷積層-顧名思義，就是使用一系列的核對(duì)輸入層進(jìn)行關(guān)注點(diǎn)對(duì)象的提取，可以看到在卷積層部分畫(huà)了很多張，而每一張就可以理解為對(duì)應(yīng)著一種不同的核。這就表明，在卷積層可以對(duì)輸入圖像進(jìn)行關(guān)鍵點(diǎn)特征，或是感興趣區(qū)域的提取。需要注意的是，卷積層對(duì)應(yīng)的神經(jīng)元一定與輸入層是相同的，即便是將池化層結(jié)果作為輸入再次進(jìn)入卷積層時(shí)，卷積層的輸出也與輸入（池化層的輸出結(jié)果）神經(jīng)元數(shù)量相同。在最開(kāi)始的時(shí)候，與輸入層相連的第一個(gè)卷積層，輸入層的每一個(gè)像素對(duì)應(yīng)卷積層的一個(gè)神經(jīng)元。
池化層-池化層的意義在于能夠?qū)⒕矸e得出的關(guān)鍵對(duì)象進(jìn)行縮小塊處理，從而使得關(guān)鍵點(diǎn)像素變得更加集中。具體方法是對(duì)一個(gè)局部區(qū)域內(nèi)的像素進(jìn)行均值，最高值等的處理，從而達(dá)到將關(guān)注區(qū)域減小的目標(biāo)。池化層的輸入將大于輸出層。
特點(diǎn)：對(duì)Hidden層的每一張而言，它們的權(quán)重都是相同的，這樣能夠在一定程度上降低計(jì)算負(fù)擔(dān)。
? ?由于是提取關(guān)注物體的不同細(xì)節(jié)，因此，這種提取出的特征是具有縮放性和旋轉(zhuǎn)不變性的。
? ? ?使用的分類函數(shù)通常為sigmoid，輸出結(jié)果在（0,1）之間。
2-RNN循環(huán)神經(jīng)網(wǎng)絡(luò)
Why：用于解決沒(méi)有知識(shí)記憶的問(wèn)題，因此無(wú)法思考與上下文有關(guān)的內(nèi)容
What：是一個(gè)具有循環(huán)記憶的網(wǎng)絡(luò)，可維持信息
How：一個(gè)狀態(tài)位，加入當(dāng)前的輸入，能夠?qū)ο乱粋€(gè)狀態(tài)是否繼續(xù)保存進(jìn)行控制，可認(rèn)為是一個(gè)有外界控制的自循環(huán)
Disadvantage：當(dāng)距離過(guò)長(zhǎng)時(shí)，是無(wú)法對(duì)狀態(tài)進(jìn)行保存的
3-LSTM
Why：可視為RNN的改進(jìn)版，用于解決RNN無(wú)法對(duì)長(zhǎng)期狀態(tài)進(jìn)行保存的問(wèn)題
What：作為RNN的變種，可以通過(guò)加入門(mén)限或觀察窗口等，進(jìn)一步對(duì)需要維持的信息進(jìn)行控制
How：
? ? ??
還是根據(jù)自己的理解畫(huà)的，如果有不對(duì)的地方，也歡迎大家給我留言進(jìn)行改正
4-稀疏編碼
采用獨(dú)立分布隨機(jī)高斯矩陣，降維提取特征，并對(duì)節(jié)點(diǎn)進(jìn)行編碼
5-棧式自編碼器
前兩個(gè)圖是用畫(huà)圖純畫(huà)出來(lái)的，后來(lái)才發(fā)現(xiàn)原來(lái)Visio并沒(méi)有過(guò)期┑(￣Д ￣)┍，那就Visio了唄。大致原理就是這樣了。
6-BP（誤差反向傳播）
? ? ? ??
需要注意的是誤差將分?jǐn)偨o各層的所有單元，而不是某一個(gè)或幾個(gè)，進(jìn)而對(duì)各層進(jìn)行修復(fù)
7-RBM（限制玻爾茲曼機(jī)）
Why：基于能量學(xué)發(fā)現(xiàn)，所有的能量函數(shù)都能生成一個(gè)概率分布，進(jìn)而求解目標(biāo)函數(shù)；可用于描述變量高層的相互作用，可以使用概率分布函數(shù)或能量函數(shù)
What：使用生成方法，利用樣本，結(jié)合各種概率模型等，生成一種概率模型，以后的判定都采用這些生成的模型，對(duì)變量進(jìn)行分類
How：結(jié)合物理學(xué)算法，能夠立足于系統(tǒng)整體，定義能量函數(shù)--->變量概率分布--->求解目標(biāo)函數(shù)（最大似然）；層內(nèi)無(wú)連接，層間全連接
8-DBN（Deep Belief Network深度信念網(wǎng)，下面會(huì)介紹另一個(gè)DBN，Dynamic Bayesian Network動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)）
? ? ? ??
Why：
What：結(jié)合物理學(xué)算法，能夠立足于系統(tǒng)整體，定義能量函數(shù)--->變量概率分布--->求解目標(biāo)函數(shù)（最大似然）
How：使用多個(gè)RBM堆砌而成的；信號(hào)采用RBM進(jìn)行傳播，反饋則使用BP等算法進(jìn)行調(diào)整
9-MCTS
Why：
What：搜索博弈樹(shù)的替代，AlphaGo的初始啟蒙想法。
How：利用擲骰子的方法確定每一步下棋的位置，并根據(jù)本局的勝負(fù)情況對(duì)每個(gè)位置的得分進(jìn)行調(diào)整。在完成多次嘗試后，即可開(kāi)始實(shí)現(xiàn)有思想的下棋方式。
10-強(qiáng)化學(xué)習(xí)
馬爾科夫決策過(guò)程，通過(guò)回報(bào)函數(shù)進(jìn)行訓(xùn)練，通過(guò)不斷的訓(xùn)練回饋?zhàn)罱K學(xué)習(xí)到什么是好的
11-概率圖模型
有向無(wú)環(huán)圖，節(jié)點(diǎn)表示狀態(tài)，向量上數(shù)值表示概率
貝葉斯模型（條件概率）P(A|B)=P(B|A)P(A)/P(B)，主要應(yīng)用有拼寫(xiě)查錯(cuò)等
12-HMM（隱馬爾科夫模型）
其中觀測(cè)事件并不與狀態(tài)一一對(duì)應(yīng)，需要一個(gè)隨機(jī)過(guò)程感知狀態(tài)的存在及特性（個(gè)人理解：不同狀態(tài)對(duì)應(yīng)的觀測(cè)事件也是一種隨機(jī)關(guān)系，類似條件概率），但感覺(jué)理解的并不深入，在以后的學(xué)習(xí)中會(huì)對(duì)其進(jìn)行補(bǔ)充。
13-DBN（Dynamic Bayesian Network動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)）
Why：可用于彌補(bǔ)貝葉斯網(wǎng)絡(luò)只能反映靜態(tài)特征
14-無(wú)向圖概率
What：用于解釋空間相互關(guān)系和相互依賴性
How：馬爾科夫隨機(jī)場(chǎng)（MRF）可表示依賴關(guān)系，但不能表示推導(dǎo)關(guān)系
15-最后是對(duì)AlphaGo的系統(tǒng)介紹
? ? ? ?
策略網(wǎng)絡(luò)：通過(guò)訓(xùn)練集的訓(xùn)練，使得可以用于確定下一步落子在每個(gè)位置，每個(gè)位置對(duì)應(yīng)的概率
估值網(wǎng)絡(luò)：可用于確定下一步落子位置導(dǎo)致的整盤(pán)棋的勝利
快速?zèng)Q策網(wǎng)，利用局部特征和線性模型訓(xùn)練得到快速走棋策略
總結(jié)
以上是生活随笔為你收集整理的【神经网络与深度学习】读书笔记的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇： 12.2泛型
- 下一篇： Opencv3.0+vs2015