08softmax分類器

sigmoid函數(shù)

softmax分類器：

Softmax的輸出（歸一化的分類概率）
歸一化參見：python人工智能——機(jī)器學(xué)習(xí)——特征工程 5.數(shù)據(jù)的特征預(yù)處理

損失函數(shù)：交叉熵?fù)p失（cross-entropy loss）

被稱作softmax 函數(shù)
其輸入值是一個(gè)向量，向量中元素為任意實(shí)數(shù)的評分值。

輸出一個(gè)向量，其中每個(gè)元素值在0到1之間，且所有元素之和。

softmax分類的損失函數(shù)

損失函數(shù)對比

09最優(yōu)化形象解讀

結(jié)合人下山的方式考慮，找到一種下山最快的路徑。

10梯度下降算法原理

跟隨梯度

11反向傳播

參見：PaddlePaddle訓(xùn)練營——公開課——AI核心技術(shù)掌握——第1章邁入現(xiàn)代人工智能的大門——深度學(xué)習(xí)的基礎(chǔ)算法——反向傳播算法簡介

12神經(jīng)網(wǎng)絡(luò)整體架構(gòu)

神經(jīng)網(wǎng)絡(luò)

激活函數(shù)

由于sigmoid會(huì)發(fā)生梯度消失，因此已經(jīng)淘汰。

現(xiàn)在常用的激活函數(shù)

單層神經(jīng)網(wǎng)絡(luò)

雙層神經(jīng)網(wǎng)絡(luò)

n層神經(jīng)網(wǎng)絡(luò)

13神經(jīng)網(wǎng)絡(luò)模型實(shí)例演示

layer_defs = []; layer_defs.push({type:'input', out_sx:1, out_sy:1, out_depth:2}); layer_defs.push({type:'fc', num_neurons:7, activation: 'tanh'}); layer_defs.push({type:'fc', num_neurons:7, activation: 'tanh'}); layer_defs.push({type:'softmax', num_classes:2});net = new convnetjs.Net(); net.makeLayers(layer_defs);trainer = new convnetjs.SGDTrainer(net, {learning_rate:0.01, momentum:0.1, batch_size:10, l2_decay:0.001});

簡單數(shù)據(jù)

圓形數(shù)據(jù)

螺旋數(shù)據(jù)

隨機(jī)數(shù)據(jù)

ConvnetJS demo: toy 2d classification with 2-layer neural network

14過擬合問題解決方案

正則化項(xiàng)在神經(jīng)網(wǎng)絡(luò)中的重要作用

越多的神經(jīng)元，就越能夠表達(dá)能復(fù)雜的，但是神經(jīng)元太多會(huì)導(dǎo)致過擬合現(xiàn)象，并不能很好的體現(xiàn)泛性的概念，因此要優(yōu)化正則化項(xiàng)。

數(shù)據(jù)預(yù)處理

參見：python人工智能——機(jī)器學(xué)習(xí)——數(shù)據(jù)的降維
參見：python人工智能——機(jī)器學(xué)習(xí)——特征工程 5.數(shù)據(jù)的特征預(yù)處理

權(quán)重初始化

權(quán)重要隨機(jī)初始化！b要全零初始化！

DROP-OUT

解決過擬合的問題

與50位技術(shù)專家面對面20年技術(shù)見證，附贈(zèng)技術(shù)全景圖

總結(jié)

以上是生活随笔為你收集整理的深度学习——02、深度学习入门 8-14的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。