一天搞懂深度学习--深度学习简介
前言
《一天搞懂深度學習》是一個300多頁的PPT,是臺灣學者李宏毅寫的。雖然對于深度學習也有一定的了解了,但是有些知識點還是會經常忘記。溫故知新,所以決定重看這本算是入門書籍吧。
PPT主要分成了四個部分:所以本系列博客也將分成四篇來寫。分別是:深度學習簡介,訓練神經網絡的要點,神經網絡的多樣性和神經網絡的新浪潮。
?
一、深度學習介紹
(1)神經網絡主要有三個部分:定義模型函數->判斷模型函數好壞->選擇一個最好的函數
1、神經網絡之所以叫神經網絡是因為它的作用過程很像神經單元。以下是神經元結構。
2.因為神經元之間連接方式的不同,就延伸出了許多種不同的神經網絡。
比如全連接前向神經網絡。這個網絡的特點是前一層的每個神經單元都與下一層的所有的神經單元連接。
3.判斷模型函數的損失,最關鍵的就是要定義模型的損失函數,當我們確定了模型的損失函數,那么我們的目標就是最小化這個損失。進一步的說,選擇最好的模型參數過程也變成求最小化損失函數的參數過程。
4.選擇最好的模型參數。采用枚舉法顯然是不可行的。一種有效的選擇模型參數的方法是梯度下降法。但是梯度下降法并不能保證會到達全局最小,它經常會陷入局部最小的情況,這取決于初始點的選擇。在深度學習中梯度下降算法的應用有一個特別的名字后向傳播算法。后向傳播算法其實就是一個利用梯度下降不斷更新神經網絡中不同神經節點的權重的過程。
?
二、深度學習為什么深
(1)深度學習為什么深
1.毫無疑問,參數越多,模型訓練的效果會更好。但是有理論已經證明了單隱層有足夠多的神經單元的話可以實現任意函數。但是實際上單隱層內隨著節點單元的數量增多,準確率提升的太慢,并且可能不升反降。
2.相比于用單隱層進行訓練,深度神經網絡表示函數的方式更加的簡潔。
3.構建深度神經網絡有利于模塊化訓練過程,這樣或許我們就可以利用較少的訓練數據來達到想要的效果。
?
三、深度學習初探
(1)可以使用keras和tensorflow進行模型訓練
轉載于:https://www.cnblogs.com/whatyouknow123/p/8916700.html
總結
以上是生活随笔為你收集整理的一天搞懂深度学习--深度学习简介的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: django 中使用 channels
- 下一篇: npm i依赖版本兼容问题处理