100天搞定机器学习|Day35 深度学习之神经网络的结构
100天搞定機器學習|Day1數據預處理
100天搞定機器學習|Day2簡單線性回歸分析
100天搞定機器學習|Day3多元線性回歸
100天搞定機器學習|Day4-6 邏輯回歸
100天搞定機器學習|Day7 K-NN
100天搞定機器學習|Day8 邏輯回歸的數學原理
100天搞定機器學習|Day9-12 支持向量機
100天搞定機器學習|Day11 實現KNN
100天搞定機器學習|Day13-14 SVM的實現
100天搞定機器學習|Day15 樸素貝葉斯
100天搞定機器學習|Day16 通過內核技巧實現SVM
100天搞定機器學習|Day17-18 ?神奇的邏輯回歸
100天搞定機器學習|Day19-20 加州理工學院公開課：機器學習與數據挖掘
100天搞定機器學習|Day21 Beautiful Soup
100天搞定機器學習|Day22 機器為什么能學習？
100天搞定機器學習|Day23-25 決策樹及Python實現
100天搞定機器學習|Day26-29 線性代數的本質
100天搞定機器學習|Day 30-32 微積分的本質
100天搞定機器學習|Day33-34 隨機森林
本文為3Blue1Brown之《What is a Neural Network?》學習筆記
觀看地址：bilibili.com/video/av15532370
這集Grant大佬假設大家都沒有神經網絡的基礎，為新手講解神經網絡基本概念，讓大家再聽說神經網絡學習的時候，可以明白究竟是什么意思。大佬選擇經典的多層感知器（MLP）結構解決手寫數字識別問題，理由是理解了經典原版，才能更好地理解功能強大的變種，比如CNN和LSTM。
首先看看神經元和他們是怎么連接的
神經元可以理解為一個裝著0到1之間數字的容器。以28*28輸入圖像每一個像素為例，每一個原點都是一個神經元，其中數字代表對于像素的灰度值，0表示純黑，1表示純白，這個數字在神經網絡里稱作“激活值”。
這784個神經元就組成了網絡的第一層，最后一層的十個神經元代表0-9這十個數，同樣的，他們的激活值也在0-1之間，代表了輸入圖像對應哪個數字的可能性。網絡中間層被稱為隱含層，可以看做黑箱，數字識別的具體工作就在這里完成，這里加了兩層隱含層，每層有16個神經元——隨便設置的，只是為了顯得好看，后期還可以再調整。
神經網絡處理信息的核心機制正是如此，一層的激活值通過一定的運算，得出下一層的激活值。上面也提到784個神經元代表的是數字圖案，那么下一層激活值也會產生某些特殊的圖案，最終在輸出層最亮的神經元表示神經網絡的選擇。
我們再看看如何訓練，為什么這種層狀結構就能識別數字呢？
我們可以把數字進行拆解，理想狀況下希望倒數第二層的各個神經元可以分別對應上一個筆畫。
再來看隱含層第一層，當輸入為9或8的上面帶圈的數字時，某個神經元的激活值就會接近1，希望所有這種位于圖像頂部的圓圈圖案都能點亮這個神經元，這樣，從第三次到輸出層，我們只需要學習哪些部件能組合出哪個數字即可。
但是如何識別圓圈呢？同理可以把它拆分成更細微的問題。
于是我們希望網絡第二層的各個神經元對應這些短邊，第二層就能把所有關聯短邊的八到十個神經元都點亮，接著就能點亮對于頂部圓圈和長豎條的神經元。
然后我們看看連線的作用
如何讓第二層（隱含層的第一層）中的這一個神經元能夠能夠識別出圖像的這一塊區域是否存在一條邊？
我們設計讓第二層的某一個神經元能正確識別圖像中的這塊區域里是否存在一條邊。
我們拿出第一層（輸入層/第0層）的激活值，并賦上權重（要關注區域的權重為正值，否則為0），這樣對所有像素值求加權和，就只會累加關注區域的像素值了。
綠色為正值，紅色為負值，顏色越暗表示權重越接近0
所以想要識別是否存在一條邊，只需要給周圍一圈的像素都賦予負權重
計算的加權值可以使任意大小的
但是我們需要的是將其壓縮到0-1之間
這里就需要Sigmoid函數了，這就是激活函數。
激活值實際上就是一個對加權之和到底有多正的打分，但是有時加權之和大于0時，也不想點亮神經元，比如想要加權和大于10時才讓他激發，這里就還需要加上一個偏置值，保證不隨便激發。
權重告訴我們第二個神經元關注什么樣的像素圖案
bias告訴我們加權和要多大才能讓神經元的激發有意義
這里有13000多個參數需要調整，所以這里所謂的學習就是找到正確的權重和偏置。剛開始講到我們把神經元看作是數字容器，但是這些數字取決于輸入的圖像，所以把神經元看過一個函數才更準確，它的輸入是上一層所有神經元的輸出，它的輸出是一個0-1之間的值。其實整個神經網絡也是一個函數，輸入784個值，輸出10個值。不過它是一個包含了13000個權重、偏置參數的極其復雜的函數。
需要注意的是，機器學習尤其是神經網絡運算與線性代數是密不可分的，之前有過介紹，請移步：
100天搞定機器學習|Day26-29 線性代數的本質
神經網絡中需要大量的矩陣乘法和sigmoid映射運算
這種運算方式，非常適合編程，比如可以用Python的numpy很簡單的實現。
最后需要一提的是，現在神經網絡基本不再使用sigmoid了，比較流行的是ReLU（線性整流函數）。
總結
以上是生活随笔為你收集整理的100天搞定机器学习|Day35 深度学习之神经网络的结构的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： STM32的同步规则模式使用
- 下一篇： 基于小波包的图像压缩及matlab实现,