加法網絡"宇宙"來了！AdderNet極簡硬件設計曝光，對此你怎么看？

在深度學習里，乘積是個避免不了的運算，比如做圖像識別的卷積層，就需要做大量的乘法。但是，與加法運算相比，乘法運算的計算復雜度高得多。

現在的深度學習在很大程度上依賴于GPU硬件，做大量的乘法運算，限制了它在移動設備上的應用，需要一種更高效的方法。如果能夠拋棄乘法運算，是不是會讓代碼運行速度更快呢？

來自北京大學、華為諾亞方舟實驗室、鵬城實驗室的研究人員提出了一種加法器網絡AdderNet，去掉卷積乘法，并設計一種新的反向傳播算法，結果也能訓練神經網絡。

而且實驗結果證明了，這種方法在MNIST、CIFAR-10、SVHN上已經接近傳統CNN的SOTA結果。

加法網絡早已有之，早在2015年，Bengio等人就提出了二元權重（1或-1）神經網絡，用簡單的累加運算來代替乘法，提高深度學習硬件的運行效率。

緊接著在2016年，Bengio等人進一步提出了二元神經網絡（BNN），不僅是權重，連激活函數也被設定為二元形式。盡管將深度神經網絡二元化可以極大地降低了計算成本，但是原始識別精度經常無法保持。

另外，二元網絡的訓練過程不穩定，并且通常收斂速度較慢。卷積通常作為默認操作從圖像數據中提取特征，若引入各種方法來加速卷積，則存在犧牲網絡性能的風險。如何讓避免CNN中的乘法呢？

研究人員使用L1了距離。L1距離是兩點坐標差值的絕對值之和，不涉及乘法。加法運算是L1距離中的主要操作，使用補碼可以輕松地將求差值的運算轉化為加法。

研究人員在此基礎上提出了加法器網絡AdderNet，不同類別的CNN特征按其角度來劃分。由于AdderNet使用L1范數來區分不同的類，因此AdderNet的特征傾向于聚集到不同的類中心。

可視化的結果表明，L1距離可用作深度神經網絡中濾波器與輸入特征之間距離的相似性度量。由此進行優化的方法叫做符號SGD（signSGD）。

但是，signSGD幾乎永遠不會沿著最陡的下降方向，并且方向性只會隨著維數的增長而變差。

最后，在CIFAR-10的圖像分類任務中，AdderNet相比原始的二元神經網絡BNN性能有大幅的提升，并且性能已經接近了傳統CNN的結果。

這種方法訓練的得到的權重分布也和CNN有很大的不同，AdderNet的權重服從拉普拉斯分布，而CNN的權重服從高斯分布。

個人認為，在未來的工作中，他們將研究AdderNet的量化結果，以實現更高的速度和更低的能耗，以及AdderNet的通用性，不僅用于圖像分類，還將用到目標檢測和語義分割等任務中。

谷歌人工智能寫作項目：神經網絡偽原創

加法神經網絡的缺陷

網絡時斷時續不穩定文案狗。黑障是發生在大氣層的一種特有現象，當衛星航天飛船洲際導彈等空間飛行器以很高的速度再入大氣層返回地球時，在一定高度和一定時間內與地面通信聯絡會嚴重失效，甚至完全中斷。

黑障區風險極高的原因是，由于返回艙跟地面控制中心片刻失去通訊，且與大氣層的摩擦會產生上千攝氏度的高溫，這段期間航天員最危險，如果不采取防熱措施，航天員將無法承受，返回艙結構也會受損毀。

我這么理解神經網絡對嗎

深度學習能夠學會加法嗎

首先，加法（數值計算）是機器擅長而人類不擅長的，與之相反，模式識別是人類擅長而機器不擅長的。所以題主拿加法作為切入點來衡量深度學習能不能媲美人類，出發點上就錯了，應該拿人類擅長的東西來切入。

然后，正面回答問題，一個去掉非線性激活函數的感知機就可以學習加法了，而感知機是神經網絡的構建積木，深度學習用的就是神經網絡，所以深度學習可以學習加法——雖然這是殺雞用牛刀的行為。

最后，題主真正疑惑的應該不是“深度學習能不能模擬人”，而是“深度學習能不能模擬機器”，意即模擬非常機械的數值計算、數據結構和算法等。

答案是已經有這方面的研究了，叫做神經圖靈機（NeuralTuringMachine）：這篇論文的實驗部分用它的模型做了幾個非?！皺C械”的任務，包括拷貝、排序、子過程調用等，這樣就是在模擬機器而非模擬人。

雖然里面沒有專門做加法的實驗，但從上述已經做到的任務可以看出神經圖靈機對加法也應該是手到擒來的。作者：鄭華濱鏈接：來源：知乎著作權歸作者所有。商業轉載請聯系作者獲得授權，非商業轉載請注明出處。

神經網絡具體是什么？

神經網絡由大量的神經元相互連接而成。每個神經元接受線性組合的輸入后，最開始只是簡單的線性加權，后來給每個神經元加上了非線性的激活函數，從而進行非線性變換后輸出。

每兩個神經元之間的連接代表加權值，稱之為權重（weight）。不同的權重和激活函數，則會導致神經網絡不同的輸出。舉個手寫識別的例子，給定一個未知數字，讓神經網絡識別是什么數字。

此時的神經網絡的輸入由一組被輸入圖像的像素所激活的輸入神經元所定義。在通過非線性激活函數進行非線性變換后，神經元被激活然后被傳遞到其他神經元。重復這一過程，直到最后一個輸出神經元被激活。

從而識別當前數字是什么字。

神經網絡的每個神經元如下基本wx+b的形式，其中x1、x2表示輸入向量w1、w2為權重，幾個輸入則意味著有幾個權重，即每個輸入都被賦予一個權重b為偏置biasg(z)為激活函數a為輸出如果只是上面這樣一說，估計以前沒接觸過的十有八九又必定迷糊了。

事實上，上述簡單模型可以追溯到20世紀50/60年代的感知器，可以把感知器理解為一個根據不同因素、以及各個因素的重要性程度而做決策的模型。舉個例子，這周末北京有一草莓音樂節，那去不去呢？

決定你是否去有二個因素，這二個因素可以對應二個輸入，分別用x1、x2表示。此外，這二個因素對做決策的影響程度不一樣，各自的影響程度用權重w1、w2表示。

一般來說，音樂節的演唱嘉賓會非常影響你去不去，唱得好的前提下即便沒人陪同都可忍受，但如果唱得不好還不如你上臺唱呢。所以，我們可以如下表示：x1：是否有喜歡的演唱嘉賓。

x1=1你喜歡這些嘉賓，x1=0你不喜歡這些嘉賓。嘉賓因素的權重w1=7x2：是否有人陪你同去。x2=1有人陪你同去，x2=0沒人陪你同去。

是否有人陪同的權重w2=3。這樣，咱們的決策模型便建立起來了：g(z)=g(w1x1+w2x2+b)，g表示激活函數，這里的b可以理解成為更好達到目標而做調整的偏置項。

一開始為了簡單，人們把激活函數定義成一個線性函數，即對于結果做一個線性變化，比如一個簡單的線性激活函數是g(z)=z，輸出都是輸入的線性變換。

后來實際應用中發現，線性激活函數太過局限，于是引入了非線性激活函數。

神經網絡中的前向和后向算法

神經網絡中的前向和后向算法看了一段時間的深度網絡模型，也在tf和theano上都跑了一些模型，但是感覺沒有潛下去，對很多東西的理解都只停留在“這個是干什么的”層次上面。

昨天在和小老師一起看一篇文章的時候，就被問到RNN里面的后向傳播算法具體是怎么推。當時心里覺得BP算法其實很熟悉啊，然后在推導的過程中就一臉懵逼了。

于是又去網上翻了翻相關內容，自己走了一遍，準備做個筆記，算是個交代。準備一個神經網絡模型，比如：其中，[i1,i2]代表輸入層的兩個結點，[h1,h2]代表隱藏層的兩個結點，[o1,o2]為輸出。

[b1,b2]為偏置項。連接每個結點之間的邊已經在圖中標出。

來了解一下前向算法：前向算法的作用是計算輸入層結點對隱藏層結點的影響，也就是說，把網絡正向的走一遍：輸入層—->隱藏層—->輸出層計算每個結點對其下一層結點的影響。

??例如，我們要算結點h1的值，那么就是：是一個簡單的加權求和。這里稍微說一下，偏置項和權重項的作用是類似的，不同之處在于權重項一般以乘法的形式體現，而偏置項以加法的形式體現。

??而在計算結點o1時，結點h1的輸出不能簡單的使用neth1的結果，必須要計算激活函數，激活函數，不是說要去激活什么，而是要指“激活的神經元的特征”通過函數保留并映射出來。

以sigmoid函數為例，h1的輸出：于是最后o1的輸出結果，也就是整個網絡的一個輸出值是：按照上面的步驟計算出out02，則[outo1,outo2]就是整個網絡第一次前向運算之后得到的結果。

后向算法：??在實際情況中，因為是隨機給定的權值，很大的可能（幾乎是100%）得到的輸出與實際結果之間的偏差非常的大，這個時候我們就需要比較我們的輸出和實際結果之間的差異，將這個殘差返回給整個網絡，調整網絡中的權重關系。

這也是為什么我們在神經網絡中需要后向傳播的原因。

其主要計算步驟如下：1.計算總誤差2.隱藏層的權值更新在要更新每個邊的權重之前，必須要知道這條邊對最后輸出結果的影響，可以用整體誤差對w5求偏導求出：具體計算的時候，可以采用鏈式法則展開：在計算的時候一定要注意每個式子里面哪些自變量是什么，求導千萬不要求錯了。

??需要講出來的一個地方是，在計算w1的權重時，Etotal中的兩部分都需要對它進行求導，因為這條邊在前向傳播中對兩個殘差都有影響3.更新權重這一步里面就沒什么東西了，直接根據學習率來更新權重：至此，一次正向+反向傳播過程就到此為止，接下來只需要進行迭代，不斷調整邊的權重，修正網絡的輸出和實際結果之間的偏差（也就是training整個網絡）。

神經網絡原理怎么樣

神經網絡不僅是現在的思維模式，計算機的將來計算模式，還是簡單的細胞的運算模式。他們沒有真正的思考，而是計算。計算是機器也能夠做到的，因此不管人是否理解或者機器是否知道，都可以從容應對。

而不知道的事物如此之多，因此不必擔心他們會自動的進入圈套。他們不僅是可以識別計策的，還是具有分辨計策的能力的，因此必須留心別進入他們的世界，以免變得面目全非。

神經的聯系來源于突觸，但是這是復雜的，因此不要把他們變的簡單化，因為這將把神經變的難以顯現。沒有這些就沒有自己。

神經不僅是可以從一點出發，到達任何一點的，還是可以從一個神經進入另一個神經的，因此必須小心不要到達不可及之地。那里是隱私的儲藏地點。那里充滿著機關算計以及絕殺的危險之地。

?

總結

以上是生活随笔為你收集整理的神经网络算法中求解的方式,神经网络的求解方式的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。