用实验验证神经网络的节点是否可以看作弹性小球
生活随笔
收集整理的這篇文章主要介紹了
用实验验证神经网络的节点是否可以看作弹性小球
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
1955年在美國的阿拉莫斯實驗室的三名著名的物理學家費米(E.Fermi),帕斯塔(J.Pasta)和烏萊姆(S.Ulam)為了驗證能量均分定理,將64個質點用彈簧聯結,對少數質點進行激發,看看是否能量是否會均衡的分布到每個質點上。
但意外的是長時間以后能量幾乎全部回到了初始的少數質點上。這個結果表明這個非線性系統可以出現孤立波。這就是著名的FPU問題。
模仿這個實驗做了一個64層每層1個節點的神經網絡,1*1…*1,畫成圖如下
X0初始化sigmoid(0.9),
所有權重w[63][0]都初始化為0.02,
激活函數是sigmoid
反向傳導的方法讓左右兩邊的x相等
差值的計算方法
for(int a=0 ;a<2;a++){ d=x[a][0]*( x[a+1][0]-x[a+2][0] ); }for(int a=2 ;a<r-2 ;a++){ d=x[a][0]*( x[a+1][0]-x[a+2][0] )+x[a][0]*( x[a-1][0]-x[a-2][0] ); }for(int a=r-2 ;a<r-1;a++){ d=x[a][0]*( x[a-1][0]-x[a-2][0] ); }分別迭代了500次,1000次,2000次,5000次,1萬次,10萬次,100萬次
將得到的x[64][0]的值畫出來
可以開到一個波包隨著迭代次數的增加向右移動
如果把凹陷看作是波,可以看到這個波在向左移動
孤立子有4種類型,波包,凹陷,左扭結,右扭結.隨著迭代次數的增加這個波包的波長逐漸增大,到迭代100萬次的時候圖像看起來像右扭結。
如果這64個神經網絡的節點看作是水分子,上面的圖像不就是水面上的孤波子嗎?
?
具體數據
總結
以上是生活随笔為你收集整理的用实验验证神经网络的节点是否可以看作弹性小球的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 加速神经网络收敛的萃取精馏权重法
- 下一篇: 权重可以当做概率幅吗?---用神经网络的