立体神经网络
人的大腦有860億個神經元,而神經元和其他神經元之間的連接多達上萬個。所以有理由相信人類大腦的神經網絡的隱藏層神經元節點之間應該是相互連接的。如果隱藏曾節點之間相互連接那么人類大腦的隱藏層就應該是立體的結構,假設一個神經網絡第一層有4個節點,第二層也有4個節點
輸入X輸出是Y,第一層是AEHB,第二層是DFGC。與tensorflow的神經網絡相比只是多了AB,BH,HE,EA,DC,CG,GF,FD共8條權重連接,如果把這8條連接去掉和tensorflow的神經網絡結構是完全相同的,這里假設神經元起到閥門一樣的功能,按照時間或者電壓或其他生物指標可以屏蔽這8條連接,這個假設至少用計算機編程的方法可以很容易做到。將這個模型叫做F(X)=Y。
因為是立體結構有理由相信這8個點還可以同時支持別的模型
這個模型的輸入是M輸出是N,第一層是AEFD,第二層是BHGC。同樣如果去掉AE,EF,FD,DA,BH,HG,GC,CB這8條連接這個模型和tensorflow的模型是一樣的,并沒有區別。按照神經元閥門的假設在輸入M的同時將這8條連接屏蔽。經過訓練形成模型F(M)=N。
那這兩個模型是否可以共存?
這個模型8個節點同時支持兩個模型F(X)=Y和F(M)=N,假設神經元閥門在這種多模型狀態下仍然可以正常完成屏蔽,則這兩個模型其實只有EG,EC,AG,AC這4條連接的權重是相同的,其余的權重值并不受影響。相當于兩個tensorflow神經網絡共享4個權重。
此時EG,EC,AG,AC這4個權重值用集合cross表示。用JHX表示F(X)=Y產生的權重集合,用JHM表示F(M)=N產生的權重集合。則這個立體的神經網絡模型就等同于
F(X)=Y
F(M)=N
JHX?∩JHM=cross 所以這個立體神經網絡模型相當于用一個模型去一部分初始化另一個模型。
總結
- 上一篇: 神经网络初始化与集体无意识
- 下一篇: 神经网络模拟条件反射