今天終于想明白了分層softmax的作用：

哈夫曼樹的作用是什么？？用平均最小的長度編碼！編碼是為了解碼成信息！

神經概率語言模型：有映射層，隱藏層，輸出層，假設隱藏層是300維，輸出層是和單詞的數量相等的，因為傳統Softmax的原因，比如有10000的詞，那么參數就是300*10000=3000000 300萬。。每次更新更300萬的參數，速度可想而知。

剛開始我想把它變成樹，每個非葉子節點的300維，非葉子節點的個數為葉子節點的個數-1=9999，300*9999=2999700，并沒有減少參數，但是，每次更新的參數確是極大減少了，平均為logN=100? 100*300=30000

所以層次的作用在于加速和快速尋找詞。

轉載于:https://www.cnblogs.com/mdumpling/p/8609290.html

總結

以上是生活随笔為你收集整理的Word2Vec小心得的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。