注：個人筆記，價值有限，不建議逗留。

word embedding 的意義和目的？

通過一種映射，將自然語言中的單詞，嵌入到n維歐式空間中，得到可以用數學語言表達并用計算機計算的“詞向量”。
同時我們希望，在語言中語義相近的詞匯，在映射后的空間中仍具有相似性（表現為距離相近）

分布式語義

如何學習具有我們想要特性的word embedding呢？
一個重要的思路是分布式語義：
一個單詞的含義由頻繁的出現在其附近的單詞所決定

有一定道理，就好像我們在學語言時，一個單詞的具體含義，經常通過給出的若干例句來記住和理解。

Skip-Gram

進行word embedding的方法應該有很多，今天學習了 skip-gram
這里是一個不錯的教程

模型結構：

個人感覺結構和思想都很像自編碼器。
輸入層：對詞典進行one-hot編碼

如何得到某個單詞的詞向量？
網絡的隱層的輸出就是最終的 詞向量。
但實際中，并不需要進行前向推理，更像是查表，因為：

模型是如何學到有效的詞向量的？
基于分布式語義的合理假設，設定輸出層負責預測所有詞表中的單詞出現在當前輸入的單詞周圍的概率。

總結

以上是生活随笔為你收集整理的nlp cs224n 学习笔记1 Introduction and Word Vectors的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。