1. 詞向量模型

1.1 實現詞向量的挑戰

• 挑戰一：如何把詞轉換為向量？自然語言單詞是離散信號，比如“香蕉”、“橘子”、“水果”在我們看來就是3個離散的詞。我們應該如何把離散的單詞轉換為一個向量。
• 挑戰二：如何相向量具有語義信息？我們知道，“香蕉”和“橘子”更加相似，而“香蕉”和“句子”就沒有那么相似，同時，“香蕉”和“食物”，“水果”的相似程度，可能介于“橘子”和“句子”之間。那么，我們該如何讓詞向量具備這樣的語義信息？

詞向量常見模型

• 神經網絡語言模型（NNLM）
• 連續詞袋模型（CBOW）
• Skip-gram模型

3 神經網絡語言模型

3.1 神經網絡語言模型的概念

• 神經網絡語言模型將模型最優化過程轉化為求詞向量的表示的過程
  
  

3.2 神經網絡語言模型的概念

4 連續詞袋模型

4.1 連續詞袋模型

• 使用上下文詞預測中心詞
  
• 模型分為3層：輸入層、隱層和輸出層
  

4.2 Skip-gram模型

• 使用中心詞預測上下文詞語
  
• Skip-gram VS CBOW
  

總結

以上是生活随笔為你收集整理的自然语言处理之词向量模型（三）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。