0.導語

詞嵌入是自然語言處理（NLP）中語言模型與表征學習技術的統稱。概念上而言，它是指把一個維數為所有詞的數量的高維空間嵌入到一個維數低得多的連續向量空間中，每個單詞或詞組被映射為實數域上的向量。

在此之前，我已經寫了以下幾篇AI基礎的快速入門，本篇文章講解詞嵌入基礎和Word2vec。

目前已經發布：

AI 基礎：Python 簡易入門

AI 基礎：Numpy 簡易入門

AI 基礎：Pandas 簡易入門

AI 基礎：Scipy(科學計算庫) 簡易入門

AI基礎：數據可視化簡易入門（matplotlib和seaborn）

AI基礎：特征工程-類別特征

AI基礎：特征工程-數字特征處理

AI基礎：特征工程-文本特征處理

后續持續更新

本文作者：

jalammar（https://jalammar.github.io）

翻譯：

黃海廣（https://github.com/fengdu78）

本文代碼可以在github下載：

https://github.com/fengdu78/Data-Science-Notes/tree/master/8.deep-learning/word2vec

圖解Word2vec

正文開始

我發現嵌入的概念是機器學習中最迷人的想法之一。如果您曾經使用Siri，Google智能助理，Alexa，谷歌翻譯，甚至智能手機鍵盤進行下一詞預測，那么您很有可能從這個已經成為自然語言處理模型核心的想法中受益。在過去的幾十年中，使用嵌入技術進行神經模型已有相當大的發展（最近的發展包括BERT和GPT2 等尖端模型的語境化嵌入）。

自2013年以來，Word2vec一直是一種有效創建單詞嵌入的方法。除了詞嵌入字的方法之外，它的一些概念已經被證明可以在非語言任務中有效地創建推薦引擎和理解順序數據。比如Airbnb，阿里巴巴，Spotify和Anghami這樣的公司都從NLP世界中創造出這一優秀的工具并將其用于生產中，從而為新型推薦引擎提供支持。

我們將討論嵌入的概念，以及使用word2vec生成嵌入的機制。

讓我們從一個例子開始，了解使用向量來表示事物。

您是否知道五個數字（向量）的列表可以代表您的個性？

個性嵌入：你的個性怎么樣？

使用0到100的范圍表示你的個性（其中0是最內向的，100是最外向的）。

五大人格特質測試，這些測試會問你一個問題列表，然后在很多方面給你打分，內向/外向就是其中之一。

圖:測試結果示例。它可以真正告訴你很多關于你自己的事情，并且在學術、個人和職業成功方面都具有預測能力。
假設我的測試得分為38/100。我們可以用這種方式繪制：

讓我們將范圍切換到從-1到1：

了解一個人，一個維度的信息不夠，所以讓我們添加另一個維度 - 測試中另一個特征的得分。

你可能不知道每個維度代表什么，但仍然可以從一個人的個性的向量表示中獲得了很多有用的信息。

我們現在可以說這個向量部分代表了我的個性。當你想要將另外兩個人與我進行比較時，這種表示的有用性就出現了。在下圖中，兩個人中哪一個更像我？

處理向量時，計算相似度得分的常用方法是余弦相似度：

一號人物與我的余弦相似度得分高，所以我們的性格比較相似。

然而，兩個方面還不足以捕獲有關不同人群的足夠信息。幾十年的心理學研究已經研究了五個主要特征（以及大量的子特征）。所以我們在比較中使用所有五個維度：

我們沒法在二維上繪制出來五個維度，這是機器學習中的常見挑戰，我們經常需要在更高維度的空間中思考。但好處是余弦相似度仍然有效。它適用于任意數量的維度：

嵌入的兩個中心思想：

• 我們可以將人（事物）表示為數字的向量。

• 我們可以很容易地計算出相似的向量彼此之間的關系。

詞嵌入

我們導入在維基百科上訓練的GloVe向量

import gensim import gensim.downloader as api model = api.load('glove-wiki-gigaword-50') 單詞“king”的詞嵌入表示： model["king"] array([ 0.50451 , 0.68607 , -0.59517 , -0.022801, 0.60046 , -0.13498 ,-0.08813 , 0.47377 , -0.61798 , -0.31012 , -0.076666, 1.493 ,-0.034189, -0.98173 , 0.68229 , 0.81722 , -0.51874 , -0.31503 ,-0.55809 , 0.66421 , 0.1961 , -0.13495 , -0.11476 , -0.30344 ,0.41177 , -2.223 , -1.0756 , -1.0783 , -0.34354 , 0.33505 ,1.9927 , -0.04234 , -0.64319 , 0.71125 , 0.49159 , 0.16754 ,0.34344 , -0.25663 , -0.8523 , 0.1661 , 0.40102 , 1.1685 ,-1.0137 , -0.21585 , -0.15155 , 0.78321 , -0.91241 , -1.6106 ,-0.64426 , -0.51042 ], dtype=float32)

查看“king”最相似的單詞

model.most_similar("king") [('prince', 0.8236179351806641),('queen', 0.7839042544364929),('ii', 0.7746230363845825),('emperor', 0.7736247181892395),('son', 0.766719400882721),('uncle', 0.7627150416374207),('kingdom', 0.7542160749435425),('throne', 0.7539913654327393),('brother', 0.7492411136627197),('ruler', 0.7434253096580505)]

這是一個包含50個數字的列表，我們無法說清楚里面的值代表什么。我們把所有這些數字放在一行，以便我們可以比較其他單詞向量。讓我們根據它們的值對單元格進行顏色編碼（如果它們接近2則為紅色，如果它們接近0則為白色，如果它們接近-2則為藍色）

import seaborn as sns import matplotlib.pyplot as plt import numpy as npplt.figure(figsize=(15, 1)) sns.heatmap([model["king"]],xticklabels=False,yticklabels=False,cbar=False,vmin=-2,vmax=2,linewidths=0.7) plt.show()

我們將忽略數字并僅查看顏色以指示單元格的值，我們將“King”與其他詞語進行對比：

plt.figure(figsize=(15, 4)) sns.heatmap([model["king"],model["man"],model["woman"],model["king"] - model["man"] + model["woman"],model["queen"], ],cbar=True,xticklabels=False,yticklabels=False,linewidths=1) plt.show()

看看“man”和“woman”是如何彼此更相似的，他們中的任何一個都是“king”？這告訴你一些事情。這些向量表示捕獲了這些單詞的信息/含義/關聯。

這是另一個示例列表（通過垂直掃描列來查找具有相似顏色的列）：

有幾點需要指出：

• 所有這些不同的單詞都有一個直的紅色列。它們在這個維度上是相似的（我們不知道每個維度代碼是什么）

• 你可以看到“woman”和“girl”在很多地方是如何相似的。與“man”和“boy”一樣

• “boy”和“girl”也有彼此相似的地方，但與“woman”或“man”不同。這些是否可以編寫一個模糊的青年概念？可能。

• 除了最后一個字之外的所有字都代表著人。我添加了一個對象“water”來顯示類別之間的差異。例如，您可以看到藍色列一直向下并在嵌入“water”之前停止。

• 有一個明顯的地方，“king”和“queen”彼此相似，并與所有其他人不同。

類比

我們可以添加和減去單詞嵌入并獲得有趣的結果，最有名的例子是公式：“king” - “man” + “woman”:

model.most_similar(positive=["king","woman"],negative=["man"]) [('queen', 0.8523603677749634),('throne', 0.7664334177970886),('prince', 0.759214460849762),('daughter', 0.7473883032798767),('elizabeth', 0.7460220456123352),('princess', 0.7424569725990295),('kingdom', 0.7337411642074585),('monarch', 0.7214490175247192),('eldest', 0.7184861898422241),('widow', 0.7099430561065674)]

我們可以像以前一樣想象這個類比：

語言建模

如果想要給出NLP應用程序的示例，最好的示例之一將是智能手機鍵盤的下一個字（詞）預測功能。這是數十億人每天使用數百次的功能。

下一個字（詞）預測是一項可以通過語言模型解決的任務。語言模型可以采用單詞列表（比方說兩個單詞），并嘗試預測它們之后的單詞。

在上面的屏幕截圖中，我們可以將模型視為接受這兩個綠色單詞（thou shalt）并返回建議列表（“not”是具有最高概率的那個字）的模型：

我們可以把模型想象成這個黑盒子：

但實際上，該模型不會只輸出一個單詞。它實際上輸出了它所知道的所有單詞的概率分數（模型的“詞匯表”，其范圍可以從幾千到一百多萬個字（詞））。然后應用程序必須找到分數最高的單詞，并將其呈現給用戶。

圖：神經語言模型的輸出是模型知道的所有單詞的概率分數。我們在這里將概率稱為百分比，比如概率40％將在輸出向量中表示為0.4。

經過訓練，早期的神經語言模型（Bengio 2003）將分三步計算預測：

在討論嵌入時，第一步對我們來說最相關。訓練過程的結果之一是這個矩陣包含我們詞匯表中每個單詞的嵌入。在預測時間內，我們只查找輸入字的嵌入，并使用它們來計算預測：

現在讓我們轉到訓練過程，以了解嵌入矩陣是如何工作的。

語言模型的訓練

與大多數其他機器學習模型相比，語言模型具有巨大優勢。即：我們所有的書籍，文章，維基百科內容和其他形式的大量文本數據可以作為訓練數據。與此相比，許多其他機器學習模型需要手動設計特征和專門收集的數據。

單詞通過我們查看它們往往會出現在旁邊的其他單詞來嵌入。其機制就是這樣

我們獲得了大量文本數據（例如，所有維基百科文章）。然后

我們有一個窗口（比如說三個單詞），我們會對所有文本進行滑動。

滑動窗口為我們的模型生成訓練樣本

當這個窗口滑動文本時，我們（虛擬地）生成一個用于訓練模型的數據集。為了準確看看它是如何完成的，讓我們看看滑動窗口如何處理這個短語：

當我們開始時，窗口在句子的前三個單詞上：

我們將前兩個單詞作為特征，將第三個單詞作為標簽：

我們現在已經在數據集中生成了第一個樣本，我們稍后可以使用它來訓練語言模型。

然后我們將窗口滑動到下一個位置并創建第二個樣本：

現在生成第二個示例。

很快我們就會有一個更大的數據集，在不同的單詞對之后，這些數據集會出現：

在實踐中，模型往往在我們滑動窗口時進行訓練。但我發現邏輯上將“數據集生成”階段與訓練階段分開是更清楚的。除了基于神經網絡的語言建模方法之外，一種稱為N-gram的技術通常用于訓練語言模型。

要了解這種從N-gram到神經模型的轉換如何反映現實世界的產品，建議看這篇2015年博客文章，介紹他們的神經語言模型并將其與之前的N-gram模型進行比較。

兩邊看

給了你句子前面的內容，進行填空：

我在這里給你的背景是空格之前的五個字（以及之前提到的“bus”）。我相信大多數人都會猜到空格里的這個詞會是“bus”。但是，如果我再給你一條信息:空格之后的一句話，那會改變你的答案嗎？

這完全改變了應該留在空格中的內容。“red”這個詞現在最可能填到空格中。我們從中學到的是特定詞語之前和之后的詞語都具有信息價值。事實證明，考慮兩個方向（我們猜測的單詞左側和右側的單詞）會讓詞嵌入做得更好。

讓我們看看我們如何調整我們訓練模型的方式來解決這個問題。

Skipgram

我們不僅可以查看在目標詞之前的兩個單詞，還可以查看其后的兩個單詞。

如果我們這樣做，我們實際構建和訓練模型的數據集將如下所示：

這被稱為連續詞袋結構，并在word2vec論文 one of the word2vec papers 中進行過描述。

另一種結構與連續詞袋結構略有不同，但也可以也顯示出良好結果。這個結構試圖使用當前詞來猜測相鄰詞，而不是根據其上下文（它之前和之后的詞）猜測一個詞。我們可以想到它在訓練文本上滑動的窗口如下所示：

圖：綠色框中的字將是輸入字，每個粉色框將是可能的輸出。粉色框具有不同的陰影，因為此滑動窗口實際上在我們的訓練數據集中創建了四個單獨的樣本：

此方法稱為skipgram架構。我們可以執行以下操作將滑動窗口可視化：

這會將這四個樣本添加到我們的訓練數據集中：

然后我們將窗口滑動到下一個位置：

這將產生我們的下四個樣本：

接著滑動幾個位置之后，我們有更多的樣本：

重新審視訓練過程

現在我們已經從現有的運行文本中提取了我們的skipgram訓練數據集，讓我們看看我們如何使用它來訓練預測相鄰單詞的基本神經語言模型。

我們從數據集中的第一個樣本開始。我們把特征提供給未經訓練的模型，要求它預測一個合適的相鄰單詞。

該模型進行三個步驟并輸出預測向量（概率分配給其詞匯表中的每個單詞）。由于該模型未經過訓練，因此在此階段的預測肯定是錯誤的。但那沒關系。我們知道應該它將猜到哪個詞：我們目前用于訓練模型的行中的標簽/輸出單元格：

圖：“目標向量”的詞（字）概率為1，其他詞（字）的概率都是0。我們減去兩個向量，得到一個誤差向量：

現在可以使用此誤差向量來更新模型，以便下次當“not”作為輸入時，模型更有可能猜測“thou”。

這就是訓練的第一步。我們繼續使用數據集中的下一個樣本進行相同的處理，然后是下一個樣本，直到我們覆蓋了數據集中的所有樣本。這就結束了一個epcho的訓練。我們繼續訓練多個epcho，然后我們就有了訓練好的模型，我們可以從中提取嵌入矩陣并將其用于任何其他應用。

雖然這加深了我們對該過程的理解，但仍然不是word2vec實際上的訓練過程。

負采樣

回想一下這個神經語言模型如何計算其預測的三個步驟：

從計算的角度來看，第三步非常消耗資源：尤其是我們將在數據集中為每個訓練樣本做一次（很可能數千萬次）。我們需要做一些事情來提高效率。

一種方法是將目標分成兩個步驟：

生成高質量的單詞嵌入（不要擔心下一個單詞預測）。

使用這些高質量的嵌入來訓練語言模型（進行下一個單詞預測）。

我們將專注于第1步，因為我們專注于嵌入。要使用高性能模型生成高質量嵌入，我們可以從預測相鄰單詞切換模型的任務：

并將其切換到一個取輸入和輸出字的模型，并輸出一個分數，表明它們是否是鄰居（0表示“不是鄰居”，1表示“鄰居”）。

這個簡單的改變，將我們需要的模型從神經網絡改為邏輯回歸模型：因此它變得更簡單，計算速度更快。

這個改變要求我們切換數據集的結構 - 標簽現在是一個值為0或1的新列。它們將全部為1，因為我們添加的所有單詞都是鄰居。

現在可以以極快的速度計算 - 在幾分鐘內處理數百萬個示例。但是我們需要關閉一個漏洞。如果我們所有的例子都是正面的（目標：1），我們打開自己的智能模型的可能性總是返回1 - 達到100％的準確性，但什么都不學習并生成垃圾嵌入。

為了解決這個問題，我們需要在數據集中引入負樣本 - 不是鄰居的單詞樣本。我們的模型需要為這些樣本返回0。現在這是一個挑戰，模型必須努力解決，而且速度還要快。

圖：對于我們數據集中的每個樣本，我們添加了負樣本。它們具有相同的輸入詞和0標簽。但是我們填寫什么作為輸出詞？我們從詞匯表中隨機抽取單詞

這個想法的靈感來自Noise-contrastive estimation。我們將實際信號（相鄰單詞的正例）與噪聲（隨機選擇的不是鄰居的單詞）進行對比。這是計算量和統計效率的巨大折衷。

帶負采樣的skipgram（SGNS）

我們現在已經介紹了word2vec中的兩個核心思想：

skipgram和負采樣。

Word2vec訓練流程

現在我們已經建立了skipgram和負采樣的兩個中心思想，我們可以繼續仔細研究實際的word2vec訓練過程。

在訓練過程開始之前，我們預先處理我們正在訓練模型的文本。在這一步中，我們確定詞匯量的大小（我們稱之為vocab_size，比如說，將其視為10,000）以及哪些詞屬于它。在訓練階段的開始，我們創建兩個矩陣 - Embedding矩陣和Context矩陣。這兩個矩陣在我們的詞匯表中嵌入了每個單詞（這vocab_size是他們的維度之一）。第二個維度是我們希望每次嵌入的時間長度（embedding_size- 300是一個常見值，但我們在本文前面的例子是50。）。

在訓練過程開始時，我們用隨機值初始化這些矩陣。然后我們開始訓練過程。在每個訓練步驟中，我們采取一個正樣本及其相關的負樣本。我們來看看我們的第一組：

現在我們有四個單詞：輸入單詞not和輸出/上下文單詞:( thou實際鄰居）,aaron，和taco（負樣本）。我們繼續查找它們的嵌入 - 對于輸入詞，我們查看Embedding矩陣。對于上下文單詞，我們查看Context矩陣（即使兩個矩陣都在我們的詞匯表中嵌入了每個單詞）。

然后，我們計算輸入嵌入與每個上下文嵌入的點積。。在每種情況下，會產生一個數字，該數字表示輸入和上下文嵌入的相似性。

現在我們需要一種方法將這些分數轉化為看起來像概率的東西 ：使用sigmoid函數把概率轉換為0和1。

現在我們可以將sigmoid操作的輸出視為這些樣本的模型輸出。您可以看到taco得分最高aaron，并且在sigmoid操作之前和之后仍然具有最低分。既然未經訓練的模型已做出預測，并且看到我們有一個實際的目標標簽要比較，那么讓我們計算模型預測中的誤差。為此，我們只從目標標簽中減去sigmoid分數。

圖：這是“機器學習”的“學習”部分。現在，我們可以利用這個錯誤分數調整`not`，`thou`，`aaron`和`taco`的嵌入,使下一次我們做出這一計算，結果會更接近目標分數。

?訓練步驟到此結束。我們從這一步驟中得到稍微好一點的嵌入（`not`，`thou`，`aaron`和`taco`）。我們現在進行下一步（下一個正樣本及其相關的負樣本）,并再次執行相同的過程。?

當我們循環遍歷整個數據集多次時，嵌入繼續得到改進。然后我們可以停止訓練過程，丟棄`Context`矩陣，并使用`Embeddings`矩陣作為下一個任務的預訓練嵌入。

窗口大小和負樣本數量

word2vec訓練過程中的兩個關鍵超參數是窗口大小和負樣本的數量。

不同的窗口大小可以更好地提供不同的任務。

一種啟發式方法是較小的窗口嵌入（2-15），其中兩個嵌入之間的高相似性得分表明這些單詞是可互換的（注意，如果我們只查看周圍的單詞，反義詞通常可以互換 - 例如，好的和壞的經常出現在類似的情境中）。

使用較大的窗口嵌入（15-50，甚至更多）會得到相似性更能指示單詞相關性的嵌入。實際上，您通常需要對嵌入過程提供注釋指導，為您的任務帶來有用的相似感。

Gensim默認窗口大小為5（輸入字本身加上輸入字之前的兩個字和輸入字之后的兩個字）。

負樣本的數量是訓練過程的另一個因素。原始論文里負樣本數量為5-20。它還指出，當你擁有足夠大的數據集時，2-5似乎已經足夠了。Gensim默認為5個負樣本。

結論

我希望你現在對詞嵌入和word2vec算法有所了解。我也希望現在當你讀到一篇提到“skip gram with negative sampling”（SGNS）的論文時，你會對這些概念有了更好的認識。

本文作者：jalammar（https://twitter.com/jalammar）。

參考文獻和進一步閱讀材料

• Distributed Representations of Words and Phrases and their Compositionality?[pdf]

• Efficient Estimation of Word Representations in Vector Space?[pdf]

• A Neural Probabilistic Language Model?[pdf]

• Speech and Language Processing?by Dan Jurafsky and James H. Martin is a leading resource for NLP. Word2vec is tackled in Chapter 6.

• Neural Network Methods in Natural Language Processing?by?Yoav Goldberg?is a great read for neural NLP topics.

• Chris McCormick?has written some great blog posts about Word2vec. He also just released?The Inner Workings of word2vec, an E-book focused on the internals of word2vec.

• Want to read the code? Here are two options:

• • Gensim’s?python implementation?of word2vec

  • Mikolov’s original?implementation in C?– better yet, this?version with detailed comments?from Chris McCormick.

• Evaluating distributional models of compositional semantics

• On word embeddings,?part 2

• Dune

往期精彩回顧 那些年做的學術公益-你不是一個人在戰斗適合初學者入門人工智能的路線及資料下載機器學習在線手冊深度學習在線手冊備注：加入本站微信群或者qq群，請回復“加群”加入知識星球（4500+用戶，ID：92416895），請回復“知識星球”

總結

以上是生活随笔為你收集整理的AI基础：词嵌入基础和Word2vec的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。