嵌入向量( embedding)是一項廣受歡迎的技術，有著眾多應用。最近Mohammad和Jose撰寫了《Embeddings in Natural Language Processing Theory and Advances in Vector Representation of Meaning》，共163頁pdf，該書首先解釋了傳統(tǒng)的詞向量空間模型和詞嵌入(如Word2Vec和GloVe)，然后介紹了其他類型的嵌入，如語義、句子和文檔以及圖形嵌入，此外還概述了上下文化表示(如ELMo、BERT)的最新發(fā)展狀況，并解釋了它們在NLP中的潛力。非常值得關注，推薦大家學習！

獲取方式：

關注下方公眾號，回復?embedding??即可獲取網(wǎng)盤鏈接：

目錄與內(nèi)容

自2010年代早期以來，嵌入(Embedding)一直是自然語言處理(NLP)的流行詞匯之一。將信息編碼為低維向量表示，在現(xiàn)代機器學習算法中很容易得到集成，這在NLP的發(fā)展中起到了核心作用。嵌入技術最初集中在單詞上，但很快注意力開始轉向其他形式:從圖形結構(如知識庫)，轉向其他類型的文本內(nèi)容(如句子和文檔)。

第2章中提供了一些基本的NLP和機器學習應用于語言問題的背景知識。然后，簡要介紹了詞匯語義中常用的一些主要的知識資源。

第3章討論了單詞表示，從傳統(tǒng)的基于可數(shù)的模型的簡要概述開始，接著是最近的基于預測的和基于字符的嵌入。在同一章中，還描述了一些專門用于嵌入的技術，例如跨語言單詞嵌入，以及單詞表示的通用評估方法。

第4章討論了嵌入結構化知識資源的各種技術，特別是語義圖，將概述最近的主要方法對于圖的嵌入，并總結其應用和評價。

在第5章中，重點討論了單詞的個別含義的表示，即:文字意義。討論了兩類意義表示(無監(jiān)督的和基于知識的)，然后討論了這類表示的評價技術。

第6章是關于上下文嵌入的最新分支。在本章中，首先解釋這種嵌入的必要性，然后描述主要的模型以及它們?nèi)绾闻c語言模型相聯(lián)系。在同一章中，還介紹了解釋和分析上下文模型有效性的一些工作。

第7章超越了單詞的層次，描述了如何將句子和文檔編碼成向量表示。介紹了一些著名的監(jiān)督和非監(jiān)督技術，并討論了這些表示的應用和評估方法。

第8章解釋了最近討論的詞嵌入的一些倫理問題和固有偏見。本章還介紹了消除詞嵌入的一些建議。

最后，在第9章中，提出了結束語和開放式研究的挑戰(zhàn)。

獲取方式：

關注下方公眾號，回復?embedding??即可獲取網(wǎng)盤鏈接：

總結

以上是生活随笔為你收集整理的word2vec模型评估_【新书】从Word2Vec到BERT的自然语言处理嵌入进展，附下载的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。