GloVe 和 其他模型的關系

當看到GloVe拍腦門找到loglog函數的時候，就覺得和word2vec中應用language model有幾分類似。
其實確有千絲萬縷的聯系的，推一推，會發現兩者的相似性，不過我寫到這里懶得寫了，更多的細節有興趣可以自己琢磨下。

GloVe 使用

GloVe已經在github開源，源碼以及binary可以在GloVe Github找到。
GloVe的代碼寫的比較糙，每一步是獨立的程序，因此要按照以下步驟進行：

1. 運行./vocab_count?進行詞頻統計
2. 運行./cooccur?進行共現統計
3. 運行./shuffle?進行打散
4. 運行./glove?進行訓練詞向量

具體參數和word2vec比較類似，具體用法可以見
https://github.com/stanfordnlp/GloVe/blob/master/demo.sh。

Reference

[1]?(Paper) GloVe: Global Vectors for Word Representation
[2]?CS224N Lecture 3 | GloVe: Global Vectors for Word Representation
[3]?GloVe Github
[4]?word co-occurrence and theory of meaning
[5]?Bag-of-words_model
[6]?奇異值分解(SVD)原理詳解及推導
[7]?強大的矩陣奇異值分解(SVD)及其應用
[8]?We Recommend a Singular Value Decomposition

費盡心思寫了一個自己不那么喜歡的模型感覺有些奇怪，不過這是一篇很勵志的paper和算法，它告訴我兩個道理：
1. 發吊文章不一定需要特別吊的算法，也可以在老算法上改進一下，沒準就很厲害
2. 斯坦福的厲害人物偶爾也會劃劃水
當然GloVe本身很厲害，只是寫完了文章，調侃一下。

總結

以上是生活随笔為你收集整理的GloVe:另一种Word Embedding方法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。