whatlies

可以與spacy語言模型結(jié)合，可視化詞向量。安裝zh_core_web_md、en_core_web_md和whatlies。具體文檔可以查看https://github.com/RasaHQ/whatlies

!pip3?install?zh_core_web_md-3.0.0-py3-none-any.whl !pip3?install?en_core_web_md-3.0.0-py3-none-any.whl !pip3?install?whatlies

快速上手

spacy模型中的詞向量均為幾十上百維度的詞向量，通過壓縮映射至二維空間后，橫坐標man，縱坐標woman，就可以將詞語的性別傾向可視化出來。

例如woman詞更接近縱軸，man更接近橫軸。nurse、queen一般更多的是女性從業(yè)者，因此更接近y軸。king國王多為男性，所以更接近x軸。

至于動物，女性喜歡養(yǎng)貓，男性喜歡養(yǎng)狗，所以也能體現(xiàn)出詞語的性別傾向。

from?whatlies?import?EmbeddingSet from?whatlies.language?import?SpacyLanguagelang?=?SpacyLanguage("en_core_web_md")words?=?["cat",?"dog",?"fish",?"kitten",?"man",?"woman","king",?"queen",?"doctor",?"nurse"]emb?=?EmbeddingSet(*[lang[w]?for?w?in?words]) emb.plot_interactive(x_axis=emb["man"],?y_axis=emb["woman"])

whatlies也可以對中文進行操作。

from?whatlies?import?EmbeddingSet from?whatlies.language?import?SpacyLanguagezh_lang?=?SpacyLanguage("zh_core_web_md")zh_words?=?["貓",?"狗",?"魚",?"鯉魚",?"男人",?"女人","國王",?"王后",?"醫(yī)生",?"護士"]zh_emb?=?EmbeddingSet(*[zh_lang[w]?for?w?in?zh_words]) zh_emb.plot_interactive(x_axis=zh_emb["男人"],?y_axis=zh_emb["女人"])

whatlies包 | 簡單玩轉(zhuǎn)詞向量可視化

總結(jié)

以上是生活随笔為你收集整理的whatlies包 | 简单玩转词向量可视化的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。