FastText情感分析和词向量训练实战——Keras算法练习
生活随笔
收集整理的這篇文章主要介紹了
FastText情感分析和词向量训练实战——Keras算法练习
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
fasttext是facebook開源的一個詞向量與文本分類工具 ,其最大的優點就是快,同時不失精度。 此算法有兩個主要應用場景:
- 文本分類
- 詞向量訓練
工業界碰到一些簡單分類問題時,經常采用這種簡單,快速的模型解決問題。
FastText原理簡介
FastText原理部分有3個突出的特點:
- 模型簡單,其結構有點類似word2vector中的CBOW架構,如下圖所示。FastText將句子特征通過一層全連接層映射到向量空間后,直接將詞向量平均處理一下,就去做預測。
模型架構
- 使用了n-gram的特征,使得句子的表達更充分。筆者會在實戰中詳細介紹這部分的操作。
- 使用 Huffman算法建立用于表征類別的樹形結構。這部分可以加速運算,同時減緩一些樣本不均衡的問題。
其中比較有意思的是,做完分類任務后,模型全連接層的權重可以用來做詞向量。而且由于使用了n-gram的特征,fasttext的詞向量可以很好的緩解Out of Vocabu
總結
以上是生活随笔為你收集整理的FastText情感分析和词向量训练实战——Keras算法练习的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 深度学习核心技术精讲100篇(十四)-一
- 下一篇: 搜索功能:洞悉产品的绝佳入口