AI之NLP：自然语言处理技术简介(是什么/学什么/怎么用)、常用算法、经典案例之详细攻略(建议收藏)
AI之NLP：自然語言處理技術簡介(是什么/學什么/怎么用)、常用算法、經典案例之詳細攻略(建議收藏)
目錄
NLP是什么？
1、NLP前置技術解析
2、python中NLP技術相關庫
3、NLP案例實踐
3.1、機器翻譯
3.2、語音識別(Automatic Speech Recognition)
3.3、中文分詞
3.4、詞件標注與命名實體識別
3.5、關鍵詞提取算法
3.6、句法分析
3.7、文本向量化
3.8、文本分類
3.9、情感分析技術
3.10、Solr搜索引擎
3.11、NLP中常用的機器學習算法
3.12、NLP中常用的深度學習算法
NLP的經典案例
1、基礎案例
2、進階案例
NLP是什么？
NLP是一門融語言學、計算機科學、數學于一體的科學。主要內容包括如下：
- 如何用NLP與語言學的關鍵概念來描述和分析語言?
- NLP中的數學結構和算法是如何實現的
- 自然語言處理目前主流的技術與方法論
- 信息檢索技術與大數據應用
推薦文章
NLP：自然語言處理技術的簡介、發展歷史、案例應用之詳細攻略
Paper之ACL&EMNLP：2009年~2019年ACL計算語言學協會年會&EMNLP自然語言處理的經驗方法會議歷年最佳論文簡介及其解讀
NLP：《NLP Year in Review 2019&NLP_2019_Highlights》2019年自然語言處理領域重要進展回顧及其解讀
Dataset：數據集集合(NLP方向數據集)——常見的自然語言處理數據集大集合(建議收藏，持續更新)
1、NLP前置技術解析
搭建Python開發環境
正則表達式在NLP中的基本應用
Numpy使用詳解
2、python中NLP技術相關庫
- word2vec
- nltk
- jieba
Py之SnowNLP：SnowNLP中文處理包的簡介、安裝、使用方法、代碼實現之詳細攻略
NLP之word2vec：word2vec簡介、安裝、使用方法之詳細攻略
3、NLP案例實踐
3.1、機器翻譯
3.2、語音識別(Automatic Speech Recognition)
NLP之ASR：語音識別技術(Automatic Speech Recognition)的簡介、發展歷史、案例應用之詳細攻略
NLP之ASR：基于pyaudio利用python進行語音生成、語音識別總結及其案例詳細攻略
NLP之ASR：基于python和機器學習算法帶你玩轉的語音實時識別技術
3.3、中文分詞
中文分詞簡介
- 規則分詞
- 統計分詞
- 混合分詞
中文分詞工具—Jieba
3.4、詞件標注與命名實體識別
詞性標注
命名實體識別
實體識別(NER)
3.5、關鍵詞提取算法
摘要提取
關鍵詞提取技術概述
TF/IDF
TextRank
LSA/LSI/LDA算法
實戰提取文本關鍵詞
推薦文章
NLP：基于textrank4zh庫對文本實現提取文本關鍵詞、文本關鍵短語和文本摘要
NLP：基于snownlp庫對文本實現提取文本關鍵詞和文本摘要
NLP：基于nltk和jieba庫對文本實現提取文本摘要(兩種方法實現：top_n_summary和mean_scored_summary)
?
3.6、句法分析
文本分析
句法分析概述
句法分析的常用方法
使用Stanford Parser的PCFG算法進行句法分析
3.7、文本向量化
文本向量化概述
向量化算法woed2vec
向量化算法doc2vec、str2vec
網頁文本向量化
推薦文章
NLP：利用DictVectorizer對使用字典存儲的數據進行特征抽取與向量化
NLP之word2vec：利用 Wikipedia Text(中文維基百科)語料+Word2vec工具來訓練簡體中文詞向量
3.8、文本分類
如：垃圾郵件分類、情感分析。
3.9、情感分析技術
情感分析應用
情感分析基本方法
實戰電影評論情感分析
推薦文章
NLP之TEA：自然語言處理之文本情感分析的簡介、算法、應用、實現流程方法、案例應用之詳細攻略
NLP之情感分析：基于python編程(jieba庫)實現中文文本情感分析(得到的是情感評分)
3.10、Solr搜索引擎
全文檢索的原理
Solr簡介與部署
Solr后臺管理描述
配置Schema
Solr管理索引庫
3.11、NLP中常用的機器學習算法
分類器方法
無監督學習的文本聚類
文本分類：中文垃圾郵件分類
文本聚類：用k-means對豆瓣讀書數據聚類
推薦文章
NLP之TM之LDA：利用LDA算法瞬時掌握文檔的主題內容—利用希拉里郵件數據集訓練LDA模型并對新文本進行主題分類
3.12、NLP中常用的深度學習算法
神經網絡模型
多輸出層模型
反向傳播算法
最優化算法
丟棄法
激活函數
實現BP算法
詞嵌入算法
訓練詞向量實踐
樸素Vanilla-RNN
LSTM網絡
Attention機制
Seq2Seq模型
圖模型
深度學習平臺
問答機器人
推薦文章
NLP之WE之CBOW&Skip-Gram：CBOW&Skip-Gram算法概念相關論文、原理配圖、關鍵步驟之詳細攻略
NLP之WE之Skip-Gram：基于TF利用Skip-Gram模型實現詞嵌入并進行可視化、過程全記錄
?
NLP的經典案例
1、基礎案例
NLP：兩種方法(自定義函數和封裝函數)實現提取兩人對話內容(***分隔txt文檔)，并各自保存為txt文檔
NLP之TopicModel：樸素貝葉斯NB的先驗概率之Dirichlet分布的應用
NLP之TM：基于gensim庫調用20newsgr學習doc-topic分布并保存為train-svm-lda.txt、test-svm-lda.txt
NLP之TFTS讀入數據：TF之TFTS讀入時間序列數據的幾種方法
NLP之WordCloud：基于jieba+matplotlib庫對一段文本生成詞云圖~~情人節最好的禮物(給你一張過去的詞云圖，看看那時我們的愛情)
2、進階案例
NLP之TEA：基于SnowNLP實現自然語言處理之對輸入文本進行情感分析(分詞→詞性標注→拼音&簡繁轉換→情感分析→測試)
ML之NB：(NLP)基于sklearn庫利用不同語種數據集訓練NB(樸素貝葉斯)算法，對新語種進行語種檢測
NLP之BoW&NLTK：自然語言處理中常用的技術——詞袋法Bow、NLTK庫
NLP之詞向量：利用word2vec對20類新聞文本數據集進行詞向量訓練、測試(某個單詞的相關詞匯)
NLP之NB&GBT：基于樸素貝葉斯(count/tfidf+網格搜索+4fCrva)、梯度提升樹(w2c+網格搜索+4fCrva)算法對IMDB影評數據集進行文本情感分析(情感二分類預測)
NLP：NLP領域沒有最強，只有更強的模型——GPT-3的簡介、安裝、使用方法之詳細攻略
總結
以上是生活随笔為你收集整理的AI之NLP：自然语言处理技术简介(是什么/学什么/怎么用)、常用算法、经典案例之详细攻略(建议收藏)的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： DL之GD：利用LogisticGD算法
- 下一篇： DL之PerceptronAdaline