導讀：自然語言處理（Natural Language Processing，NLP）技術是與自然語言的計算機處理有關的所有技術的統稱，其目的是使計算機能夠理解和接受人類用自然語言輸入的指令，完成從一種語言到另一種語言的翻譯功能。

自然語言處理技術的研究，可以豐富計算機知識處理的研究內容，推動人工智能技術的發展。

作者：達觀數據

來源：大數據DT（ID：hzdashuju）

01 語義分析技術

自然語言處理技術的核心為語義分析。語義分析是一種基于自然語言進行語義信息分析的方法，不僅進行詞法分析和句法分析這類語法水平上的分析，而且還涉及單詞、詞組、句子、段落所包含的意義，目的是用句子的語義結構來表示語言的結構。語義分析技術具體包括如下幾點。

1. 詞法分析

詞法分析包括詞形分析和詞匯分析兩個方面。一般來講，詞形分析主要表現在對單詞的前綴、后綴等進行分析，而詞匯分析則表現在對整個詞匯系統的控制，從而能夠較準確地分析用戶輸入信息的特征，最終準確地完成搜索過程。

2. 句法分析

句法分析是對用戶輸入的自然語言進行詞匯短語的分析，目的是識別句子的句法結構，以實現自動句法分析的過程。

3. 語用分析

語用分析相對于語義分析又增加了對上下文、語言背景、語境等的分析，即從文章的結構中提取出意象、人際關系等附加信息，是一種更高級的語言學分析。它將語句中的內容與現實生活中的細節關聯在一起，從而形成動態的表意結構。

4. 語境分析

語境分析主要是指對原查詢語篇之外的大量“空隙”進行分析，以便更準確地解釋所要查詢語言的技術。這些“空隙”包括一般的知識、特定領域的知識以及查詢用戶的需求等。

5. 自然語言生成

AI驅動的引擎能夠根據收集的數據生成描述，通過遵循將數據中的結果轉換為散文的規則，在人與技術之間創建無縫交互的軟件引擎。結構化性能數據可以通過管道傳輸到自然語言引擎中，以自動編寫內部和外部的管理報告。

自然語言生成接收結構化表示的語義，以輸出符合語法的、流暢的、與輸入語義一致的自然語言文本。早期大多采用管道模型研究自然語言生成，管道模型根據不同的階段將研究過程分解為如下三個子任務。

• 內容選擇：決定要表達哪些內容。

• 句子規劃：決定篇章及句子的結構，進行句子的融合、指代表述等。

• 表層實現：決定選擇什么樣的詞匯來實現一個句子的表達。

早期基于規則的自然語言生成技術，在每個子任務上均采用了不同的語言學規則或領域知識，實現了從輸入語義到輸出文本的轉換。

鑒于基于規則的自然語言生成系統存在的不足之處，近幾年來，學者們開始了基于數據驅動的自然語言生成技術的研究，從淺層的統計機器學習模型，到深層的神經網絡模型，對語言生成過程中每個子任務的建模，以及多個子任務的聯合建模，開展了相關的研究，目前主流的自然語言生成技術主要有基于數據驅動的自然語言生成技術和基于深度神經網絡的自然語言生成技術。

02 自然語言處理應用

自然語言處理應用的技術體系主要包括字詞級別的自然語言處理，句法級別的自然語言處理和篇章級別的自然語言處理。

• 字詞級別的分析主要包括中文分詞、命名實體識別、詞性標注、同義詞分詞、字詞向量等；

• 句法級別的分析主要包括依存文法分析、詞位置分析、語義歸一化、文本糾錯等；

• 篇章級別的分析主要包括標簽提取、文檔相似度分析、主題模型分析、文檔分類和聚類等。

1. 中文分詞

中文分詞是計算機根據語義模型，自動將漢字序列切分為符合人類語義理解的詞匯。分詞就是將連續的字序列按照一定的規范重新組合成詞序列的過程。

在英文的行文中，單詞之間是以空格作為自然分界符的，而中文只是字、句和段能夠通過明顯的分界符來進行簡單的劃界，唯獨詞沒有一個形式上的分界符，雖然英文也同樣存在短語的劃分問題，不過在詞這一層面上，中文比英文要復雜得多、困難得多。

2. 命名實體識別

命名實體識別又稱作“專名識別”（NER），是指對具有特定意義的實體進行自動識別的技術，是信息提取、知識圖譜、問答系統、句法分析、搜索引擎、機器翻譯等應用的重要基礎。

3. 詞性標注

詞性標注（Part-of-Speech tagging或POS tagging）又稱詞類標注，是指為分詞結果中的每個單詞標注一個正確的詞性的程序。具體來說就是，確定每個詞是名詞、動詞、形容詞或者是其他詞性的過程（如圖3-2所示）。

▲圖3-2 詞性標注

在漢語中，詞性標注比較簡單，因為漢語詞匯詞性多變的情況比較少見，大多數詞語只有一個詞性，或者出現頻次最高的詞性遠遠高于第二位的詞性。常用的方法有：基于最大熵的詞性標注、基于統計的最大概率輸出詞性、基于隱馬爾可夫模型（HMM）的詞性標注。

4. 同義詞分析

由于不同地區的文化差異，輸入的查詢文字很可能會出現描述不一致的問題。此時，業務系統需要對用戶的輸入做同義詞、糾錯、歸一化處理。同義詞挖掘是一項基礎工作，同義詞算法包括詞典、百科詞條、元搜索數據、上下文相關性挖掘，等等。

5. 詞向量分析

詞向量技術是指將詞轉化為稠密向量，相似的詞對應的詞向量也相近。在自然語言處理應用中，詞向量作為深度學習模型的特征進行輸入。因此，最終模型的效果在很大程度上取決于詞向量的效果。一般來說，字詞表示有兩種方式：one-hot及分布式表示。

• one-hot是指向量中只有一個維度的值為1，其余維度為0，這個維度代表了當前詞。

• 分布式表示（word embedding）指的是將詞轉化為一種分布式表示，又稱詞向量，分布式表示將詞表示成一個定長的稠密向量。

詞向量的生成可分為兩種方法：基于統計方法（例如，共現矩陣、奇異值分解（SVD）和基于語言模型（例如，word2vec中使用的CBOW、Skip-gram等）。

6. 依存文法分析

依存文法通過分析語言單位內成分之前的依存關系解釋其句法結構，主張句子中的核心謂語動詞是支配其他成分的中心成分。而它本身卻不會受到其他任何成分的支配，所有受支配的成分都以某種關系從屬于支配者，如圖3-3所示。

▲圖3-3 依存文法分析距離

從分析結果中我們可以看到，句子的核心謂語動詞為“召開”，主語是“民航局”，“召開”的賓語是“會”，“會”的修飾語是“通用航空發展工作專題”。有了上面的句法分析結果，我們就可以比較容易地看到，是“民航局”“召開”了會議，而不是“促進”了會議，即使“促進”距離“會”更近。

7. 詞位置分析

文章中不同位置的詞對文章語義的貢獻度也不同。文章首尾出現的詞成為主題詞、關鍵詞的概率要大于出現在正文中的詞。對文章中的詞的位置進行建模，賦予不同位置不同的權重，從而能夠更好地對文章進行向量化表示。

8. 語義歸一化

語義歸一化通常是指從文章中識別出具有相同意思的詞或短語，其主要的任務是共指消解。共指消解是自然語言處理中的核心問題，在機器翻譯、信息抽取以及問答等領域都有著非常重要的作用。

就拿常見的信息抽取的一個成型系統來講，微軟的學術搜索引擎會存有一些作者的檔案資料，這些信息可能有一部分就是根據共指對象抽取出來的。比如，在一個教授的訪談錄中，教授的名字可能只會出現一兩次，更多的可能是“我”“某某博士”“某某教授”或“他”之類的代稱，不出意外的話，這其中也會有一些同樣的詞代表記者，如何將這些詞對應到正確的人，將會成為信息抽取的關鍵所在。

9. 文本糾錯

文本糾錯任務指的是，對于自然語言在使用過程中出現的錯誤進行自動地識別和糾正。文本糾錯任務主要包含兩個子任務，分別為錯誤識別和錯誤修正。錯誤識別的任務是指出錯誤出現的句子的位置，錯誤修正是指在識別的基礎上自動進行更正。

相比于英文糾錯來說，中文糾錯的主要困難在于中文的語言特性：中文的詞邊界以及中文龐大的字符集。由于中文的語言特性，兩種語言的錯誤類型也是不同的。

英文的修改操作包括插入、刪除、替換和移動（移動是指兩個字母交換順序等），而對于中文來說，因為每一個中文漢字都可獨立成詞，因此插入、刪除和移動的錯誤都只是作為語法錯誤。由于大部分的用戶均為母語用戶，且輸入法一般會給出正確提示，語法錯誤的情況一般比較少，因此，中文輸入糾錯主要集中在替換錯誤上。

10. 標簽提取

文檔的標簽通常是幾個詞語或者短語，并以此作為對該文檔主要內容的提要。標簽是人們快速了解文檔內容、把握主題的重要方式，在科技論文、信息存儲、新聞報道中具有極其廣泛的應用。文檔的標簽通常具有可讀性、相關性、覆蓋度等特點。

• 可讀性指的是其本身作為一個詞語或者短語就應該是有意義的；

• 相關性指的是標簽必須與文檔的主題、內容緊密相關；

• 覆蓋度指的是文檔的標簽能較好地覆蓋文檔的內容，而不能只集中在某一句話中。

11. 文本相似度

文本相似度在不同領域受到了廣泛的討論，然而由于應用場景的不同，其內涵也會有差異，因此沒有統一的定義。

從信息論的角度來看，相似度與文本之間的共性和差異度有關，共性越大、差異度越小，則相似度越高；共性越小、差異度越大，則相似度越低；相似度最大的情況是文本完全相同。

相似度計算一般是指計算事物的特征之間的距離，如果距離小，那么相似度就大；如果距離大，那么相似度就小。

相似度計算的方法可以分為四大類：基于字符串的方法、基于語料庫的方法、基于知識的方法和其他方法。

• 基于字符串的方法是指從字符串的匹配度出發，以字符串共現和重復程度為相似度的衡量標準；

• 基于語料庫的方法是指利用從語料庫中獲取的信息計算文本的相似度；

• 基于知識的方法是指利用具有規范組織體系的知識庫計算文本的相似度。

12. 主題模型

主題分析模型（Topic Model）是以非監督學習的方式對文檔的隱含語義結構進行統計和聚類，以用于挖掘文本中所蘊含的語義結構的技術。隱含狄利克雷分布（Latent Dirichlet Allocation，LDA）是常用的主題模型計算方法。

13. 文本分類

按照特定行業的文檔分類體系，計算機自動閱讀文檔的內容并將其歸屬到相應類目的技術體系下。其典型的處理過程可分為訓練和運轉兩種。即計算機預先閱讀各個類目的文檔并提取特征，完成有監督的學習訓練，在運轉階段識別新文檔的內容并完成歸類。

14. 文本聚類

文本聚類主要是依據著名的聚類假設：同類的文檔相似度較大，而不同類的文檔相似度較小。作為一種無監督的機器學習方法，聚類由于不需要訓練過程，以及不需要預先對文檔的類別進行手工標注，因此具有一定的靈活性和較高的自動化處理能力。

文本聚類已經成為對文本信息進行有效地組織、摘要和導航的重要手段。文本聚類的方法主要有基于劃分的聚類算法、基于層次的聚類算法和基于密度的聚類算法。

關于作者：達觀數據，中國智能RPA領域的龍頭企業，獨立開發了全套“RPA+AI”系統，擁有核心知識產權。達觀智能RPA產品是業界不依賴微軟底層開發框架、未使用第三方開源框架的RPA產品。

本文摘編自《智能RPA實戰》，經出版方授權發布。

延伸閱讀《智能RPA實戰》

點擊上圖了解及購買

轉載請聯系微信：DoctorData

推薦語：這是一部從實戰角度講解“AI+RPA”如何為企業數字化轉型賦能的著作，從基礎知識、平臺構成、相關技術、建設指南、項目實施、落地方法論、案例分析、發展趨勢8個維度對智能RPA做了系統解讀，為企業認知和實踐智能RPA提供全面指導。

劃重點????

干貨直達????

• 馬太效應和冪律分布是怎么回事？終于有人講明白了
  

• 什么是引力波？它是怎么被發現的？
  

• 2020下半年，值得關注的10本機器學習、深度學習好書
  

• 所到之處，寸草不生！深扒黑產工具和羊毛黨操作流程

更多精彩????

在公眾號對話框輸入以下關鍵詞

查看更多優質內容！

PPT?|?讀書?|?書單?|?硬核?|?干貨?|?講明白?|?神操作

大數據?|?云計算?|?數據庫?|?Python?|?可視化

AI?|?人工智能?|?機器學習?|?深度學習?|?NLP

5G?|?中臺?|?用戶畫像?|?1024?|?數學?|?算法?|?數字孿生

據統計，99%的大咖都完成了這個神操作

????

總結

以上是生活随笔為你收集整理的详解自然语言处理5大语义分析技术及14类应用（建议收藏）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。