最近優化NER識別過程中，需要分詞邊界信息，現有的開源分詞系統HANLP沒有垂直領域詞典的支持，效果差強人意。趕上pku開源了pkuseg，利用一些時間學習一下，記錄一下個人一點見解。
github地址
不得不說pku對于開發者非常友好，包括訓練、場景模型切換（msra/新聞領域、ctb8/混合領域、weibo/網頁領域）、硬編碼詞典加載、模型支持對文件的處理、支持python多進程處理、提供預訓練好的模型。
論文（Jingjing Xu, Xu Sun. Dependency-based Gated Recursive Neural Network for Chinese Word Segmentation. ACL 2016: 567-572）是12年，有興趣的可以去網上看一下，基于CRF來訓練的，得分函數中不僅結合了unigram和bigram等word feature、重復出現詞特征，還加入了High Dimensional Edge Features 也就是觀察序列的轉換特征，以往傳統的CRF只有隱藏狀態的轉移，代碼中CRF模板（7.c-1c.路.之 316457，第一位為特征在整個特征組的位置，c-1c：前一個字，當前字，316457特征的索引），可以一同探討。CRF優化方面論文中提出了基于詞頻自適應隨機梯度下降方法，詞頻越高，梯度優化步調放緩。損失函數方面加入L2正則化。論文另一個創新之處為此模型還可以用于新詞發現，結合CRF條件概率（p>0.5）和現有詞典。實驗結果在各個競賽數據集（微軟研究院、香港城市大學、北京大學）上取得很好的P值及F值。對于處理速度方面，在個人筆記本上，1045篇新聞文章，10進程，220s（和個人硬件環境有關）。以下為測試代碼，主要參考的github文檔。

# seg = pkuseg.pkuseg() # text = '四川人用普通話與川普通電話' # text = '歡迎 新老師生前來就餐' #text = '沿海南方向前進' # text = '黑天鵝和灰犀牛是兩個突發事件' # text = '統計局局長寧長吉' # text = seg.cut(text) # print(text)#帶有用戶自定義詞典的 # user_dictionary = ['馬桶LV'] # seg = pkuseg.pkuseg(user_dict=user_dictionary) # text = seg.cut('王欣發布馬桶LVapp') # print(text)# 新聞分詞模型、網絡文本模型、微博數據模型 seg = pkuseg.pkuseg(model_name='../pkuseg/models/test') text = seg.cut('沿海南方向前進') print(text)#對文件進行分詞 # from datetime import datetime # seg = pkuseg.pkuseg(model_name='../pkuseg/models/msra') # start = datetime.now() # pkuseg.test('./data.txt','./data_seg.txt',nthread = 10) # end = datetime.now() # print(end - start)#訓練模型 # pkuseg.train('./data_seg.txt','./data_seg.txt','./models',nthread=20)

本人在64G服務器上訓練，訓練過程進程，20進程，語料大小為74M，加載完成消耗內存61.7%。以下為訓練log，僅供參考，還沒有訓練完成。
length = 1 : 2646488
length = 2 : 2476114
length = 3 : 294463
length = 4 : 132263
length = 5 : 47769
length = 6 : 28708
length = 7 : 31896
length = 8 : 26539
length = 9 : 29071
length = 10 : 31487
length = 11 : 33062
length = 12 : 33925
length = 13 : 33907
length = 14 : 34027
length = 15 : 34071
getting feature set
file /tmp/tmp64i03_wp/.pkuseg/temp/train.txt converting…
file converting…
file converting…

start training…

reading training & test data…
done! train/test data sizes: 868968/1025

r: 1
iter1 diff=1.00e+100 train-time(sec)=33362.17 f-score=89.92%

總結

以上是生活随笔為你收集整理的开源分词系统pkuseg学习的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。