hanlp是开源的吗_自然语言处理之:搭建基于HanLP的开发环境(转)
環境搭建比FNLP的簡單,具體參考:https://github.com/hankcs/HanLP
各個版本的下載:https://github.com/hankcs/HanLP/releases
完畢后有一個報錯:
字符類型對應表加載失敗:
D:/eclipse_workspace/HanLPTest/HanLP/data/dictionary//other/CharType.dat.yes
直接在 D:/eclipse_workspace/HanLPTest/HanLP/data/dictionary//other/ 目錄下新建一個txt文檔將名稱改為CharType.dat.yes即可。
相對比較簡單。
嘗試HanLP主要處于各個開源自然語言處理工具包之間的差異,尋找一個適合學習的開源工具包。
HanLP調用方法
HanLP幾乎所有的功能都可以通過工具類HanLP快捷調用,當你想不起來調用方法時,只需鍵入HanLP.,IDE應當會給出提示,并展示HanLP完善的文檔。所有Demo都位于com.hankcs.demo下,比文檔覆蓋了更多細節,更新更及時,強烈建議運行一遍。
HanLP的適用過程中注意的問題:
1、因為HanLP版本更新比較頻繁,所以,jar源代碼版本需要對應適用,否則源碼和jar中接口調用對應不上。
在進行CRF分詞過程中報錯:
Exception in thread "main" java.lang.OutOfMemoryError: Java heap space
at java.nio.HeapByteBuffer.(HeapByteBuffer.java:57)
at java.nio.ByteBuffer.allocate(ByteBuffer.java:335)
at com.hankcs.hanlp.corpus.io.IOUtil.readBytesFromFileInputStream(IOUtil.java:251)
at com.hankcs.hanlp.corpus.io.IOUtil.readBytes(IOUtil.java:178)
at com.hankcs.hanlp.corpus.io.ByteArray.createByteArray(ByteArray.java:47)
at com.hankcs.hanlp.model.crf.CRFModel.loadTxt(CRFModel.java:89)
at com.hankcs.hanlp.seg.CRF.CRFSegment.(CRFSegment.java:58)
at com.hankcs.hanlp.seg.CRF.CRFSegment.(CRFSegment.java:73)
at test.Main.main(Main.java:56)
是因為CRF比較耗內存,所以出現內存不足,所以需要修改一下VM的最大內存。
選中工程,然后:
即可解決。
在源碼包文件在eclipse中打開出現亂碼,解決方法:
(必須)首先用txt打開,然后在第一行添加:encoding="utf-8"即可。
總結
以上是生活随笔為你收集整理的hanlp是开源的吗_自然语言处理之:搭建基于HanLP的开发环境(转)的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 程序实现switch语句判断年龄_【回顾
- 下一篇: mysql8.0默认引擎是什么_MySQ