python深度学习NER任务中:对段落的分割
生活随笔
收集整理的這篇文章主要介紹了
python深度学习NER任务中:对段落的分割
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
在深度學習模型中,有時需要避免輸入的是一段話而不是一個句子。我們需要把一段話分割成多個短句子,比如:
目前診斷:1、肺癌pT1cN0M0R0切除,IA期,EGFR(+)2、化療后骨髓抑制3、高血壓病。長期住院原因分析及針對性診療計劃:患者肺癌復發,目前行同步放化療,放療時間較長,需要長期住院治療。將句號作為分割點,將這句話分割成兩句話,每句話作為模型的輸入,這樣做的原因是:防止輸入句子太長,模型在處理時將關鍵信息裁剪,此時就抽取不出想要的信息了。
代碼實現如下:
在醫療病例單中使用命名實體識別技術提取醫生對患者的診斷時,利用此方法就可以用模型單獨對句子進行處理,這樣的效果似乎更好。
以下是上面的代碼對段落的處理結果
目前診斷:1、肺癌pT1cN0M0R0切除,IA期,EGFR(+)2、化療后骨髓抑制3、高血壓病。 長期住院原因分析及針對性診療計劃:患者肺癌復發,目前行同步放化療,放療時間較長,需要長期住院治療。mediecalNER模型的識別結果為
[ { "start": 7, "stop": 20, "word": "肺癌pT1cN0M0R0切除", "type": "BODY" }, { "start": 22, "stop": 24, "word": "IA期", "type": "BODY" }, { "start": 26, "stop": 32, "word": "EGFR(+)", "type": "BODY" }, { "start": 44, "stop": 47, "word": "高血壓病", "type": "BODY" } ] ------------------------------------- [] -------------------------------------顯然模型識別出了第一句話中提出的幾個診斷病情,但是精度沒那么高。。。
總結
以上是生活随笔為你收集整理的python深度学习NER任务中:对段落的分割的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 在指定文件夹下打开Jupyter Not
- 下一篇: 将txt文件的编码格式进行修改