[WEKA]如何将英文文本数据集转换为ARFF格式
若采用的是英文文本語(yǔ)料庫(kù),利用WEKA將英文文本數(shù)據(jù)轉(zhuǎn)換到ARFF格式中,需要用到以下兩個(gè)工具:TextDirectoryToArff和TextDirectoryLoader。
TextDirectoryToArff是一個(gè)JAVA類(Class),它負(fù)責(zé)將一個(gè)目錄文件中的文本數(shù)據(jù)轉(zhuǎn)換到一個(gè)ARFF文件中。
TextDirectoryLoader是一個(gè)轉(zhuǎn)換器(Converter),它是基于TextDirectoryToArff類的,并且處于weka.core.converters包中。
在轉(zhuǎn)換之前,我們需要將文本數(shù)據(jù)集按照TextDirectoryLoader轉(zhuǎn)換器所要求形式布局:
-----------------------------------------------------------
...
|
+- example
???? |
???? +- class1
???? |? |
???? |? + file1.txt
???? |? |
???? |? + file2.txt
???? |? |
???? |? ...
???? |
???? +- class2
???? |? |
???? |? + another_file1.txt
???? |? |
???? |? + another_file2.txt
???? |? |
???? |? ...
-----------------------------------------------------------
按照上圖所示的目錄布局好文本數(shù)據(jù)后,將example文件夾放置在weka根目錄下,我們利用WEKA的命令行界面(Simple CLI)輸入以下命令:
java weka.core.converters.TextDirectoryLoader -dir example > example.arff
此時(shí),可以發(fā)現(xiàn)在weka根目錄下生成了一個(gè)example.arff文件,這說(shuō)明文本數(shù)據(jù)已經(jīng)成功轉(zhuǎn)換成了WEKA需要的ARFF文件了。
example.arff文件內(nèi)容下圖所示,從圖中可以發(fā)現(xiàn)example文件夾下的子文件夾名變成了每個(gè)文檔的類標(biāo)記。
-----------------------------------------------------------
@relation D__workspace_weka_example
@attribute text string
@attribute class {class1,class2,class3}
@data
‘文本內(nèi)容’,class1
‘文本內(nèi)容’,class3
‘文本內(nèi)容’,class2
‘文本內(nèi)容’,class1
‘文本內(nèi)容’,class3
...
-----------------------------------------------------------
該方法對(duì)于中文文本數(shù)據(jù)不適用,生成的ARFF中的中文會(huì)變成亂碼,需要修改WEKA的源碼才能實(shí)現(xiàn)對(duì)中文文本數(shù)據(jù)的處理。
總結(jié)
以上是生活随笔為你收集整理的[WEKA]如何将英文文本数据集转换为ARFF格式的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: 周志华眼中的贝叶斯方法(转)
- 下一篇: Weka加载大数据量内存不足的解决办法