下載一首英文的歌詞或文章

news=''' ''',

生成詞頻統(tǒng)計

sep=''',.;:''""''' for c in sep:news=news.replace(c,' ')wordlist=news.lower().split()wordDict={} for w in wordlist:wordDict[w]=wordDict.get(w,0)+1 ''' wordSet=set(wordlist) for w in wordSet:wordDict[w]=wordlist.count(w) ''' for w in wordDict:print(w, wordDict[w])

　　部分演示效果如下圖所示：

排序

wordSet=set(wordlist) for w in wordSet:wordDict[w]=wordlist.count(w) dictList=list(wordDict.items()) dictList.sort(key=lambda x:x[1],reverse=True)print(dictList)

　　效果演示如下圖所示：

排除語法型詞匯，代詞、冠詞、連詞

exclude={'the','a','an','and','of','with','to','by','am','are','is','which','on'} wordSet=set(wordlist)-exclude for w in wordSet:wordDict[w]=wordlist.count(w) dictList=list(wordDict.items()) dictList.sort(key=lambda x:x[1],reverse=True)print(dictList)

　　效果演示如下圖所示：

輸出詞頻最大TOP20

for i in range(20):print(dictList[i])

　　效果演示如下圖所示：

將分析對象存為utf-8編碼的文件，通過文件讀取的方式獲得詞頻分析內(nèi)容。

print('author:xujinpei') f=open('news.txt','r') news=f.read() f.close() print(news)

　　效果演示如下圖所示：

?中文詞頻統(tǒng)計，下載一長篇中文文章。

import jieba#打開文件 file = open("gzccnews.txt",'r',encoding="utf-8") notes = file.read(); file.close();#替換標點符號 sep = '''：。，？！；∶ ．．．“”''' for i in sep:notes = notes.replace(i,' ');notes_list = list(jieba.cut(notes));#排除單詞 exclude =[' ','\n','你','我','他','和','但','了','的','來','是','去','在','上','高']#方法②,遍歷列表 notes_dict={} for w in notes_list:notes_dict[w] = notes_dict.get(w,0)+1# 排除不要的單詞 for w in exclude:del (notes_dict[w]);for w in notes_dict:print(w,notes_dict[w])# 降序排序 dictList = list(notes_dict.items()) dictList.sort(key=lambda x:x[1],reverse=True); print(dictList)#輸出詞頻最大TOP20 for i in range(20):print(dictList[i])#把結(jié)果存放到文件里 outfile = open("top20.txt","a") for i in range(20):outfile.write(dictList[i][0]+" "+str(dictList[i][1])+"\n") outfile.close();

?效果演示如下圖所示：

轉(zhuǎn)載于:https://www.cnblogs.com/xujinpei/p/8658461.html

總結(jié)

以上是生活随笔為你收集整理的词频统计预处理之综合练习的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。