問答系統(tǒng)所需要的數(shù)據(jù)已經(jīng)提供，對于每一個問題都可以找得到相應(yīng)的答案，所以可以理解為每一個樣本數(shù)據(jù)是 <問題、答案>。 那系統(tǒng)的核心是當用戶輸入一個問題的時候，首先要找到跟這個問題最相近的已經(jīng)存儲在庫里的問題，然后直接返回相應(yīng)的答案即可。
由于作者是學電氣的，這里以電力調(diào)度知識文本來構(gòu)建問答系統(tǒng)

原始表格樣子，我準備了調(diào)度相關(guān)的205個的問題和答案。

語言：python3.7

第一步：讀取數(shù)據(jù)

import pandas as pdimport numpy as np import jieba import recsv='電力調(diào)度問答.csv' file_txt=pd.read_csv(csv, header=0,encoding='gbk')#[205 rows x 2 columns] file_txt=file_txt.dropna()#刪除空值[[205 rows x 2 columns] print(file_txt.head())#查看前5行

第二步：過濾停用詞，標點符號，單字詞

中文停用詞鏈接;
nlp 中文停用詞數(shù)據(jù)集

# 定義刪除除字母,數(shù)字，漢字以外的所有符號的函數(shù) def remove_punctuation(line):line = str(line)if line.strip() == '':return ''rule = re.compile(u"[^a-zA-Z0-9\u4E00-\u9FA5]")line = rule.sub('', line)return line#停用詞 def stopwordslist(filepath):stopwords = [line.strip() for line in open(filepath, 'r', encoding='gbk').readlines()]return stopwordsstopwords = stopwordslist("停用詞.txt")#去除標點符號 file_txt['clean_review']=file_txt['問題'].apply(remove_punctuation) #去除停用詞 file_txt['cut_review']=file_txt['clean_review'].apply(lambda x:" ".join([w for w in list(jieba.cut(x)) if w not in stopwords and len(w)>1])) print(file_txt.head())

得到的cut_review為問題的關(guān)鍵詞信息

查看下cut_review

第三步：文本向量化表示
因為我們是根據(jù)輸入一個問題，然后從系統(tǒng)里找到和用戶所題問題相似的問題，輸出答案。需要計算相似度，在這之前需要先文本向量化表示。
我采用tf-idf表示，直接導入包使用吧。

from sklearn.feature_extraction.text import CountVectorizer#詞袋 from sklearn.feature_extraction.text import TfidfTransformer#tfidfcount_vect = CountVectorizer() X= count_vect.fit_transform(file_txt['cut_review'])#tf-idf tfidf_transformer = TfidfTransformer() X_fidf = tfidf_transformer.fit_transform(X) print(X_fidf)

第四步：原始索引
我這里的原始索引為
{‘問題IID’:[關(guān)鍵詞1,關(guān)鍵詞2…],‘問題2ID’:[關(guān)鍵詞2,關(guān)鍵詞3…]…}
其中的ID為問題1所以的行數(shù)，即問題1為第一個問題，ID為1。

for i in range(len(file_txt)):left, rights = i,file_txt.iloc[i]['cut_review'].split()

由于數(shù)太多，我這里修改下代碼，假設(shè)只有5個問題

for i in range(len(file_txt.head())):left, rights = i,file_txt.iloc[i]['cut_review'].split()print('left is ',i,'rights is ',rights)

原始索引可以不出現(xiàn)總代碼里，我寫出來，只是為了方便你們閱讀。

第五步：倒排索引實現(xiàn)
因為我們需要將用戶提出的問題和庫的問題進行相似度計算，然后返回相似度高的問題答案。 如果我們遍歷庫的每一個問題，然后和用戶提出的問題做相似度計算，如果數(shù)據(jù)量大，則時間成本太大。
于是，這里需要倒排索引。
前文提到的原始索引為
{‘問題IID’:[關(guān)鍵詞1,關(guān)鍵詞2…],‘問題2ID’:[關(guān)鍵詞2,關(guān)鍵詞3…]…}

處理后的倒排索引為
{‘關(guān)鍵詞1’:[問題1ID],‘關(guān)鍵詞2’:[問題1ID，問題2ID…}

然后對用戶提的問題，首先先分詞，找到問題的關(guān)鍵詞。然后根據(jù)關(guān)鍵詞，找到包含該關(guān)鍵詞的所有問題ID。再把這些問題和用戶提的問題進行相似度計算。
通過倒排表，我們無需在計算相似度時遍歷庫的所有問題，只需遍歷包含用戶問題關(guān)鍵詞的問題即可。

result={} for i in range(len(file_txt)):left, rights = i,file_txt.iloc[i]['cut_review'].split()for right in rights:if right in result.keys():result[right].append(left)else:result[right] = [left]

同理，由于原始數(shù)據(jù)量太大，我假設(shè)問題只有5個，這時來查看下倒排索引是什么。體驗下什么是倒排索引

result={} for i in range(len(file_txt.head())):left, rights = i,file_txt.iloc[i]['cut_review'].split()for right in rights:if right in result.keys():result[right].append(left)else:result[right] = [left]print(result)

如圖所示，在只有5個問題下，包含關(guān)鍵詞制定的問題只有1，包含關(guān)鍵詞電力企業(yè)的有問題1,3…

第六步：對用戶輸入的問題進行分詞，提取關(guān)鍵詞，找到匹配到的所有問題ID

假設(shè)用戶輸入的問題是：sentence=“中性點接地方式有哪些”
得到的關(guān)鍵詞是：[‘中性點’, ‘接地’, ‘方式’]

sentence="中性點接地方式有哪些" clean_reviewyonghu=remove_punctuation(sentence)#去除標點 cut_reviewyonghu=[w for w in list(jieba.cut(clean_reviewyonghu)) if w not in stopwords and len(w)>1]#去除停用詞，單字詞 #print(cut_reviewyonghu) # ['中性點', '接地', '方式'] Problem_Id=[] for j in cut_reviewyonghu:if j in result.keys():Problem_Id.extend(result[j]) id=(list(set(Problem_Id)))#去重之后的ID print(id)

得到的問題ID是
該問題在數(shù)據(jù)庫里對應(yīng)的問題有17個問題

第七步：相似度計算
將用戶所提問題 “中性點接地方式有哪些” 和找到的17個問題，一一計算文檔相似度。

相似度計算有很多種方式，我在下面用的相似度計算方法，沒有用上第三步中文本向量化。

相似度計算有多種方式，具體參考我之前的一篇博客
文本相似度幾種計算方法及代碼python實現(xiàn)

#余弦相識度計算方法 def cosine_similarity(sentence1: str, sentence2: str) -> float:""":param sentence1: s:param sentence2::return: 兩句文本的相識度"""seg1 = [word for word in jieba.cut(sentence1) if word not in stopwords]seg2 = [word for word in jieba.cut(sentence2) if word not in stopwords]word_list = list(set([word for word in seg1 + seg2]))#建立詞庫word_count_vec_1 = []word_count_vec_2 = []for word in word_list:word_count_vec_1.append(seg1.count(word))#文本1統(tǒng)計在詞典里出現(xiàn)詞的次數(shù)word_count_vec_2.append(seg2.count(word))#文本2統(tǒng)計在詞典里出現(xiàn)詞的次數(shù)vec_1 = np.array(word_count_vec_1)vec_2 = np.array(word_count_vec_2)#余弦公式num = vec_1.dot(vec_2.T)denom = np.linalg.norm(vec_1) * np.linalg.norm(vec_2)cos = num / denomsim = 0.5 + 0.5 * cosreturn simstr1=sentence#用戶所提問題 similarity={}#存儲結(jié)果 if len(id)==0:print('數(shù)據(jù)庫里沒有該問題，請重新提問') else:for i in id:str2 = file_txt.iloc[i]['問題']sim1 = cosine_similarity(str1, str2) # 余弦相識度print('用戶所提問題和問題{0}的相似度是{1}'.format(i, sim1))similarity[i] = sim1 print(similarity)

第八步：給出答案
將第七步得到的similarity={} 進行排序，輸出相似度最高的2個問題答案

jieguo=sorted(similarity.items(),key=lambda d:d[1],reverse=True)[:2]#降序 print(jieguo) print('用戶所提的問題是：',sentence)for i,j in jieguo:print('數(shù)據(jù)庫相似的問題是{0} 答案是{1}'.format(i,file_txt.iloc[i]['答案']))

答案如下：可以發(fā)問題33的答案是我們要找的答案

完美
整理后的總代碼

import pandas as pdimport numpy as np import jieba import re# 定義刪除除字母,數(shù)字，漢字以外的所有符號的函數(shù) def remove_punctuation(line):line = str(line)if line.strip() == '':return ''rule = re.compile(u"[^a-zA-Z0-9\u4E00-\u9FA5]")line = rule.sub('', line)return line#停用詞 def stopwordslist(filepath):stopwords = [line.strip() for line in open(filepath, 'r', encoding='gbk').readlines()]return stopwords#余弦相識度計算方法 def cosine_similarity(sentence1: str, sentence2: str,stopwords) -> float:""":param sentence1: s:param sentence2::return: 兩句文本的相識度"""seg1 = [word for word in jieba.cut(sentence1) if word not in stopwords ]seg2 = [word for word in jieba.cut(sentence2) if word not in stopwords ]word_list = list(set([word for word in seg1 + seg2]))#建立詞庫word_count_vec_1 = []word_count_vec_2 = []for word in word_list:word_count_vec_1.append(seg1.count(word))#文本1統(tǒng)計在詞典里出現(xiàn)詞的次數(shù)word_count_vec_2.append(seg2.count(word))#文本2統(tǒng)計在詞典里出現(xiàn)詞的次數(shù)vec_1 = np.array(word_count_vec_1)vec_2 = np.array(word_count_vec_2)#余弦公式num = vec_1.dot(vec_2.T)denom = np.linalg.norm(vec_1) * np.linalg.norm(vec_2)cos = num / denomsim = 0.5 + 0.5 * cosreturn simdef main():#讀取數(shù)據(jù)csv = '電力調(diào)度問答.csv'file_txt = pd.read_csv(csv, header=0, encoding='gbk') # [205 rows x 2 columns]file_txt = file_txt.dropna() # 刪除空值[[205 rows x 2 columns]#停用詞加載stopwords = stopwordslist("停用詞.txt")# 去除標點符號file_txt['clean_review'] = file_txt['問題'].apply(remove_punctuation)# 去除停用詞file_txt['cut_review'] = file_txt['clean_review'].apply(lambda x: " ".join([w for w in list(jieba.cut(x)) if w not in stopwords and len(w) > 1]))#所有問題組合起來的倒排表 resultresult = {}for i in range(len(file_txt)):left, rights = i, file_txt.iloc[i]['cut_review'].split()for right in rights:if right in result.keys():result[right].append(left)else:result[right] = [left]#用戶問題sentence=input('請輸入問題：')clean_reviewyonghu = remove_punctuation(sentence) # 用戶問題去除標點cut_reviewyonghu = [w for w in list(jieba.cut(clean_reviewyonghu)) ifw not in stopwords and len(w) > 1] # 用戶問題去除停用詞，單字詞 得到關(guān)鍵詞#print(cut_reviewyonghu)#查找用戶問題關(guān)鍵詞在數(shù)據(jù)庫中對應(yīng)的問題idProblem_Id = []for j in cut_reviewyonghu:if j in result.keys():Problem_Id.extend(result[j])id = (list(set(Problem_Id))) # 去重之后的ID#計算余弦相似度str1 = sentence # 用戶所提問題similarity = {} # 存儲結(jié)果if len(id) == 0:print('數(shù)據(jù)庫里沒有該問題，請重新提問')else:for i in id:str2 = file_txt.iloc[i]['問題']sim1 = cosine_similarity(str1, str2,stopwords) # 余弦相識度# print('用戶所提問題和問題{0}的相似度是{1}'.format(i, sim1))similarity[i] = sim1#輸出和用戶問題相似度最高幾個問題的答案jieguo = sorted(similarity.items(), key=lambda d: d[1], reverse=True)[:2] # 降序print(jieguo)print('用戶所提的問題是：', sentence)for i, j in jieguo:print('數(shù)據(jù)庫相似的問題是{0} 答案是{1}'.format(i, file_txt.iloc[i]['答案']))if __name__=='__main__':main()

總結(jié)

這是一個簡單的問答系統(tǒng)，現(xiàn)實生活中，該業(yè)務(wù)應(yīng)該還包含語音
即先語音轉(zhuǎn)換為文字， 然后 文本糾錯，最后再進行問答系統(tǒng)。
文本糾錯鏈接
中文文本糾錯 算例實現(xiàn)（有算例完整代碼）
我們需要的維護的就是數(shù)據(jù)庫中的問題（即對應(yīng)本文的問題答案表格）
問題越多，該問題系統(tǒng)效果就越好。
如果需要提升效果和速度，可以再修改停用詞（本文給出的停用詞針對所有文本，不是專門為電力設(shè)計的），使最后得到的關(guān)鍵詞只包含電力領(lǐng)域的詞。
再者修改結(jié)巴分詞，使有的詞不被分成單字。

可以再封裝為軟件，懶得再動手封裝為界面軟件啦，就不演示啦。
如果只做到倒排索引那一步即根據(jù)用戶提出的問題，在數(shù)據(jù)庫里找到啦相似問題，然后把相似問題和答案 一一展現(xiàn)出來就是一個搜索系統(tǒng)（類似于百度，輸入一句話，彈出一大堆相關(guān)得東西）

電氣工程的計算機萌新：余登武。寫博文不容易。如果你覺得本文對你有用，請點個贊支持下，謝謝

我一個學電氣的，怎么懂得這些。唉

總結(jié)

以上是生活随笔為你收集整理的基于倒排表的电力调度知识问答系统构建 (100行代码带你实现nlp问答系统）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。