之前在自然語言處理技術(shù)系列的第一篇NER實戰(zhàn)的結(jié)語中介紹過：序列標注（分詞，NER），文本分類（情感分析），句子關(guān)系判斷（語意相似判斷），句子生成（機器翻譯）是NLP領(lǐng)域的四大任務(wù)，之后我又陸續(xù)簡單介紹了情感分析實戰(zhàn),和Seq2Seq生成對聯(lián)。今天我們來到這個系列的終章篇——語義相似判斷。語義相似判斷就是判斷兩個句子是否具有相同的語義，其應(yīng)用場景多用于問答系統(tǒng)：

• 判斷兩個問句是否具有相同的語義。
• 判斷問題和檢索出的答案是否匹配。

當然也可以用于其他場景比如判斷兩幅圖片是否是一樣——人臉識別，所以從廣義上來說，就是語義相識判斷就是判斷兩個東西是否具有某種相似度的任務(wù)。

語義相似判斷任務(wù)簡介

語義相似可以轉(zhuǎn)化為一個分類問題。給模型輸入兩個句子,然后希望模型判斷出兩個句子語義是否相似。具體輸入輸出細節(jié)如下:
輸入：

• 1.為何我無法申請開通花唄信用卡收款
• 2.支付寶開通信用卡花唄收款不符合條件怎么回事

輸出：1
如果輸出0表示不相似，輸出1表示相似。

語義相似判斷算法簡介

語義相似還是NLP中的老問題，如何將句子映射到到向量空間中同時保持語義，然后我們就可以通過各種距離去衡量句子的相似程度。

• 上古時期的方式是通過bag of words，tf-idf這種詞袋模型去映射句子。
• 之后出現(xiàn)了word2vector技術(shù)，我們就可以將一句話中每個詞的的詞向量求平均來

總結(jié)

以上是生活随笔為你收集整理的Keras蚂蚁金服大赛实战——自然语言处理技术的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。