前言

垂直領域內(nèi)的自然語言處理任務往往面臨著標注數(shù)據(jù)缺乏的問題，而近年來快速發(fā)展的半監(jiān)督學習技術為此類問題提供了有希望的解決方案。文本以 Google 在 2019 年提出的 UDA 框架為研究主體，詳細探索該技術在熵簡科技真實業(yè)務場景中的實踐效果。

本文主要有三方面的貢獻：

• 以金融文本分類為案例，探索了 UDA 在真實場景中的效果和不足；

• 探索了 UDA 在輕量級模型上的效果；

• 增加了原始 UDA 論文中未披露或未完成的研究，如領域外數(shù)據(jù)的影響，錯誤標記數(shù)據(jù)的影響。

01背景

當前的半監(jiān)督技術似乎已經(jīng)具備了與監(jiān)督學習相比擬的優(yōu)勢。那么在真實場景中，半監(jiān)督技術是否依然可以如實驗室中的表現(xiàn)，可以在真實問題上發(fā)揮出獨特的優(yōu)勢，降低我們對于標簽數(shù)據(jù)的需求。

本文基于熵簡NLP團隊在真實業(yè)務場景上的實踐經(jīng)驗，從垂直領域?qū)τ诎氡O(jiān)督技術的需求出發(fā)，詳細介紹半監(jiān)督學習中最新的代表技術之一UDA 算法的特性，以及在金融文本分類任務上的落地實踐。

 

02金融領域的問題為什么需要半監(jiān)督技術

金融領域內(nèi)的自然語言處理問題屬于典型的垂直領域問題，在面對特定任務場景時，常常面臨的一個重要挑戰(zhàn)就是少樣本。這主要體現(xiàn)在兩個方面：

• 可收集到數(shù)據(jù)總量少，數(shù)據(jù)收集的時間成本很高，尤其在從0到1的立項初期。曾經(jīng)在某個項目上，我們用了三周時間才搜集到1000多條有效樣本。

• 數(shù)據(jù)的人工標注成本很高。由于自然語言處理任務大部分屬于認知層面的任務，因而數(shù)據(jù)標注的難度和不確定性顯著高于感知層面

《新程序員》：云原生和全面數(shù)字化實踐50位技術專家共同創(chuàng)作，文字、視頻、音頻交互閱讀

總結

以上是生活随笔為你收集整理的深度学习核心技术精讲100篇（四十九）-半监督学习在金融文本分类上的探索和实践的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。