作者 | Eric Fillion

編譯 | VK
來源 | Towards Data Science

文本分類是NLP最常見的應用。與大多數NLP應用一樣，Transformer模型近年來在該領域占據主導地位。

在本文中，我們將討論如何使用Python包（我是名為Happy Transformer的主要維護者）實現和訓練文本分類Transformer模型，該包只需幾行代碼。

Happy Transformer構建在Hugging Face的transformers庫之上，允許程序員只需幾行代碼即可實現和訓練Transformer模型。

預訓練模型

在Hugging Face的模型網絡上，有100種預訓練文本分類模型可供選擇。

因此，我建議，在你花費太多時間擔心模型訓練之前，先看看是否有人已經為你的特定應用程序對模型進行了微調。

例如，我已經制作了關于如何實現用于情緒分析和仇恨語音檢測的預訓練Transformer模型的內容。

在本教程中，我們將實現一個名為finbert的模型，該模型由一家名為Prosus的公司創建。該模型檢測金融數據的情緒。

安裝

Happy Transformer在PyPI上可用，因此我們可以用一行代碼安裝它。

pip?install?happytransformer

實例化

讓我們導入一個名為HappyTextClassification的類，我們將使用它加載模型。

from?happytransformer?import?HappyTextClassification

從這里，我們可以使用HappyTextClassification類為模型實例化一個對象。

第一個position參數指定模型的類型。例如，“BERT”、“ROBERTA”和“ALBERT”都是有效的模型名稱。第二個position參數表示模型的名稱，可以在模型的網頁上找到。最后一個參數是一個名為“num_labels”的參數，它指定模型擁有的類的數量。在本例中，模型有三個標簽：“正”、“中性”和“負”

重要提示：實例化模型時不要忘記設置num_labels。否則，可能會發生錯誤。

happy_tc?=?HappyTextClassification("BERT",?"ProsusAI/finbert",?num_labels=3)

用法

我們可以?使用“classify_text”方法，只需一行代碼即可開始對文本進行分類

result?=?happy_tc.classify_text("Tesla's?stock?just?increased?by?20%")

讓我們把結果打印出來，以便更好地理解它。

print(result)

Output: TextClassificationResult(label=’positive’, score=0.929110586643219)

如你所見，?輸出是一個數據類，有兩個變量：“label”和“score”。

label是一個字符串，用于指示輸入被分類到哪個類。“score”變量指定模型將答案分配為浮點數的概率。我們不能孤立這兩個變量。

print(result.label)? print(result.score)

Result:

positive

0.929110586643219

下面是另一個示例。

result?=?happy_tc.classify_text("The?price?of?gold?just?dropped?by?5%")? print(result.label) print(result.score)

Output:

negative

0.8852565288543701

訓練-NLP情緒分析

現在我們來討論訓練。我們將訓練一個模型來檢測與NLP相關的文本情感。我們將僅使用兩個示例進行訓練—當然，這還不足以可靠地訓練模型。但是，這只是為了示范。

我們必須創建一個包含兩列的CSV文件：文本和標簽。文本列包含我們希望分類的文本。“標簽”列將標簽類型包含為大于或等于0的整數。下表給出了訓練CSV的示例。

下面是生成上述CSV文件的代碼：

import?csvcases=?[("Wow?I?love?using?BERT?for?text?classification",?0),?("I?hate?NLP",?1)]with?open("train.csv",?'w',?newline='')?as?csvfile:writer?=?csv.writer(csvfile)writer.writerow(["text",?"label"])for?case?in?cases:writer.writerow([case[0],?case[1]])

首先，我們將安裝DistilBERT的普通版本作為起點。還有其他模型可以使用，如 BERT, ALBERT, RoBERTa等。更多型號請訪問Hugging Face的模型網絡：https://huggingface.co/models。

happy_tc?=?HappyTextClassification(model_type="DISTILBERT",?model_name="distilbert-base-uncased",?num_labels=2)

然后，我們可以使用新實例化的類簡單地調用方法“train”。

happy_tc.train("train.csv")

就這樣！我們剛剛訓練了模型。我們現在可以使用它，就像我們在上一節中所做的那樣。例如，你現在可以像以前一樣調用“happy_tc.classify_text”，并將使用新的微調模型。

自定義參數

通過使用一個名為“TCTrainArgs”的類，我們可以輕松地修改學習參數，例如epoch數、學習率等。

from?happytransformer?import?TCTrainArgs

現在，我們可以使用TCTrainArgs類創建一個對象來包含訓練參數。可以修改的參數列表:https://happytransformer.com/text-classification/finetuning/。讓我們將默認的訓練次數從3增加到5。

args?=?TCTrainArgs(num_train_epochs=5)

讓我們像以前一樣調用happy_tc的train方法，但這次將args對象傳遞到該方法的args參數中。

happy_tc.train("train.csv",?args=args)

好了，我們修改了學習參數！

評價

HappyTextGeneration對象有一個內置方法，允許你快速評估模型。

首先，按照訓練中討論的格式格式化數據，然后調用“.eval”方法。為了簡單起見，讓我們使用訓練文件進行評估。

result?=?happy_tc.eval("train.csv")? print(result)

Result: EvalResult(loss=0.2848379611968994)

然后我們可以像這樣分離損失變量：

print(result.loss)

Output: 0.2848379611968994

我建議你將整體數據的一部分用于訓練，另一部分用于評估。然后，在訓練前后評估你的模型。如果損失減少，則表示你的模型已學習。

你還可以創建數據的第三部分，用于運行實驗，以找到最佳的學習參數

結論

就這樣！你剛剛學習了如何實現和訓練文本分類Transformer模型。使用Happy Transformer只需幾行就可以完成這么多工作!。

相關文章

本文中的代碼：

https://colab.research.google.com/drive/1Jq3o8whsgEL994noS14qyv98jt5We-pU?usp=sharing

往期精彩回顧適合初學者入門人工智能的路線及資料下載機器學習及深度學習筆記等資料打印機器學習在線手冊深度學習筆記專輯《統計學習方法》的代碼復現專輯 AI基礎下載黃海廣老師《機器學習課程》視頻課黃海廣老師《機器學習課程》711頁完整版課件

本站qq群554839127，加入微信群請掃碼：

總結

以上是生活随笔為你收集整理的【NLP】使用Transformer模型进行文本分类的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。