目錄

1. 背景

2. 什么是 Bert 及原理？

3. 論文內容《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》

3.1 BERT模型輸入

3.2 BERT模型預訓練任務

3.2.1?Masked LM（MLM）：雙向的語言模型任務

3.2.2 Next Sentence Prediction（NSP）：連貫性判斷任務

3.3 模型比較

4. BERT模型對NLP的影響

5. 其他模型

5.1 ELMo

5.2 ULMFiT

5.3? GPT

5.4? BERT

5.5 ERNIE

6. 總結

參考文獻

---

　　BERT 項目地址：

　　https://github.com/google-research/bert#fine-tuning-with-bert

　　BERT 項目論文：

　　https://arxiv.org/abs/1810.04805

1. 背景

? ? ? ? 早在2015年的時候，微軟研究院的何凱明和他的同事們發表了殘差網絡的論文，第一次通過殘差的方式將卷積神經網絡推進到了100層以上，并在圖像識別的任務上刷新了當時的最高紀錄。自那以后起，隨著網絡不斷地加深，效果也在不斷提升。然而大量的數據訓練出來的大型網絡雖然效果更好，但隨著網絡的加深以及數據集的不斷擴大，完全重新訓練一個模型所需要的成本也在不斷地增加。

? ? ? ? 因此在計算機視覺處理中，人們越來越多地采用預訓練好的大型網絡來提取特征，然后再進行后續任務。目前這種處理方式已經是圖像處理中很常見的做法了。

? ? ? ?相比之下，自然語言處理目前通常會使用預訓練的詞向量來進行后續任務。但詞向量是通過淺層網絡進行無監督訓練，雖然在詞的級別上有著不錯的特性，但卻缺少對連續文本的內在聯系和語言結構的表達能力。因此大家也希望能像圖像領域那樣，通過大量數據來預訓練一個大型的神經網絡，然后用它來對文本提取特征去做后續的任務，以期望能得到更好的效果。這一方向的研究一直在持續，直到AllenAI提出的ELMo，由于其在后續任務上的優異表現獲得了不小的關注。

2. 什么是 Bert 及原理？

　　BERT 是一種對語言表征進行預訓練的方法，換句話說，是經過大型文本語料庫（如維基百科）訓練后獲得的通用「語言理解」模型，該模型可用于我們最在乎的 NLP 下游任務（如問答）。BERT 之所以表現得比過往的方法要好，是因為它是首個用于進行 NLP 預訓練的無監督、深度雙向系統。

BERT：一個語言表征模型，利用transformer的encoder來進行預訓練。BERT模型的全稱是Bidirectional Encoder Representations from Transformers，它是一種新型的語言模型。之所以說是一種新型的語言模型，是因為它通過聯合調節所有層中的雙向Transformer來訓練預訓練深度雙向表示。作者通過在33億文本的語料上訓練語言模型，再分別在不同的下游任務上微調，這樣的模型在不同的任務均得到了目前為止最好的結果，并且有一些結果相比此前的最佳成績得到了幅度不小的提升。

? ? ? ? ?預訓練表征可能無上下文語境，也可能有上下文語境，有上下文語境的系統可以進一步劃分成單向的或者雙向的。以 word2vec （?https://www.tensorflow.org/tutorials/representation/word2vec? ） 和 GloVe （?https://nlp.stanford.edu/projects/glove/? ）為例，無上下文語境的模型為詞匯表中的每個單詞生成單個「詞嵌入」表征，因此「 bank 」在「?bank deposit 」和「 river bank 」中可能存在同樣的表征。反之，有上下文語境的模型會根據整句話生成詞的表征。

　　 BERT 建立在近期一些上下文預訓練語境表征工作的基礎上，包括半監督序列學習（?https://arxiv.org/abs/1511.01432? ）、預訓練生成模型（?https://blog.openai.com/language-unsupervised/? ）、ELMo （?https://allennlp.org/elmo? ）以及 ULMFit （?http://nlp.fast.ai/classification/2018/05/15/introducting-ulmfit.html? ），但以上模型要么是單向的，要么是淺層雙向的，這意味著每個單詞只能與其左邊（或右邊）的單詞進行語境化結合。以「? I made a bank deposit?」為例，由于是單向表示，「?bank 」只能基于左邊「? I made a?」而不是與關聯性更強的「?deposit?」生成語境。過去有一些工作試圖打造出一個能夠結合上下文語境的生成模型，然而這些工作目前看來都較「?淺層? 」。BERT 真正做到了結合上下文語境來生成「? bank?」，兼顧到「? I made a 」和「? deposit?」，從深度神經網絡的最底層開始，擁有深度雙向屬性。

? ? ? ? 想深入了解BERT模型，首先應該理解語言模型。預訓練的語言模型對于眾多自然語言處理問題起到了重要作用，比如SQuAD問答任務、命名實體識別以及情感識別。目前將預訓練的語言模型應用到NLP任務主要有兩種策略，一種是基于特征的語言模型，如ELMo模型；另一種是基于微調的語言模型，如OpenAI GPT。這兩類語言模型各有其優缺點，而BERT的出現，似乎融合了它們所有的優點，因此才可以在諸多后續特定任務上取得最優的效果。

3. 論文內容《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》

? ? ? ? ?這個題目有五個關鍵詞，分別是 Pre-training、Deep、Bidirectional、Transformers、和 Language Understanding。其中 pre-training 的意思是，作者認為，確實存在通用的語言模型，先用文章預訓練通用模型，然后再根據具體應用，用 supervised 訓練數據，精加工（fine tuning）模型，使之適用于具體應用。為了區別于針對語言生成的 Language Model，作者給通用的語言模型，取了一個名字，叫語言表征模型 Language Representation Model。
? ? ? ? ? 語言表征模型 Language Representation Model：能實現語言表征目標的模型，作者提議，用 Deep Bidirectional Transformers 模型。

3.1 BERT模型輸入

? ? ? ? 輸入表示可以在一個詞序列中表示單個文本句或一對文本(例如，[問題，答案])。對于給定的詞，其輸入表示是可以通過三部分Embedding求和組成。Embedding的可視化表示如下圖所示：

• token Embeddings：表示的是詞向量，第一個單詞是CLS標志，可以用于之后的分類任務，對于非分類任務，可以忽略詞向量；
• Segment Embeddings：句子向量，用來區別兩種句子，因為預訓練不只做語言模型還要做以兩個句子為輸入的分類任務；
• Position Embeddings：位置向量，是通過模型學習得到的。

3.2 BERT模型預訓練任務

? ? ? ? 預訓練 pre-training，訓練結束后的 Transformer 模型，包括它的參數，是作者期待的通用的語言表征模型。BERT模型使用2個新的無監督預測任務對BERT進行預訓練，分別是Masked LM和Next Sentence Prediction：

3.2.1?Masked LM（MLM）：雙向的語言模型任務

解決單向的LM的問題，進行雙向的信息編碼。

為了訓練深度雙向Transformer表示，采用了一種簡單的方法：隨機掩蓋部分輸入詞，然后對那些被掩蓋的詞進行預測，此方法被稱為“Masked LM”(MLM)。預訓練的目標是構建語言模型，BERT模型采用的是bidirectional Transformer。那么為什么采用“bidirectional”的方式呢？因為在預訓練語言模型來處理下游任務時，我們需要的不僅僅是某個詞左側的語言信息，還需要右側的語言信息。

? ? ? ? 在訓練的過程中，隨機地掩蓋每個序列中15％的token，并不是像word2vec中的cbow那樣去對每一個詞都進行預測。MLM從輸入中隨機地掩蓋一些詞，其目標是基于其上下文來預測被掩蓋單詞的原始詞匯。與從左到右的語言模型預訓練不同，MLM目標允許表示融合左右兩側的上下文，這使得可以預訓練深度雙向Transformer。Transformer編碼器不知道它將被要求預測哪些單詞，或者哪些已經被隨機單詞替換，因此它必須對每個輸入詞保持分布式的上下文表示。此外，由于隨機替換在所有詞中只發生1.5%（15%*10%），所以并不會影響模型對于語言的理解。

? ? ? ? ?把一篇文章中，15% 的詞匯遮蓋，讓模型根據上下文全向地預測被遮蓋的詞。假如有 1 萬篇文章，每篇文章平均有 100 個詞匯，隨機遮蓋 15% 的詞匯，模型的任務是正確地預測這 15 萬個被遮蓋的詞匯。通過全向預測被遮蓋住的詞匯，來初步訓練 Transformer 模型的參數。

BERT 的方法很簡單：一開始先屏蔽掉輸入詞匯的 15％，然后通過深度雙向的 Transformer 編碼器運行整個序列，最后預測屏蔽的單詞。舉個例子：

Input: the man went to the [MASK1] . he bought a [MASK2] of milk.

Labels: [MASK1] = store; [MASK2] = gallon

BERT有哪些“反直覺”的設置？

? ? ? ? (1) 用比語言模型更簡單的任務來做預訓練。直覺上，要做更深的模型，需要設置一個比語言模型更難的任務，而BERT則選擇了兩個看起來更簡單的任務：完形填空和句對預測。

? ? ? ? (2) 完形填空任務在直觀上很難作為其它任務的預訓練任務。在完形填空任務中，需要mask掉一些詞，這樣預訓練出來的模型是有缺陷的，因為在其它任務中不能mask掉這些詞。而BERT通過隨機的方式來解決了這個缺陷：80%加Mask，10%用其它詞隨機替換，10%保留原詞。這樣模型就具備了遷移能力。

? ? ? ? 數據生成器將執行以下操作，而不是始終用[MASK]替換所選單詞：

? ? ? ? ? ? ? ?80％的時間：用[MASK]標記替換單詞，例如，my dog is hairy → my dog is [MASK]
? ? ? ? ? ? ? 10％的時間：用一個隨機的單詞替換該單詞，例如，my dog is hairy → my dog is apple
? ? ? ? ? ? ? 10％的時間：保持單詞不變，例如，my dog is hairy → my dog is hairy. 這樣做的目的是將表示偏向于實際觀察到的單詞。

3.2.2 Next Sentence Prediction（NSP）：連貫性判斷任務

? ? ? ?連貫性判斷任務，即句子級別的連續性預測任務，預測輸入BERT的兩段文本是否為連續的文本。

? ? ? ?很多句子級別的任務如自動問答（QA）和自然語言推理（NLI）都需要理解兩個句子之間的關系，譬如上述MLM任務中，經過第一步的處理，15%的詞匯被遮蓋。那么在這一任務中我們需要隨機將數據劃分為等大小的兩部分，一部分數據中的兩個語句對是上下文連續的，另一部分數據中的兩個語句對是上下文不連續的。然后讓Transformer模型來識別這些語句對中，哪些語句對是連續的，哪些語句對不連續。

? ? ? ? 然后，用第二個步驟繼續訓練模型的參數。譬如從上述 1 萬篇文章中，挑選 20 萬對語句，總共 40 萬條語句。挑選語句對的時候，其中 2*10 萬對語句是連續的兩條上下文語句，另外 2*10 萬對語句不是連續的語句。然后讓 Transformer 模型來識別這 20 萬對語句，哪些是連續的，哪些不連續。

為了讓模型學習到句子之間的關系，我們特意將模型放在可以從任意單語語料庫里生成的簡單任務中進行訓練：給出兩個句子 A 和 B，句子 B 究竟是句子 A 的下一個銜接句，亦或只是語料庫中隨機生成的句子？

Sentence A: the man went to the store .

Sentence B: he bought a gallon of milk .

Label: IsNextSentence

Sentence A: the man went to the store .

Sentence B: penguins are flightless .

Label: NotNextSentence

除了模型結構，模型大小和數據量也很重要

? ? ? ? 以上的描述涵蓋了BERT在模型結構和訓練目標上的主要創新點，而BERT的成功還有一個很大的原因來自于模型的體量以及訓練的數據量。

? ? ? ? ?BERT訓練數據采用了英文的開源語料BooksCropus 以及英文維基百科數據，一共有33億個詞。同時BERT模型的標準版本有1億的參數量，與GPT持平，而BERT的large版本有3億多參數量，這應該是目前自然語言處理中最大的預訓練模型了。

? ? ? ? 當然，這么大的模型和這么多的數據，訓練的代價也是不菲的。谷歌用了16個自己的TPU集群（一共64塊TPU）來訓練large版本的BERT，一共花了4天的時間。對于是否可以復現預訓練，作者在Reddit上有一個大致的回復，指出OpenAI當時訓練GPT用了將近1個月的時間，而如果用同等的硬件條件來訓練BERT估計需要1年的時間。不過他們會將已經訓練好的模型和代碼開源，方便大家訓練好的模型上進行后續任務。

3.3 模型比較

? ? ? ? ELMo、GPT、BERT都是近幾年提出的模型，在各自提出的時候都取得了不錯的成績。并且相互之間也是相輔相成的關系。

3個模型比較如下：

再往前看，在NLP中有著舉足輕重地位的模型和思想還有Word2vec、LSTM等。

? ? ? ? Word2vec作為里程碑式的進步，對NLP的發展產生了巨大的影響，但Word2vec本身是一種淺層結構，而且其訓練的詞向量所“學習”到的語義信息受制于窗口大小，因此后續有學者提出利用可以獲取長距離依賴的LSTM語言模型預訓練詞向量，而此種語言模型也有自身的缺陷，因為此種模型是根據句子的上文信息來預測下文的，或者根據下文來預測上文，直觀上來說，我們理解語言都要考慮到左右兩側的上下文信息，但傳統的LSTM模型只學習到了單向的信息。

4. BERT模型對NLP的影響

? ? ? ? BERT，再次驗證了預訓練在NLP當中是很有用的，其次繼續驗證了Transformer的擬合能力真的很強。

? ? ? ? 總體上，BERT模型的成功還在于是一種表示學習，即通過一個深層模型來學習到一個更好的文本特征。這種非RNN式的模型是非圖靈完備的，無法單獨完成NLP中推理、決策等計算問題。當然，一個好的表示會使得后續的任務更簡單。

? ? ? ? BERT能否像ResNet那樣流行還取決于其使用的便利性，包括模型實現、訓練、可遷移性等，可能有好的模型出現，但類似的預訓練模型會成為NLP任務的標配，就像Word2vec，Glove那樣。

? ? ? ? 最后，BERT也打開了一個思路：可以繼續在無標注數據上挖潛，而不僅限于語言模型。

5. 其他模型

5.1 ELMo

? ? ??ELMo中是通過雙向的兩層LSTM結構對兩個方向進行建模，但兩個方向的loss計算相互獨立

5.2 ULMFiT

? ? ? ? 在ELMo獲得成功以后不久FastAI就推出了ULMFiT，其大體思路是在微調時對每一層設置不同的學習率。此后OpenAI又提出了GPT。追一科技在文本蘊含、觀點型閱讀理解等任務中，就采用了GPT模型作為預訓練方案。預訓練的語言模型是在百度15億詞文本的語料上進行的，模型參數選擇了12層，12 head的Transformer結構。然后采用此模型直接在子任務上微調來進行后續任務。

5.3? GPT

? ? ? ?GPT利用Transformer的decoder的結構來進行單向語言模型的訓練，所謂的語言模型其實是自然語言處理中的一種基礎任務，其目標是給定一個序列文本，預測下一個位置上會出現的詞。

? ? ? ? 從論文的結果以及學界和工業界的反饋來看，這種使用大量的語料進行預訓練，然后再在預訓練好的模型上進行后續任務訓練，雖然訓練方式各有不同，但在后續任務都有不同程度的提高。

學習資料：https://baijiahao.baidu.com/s?id=1641821820866788182&wfr=spider&for=pc

5.4? BERT

? ? ? ? 利用Transformer的encoder來進行預訓練，BERT就是在OpenAI的GPT的基礎上對預訓練的目標進行了修改，并用更大的模型以及更多的數據去進行預訓練，從而得到了目前為止最好的效果。

BERT對GPT的第一個改進就是引入了雙向的語言模型任務：MLM

? ? ? ? ?此前其實也有一些研究在語言模型這個任務上使用了雙向的方法，例如在ELMo中是通過雙向的兩層LSTM結構對兩個方向進行建模，但兩個方向的loss計算相互獨立。

? ? ? ? ?BERT的作者指出這種兩個方向相互獨立或只有單層的雙向編碼可能沒有發揮最好的效果，我們可能不僅需要雙向編碼，還應該要加深網絡的層數。

? ? ? ? BERT的作者提出了采用MLM的方式來訓練語言模型：通俗地說就是在輸入一句話的時候，隨機地選一些要預測的詞，然后用一個特殊的符號來代替它們。盡管模型最終還是會看到所有位置上的輸入信息，但由于需要預測的詞已經被特殊符號代替，所以模型無法事先知道這些位置上是什么詞，這樣就可以讓模型根據所給的標簽去學習這些地方該填的詞了。

? ? ? ? 然而這里還有一個問題，就是我們在預訓練過程中所使用的這個特殊符號，在后續的任務中是不會出現的。因此，為了和后續任務保持一致，作者按一定的比例在需要預測的詞位置上輸入原詞或者輸入某個隨機的詞。當然，由于一次輸入的文本序列中只有部分的詞被用來進行訓練，因此BERT在效率上會低于普通的語言模型，作者也指出BERT的收斂需要更多的訓練步數。

BERT另外一個創新：NSP

? ? ? ? 是在雙向語言模型的基礎上額外增加了一個句子級別的連續性預測任務。這個任務的目標也很簡單，就是預測輸入BERT的兩段文本是否為連續的文本，作者指出引入這個任務可以更好地讓模型學到連續的文本片段之間的關系。在訓練的時候，輸入模型的第二個片段會以50%的概率從全部文本中隨機選取，剩下50%的概率選取第一個片段的后續的文本。

5.5 ERNIE

學習鏈接：https://blog.csdn.net/PaddlePaddle/article/details/102713947

ERNIE?基本上是 transformer 的encoder 部分，并且encoder 在結構上是全部一樣的，但是并不共享權重，具體區別如下:

• Transformer: 6 encoder layers, 512 hidden units, 8 attention heads

• ERNIE Base: 12 encoder layers, 768 hidden units, 12 attention heads

• ERNIE Large: 24 encoder layers,1024 hidden units, 16 attention heads

ERNIE是基于持續學習的語義理解預訓練框架，使?多任務學習增量式構建預訓練任務。新構建的預訓練任務類型可以?縫加?訓練框架，持續進?語義理解學習。

相比于BERT， ERNIE 1.0 改進了兩種 masking 策略，一種是基于phrase (在這里是短語 比如 a series of, written等）的masking策略，另外一種是基于 entity（在這里是人名、位置、組織、產品等名詞，比如Apple, J.K. Rowling）的masking 策略。在ERNIE 中，將由多個字組成的phrase 或者entity 當成一個統一單元，相比于bert 基于字的mask，這個單元當中的所有字在訓練的時候，統一被mask。對比直接將知識類的query 映射成向量然后直接加起來，ERNIE 通過統一mask的方式可以潛在地學習到知識的依賴以及更長的語義依賴來讓模型更具泛化性。

ERNIE 2.0 中有一個很重要的概念便是連續學習(Continual Learning)，連續學習的目的是在一個模型中順序訓練多個不同的任務，以便在學習下個任務當中可以記住前一個學習任務學習到的結果。通過使用連續學習，可以不斷積累新的知識，模型在新任務當中可以用歷史任務學習到參數進行初始化，一般來說比直接開始新任務的學習會獲得更好的效果。在連續學習的過程中，ERNIE 2.0 框架可以不斷更新并記住以前學習到的知識，可以使得模型在新任務上獲得更好的表現。需要注意的是，在連續訓練之前，首先用一個簡單的任務來初始化模型，在后面更新模型的時候，用前一個任務訓練好的參數來作為下一個任務模型初始化的參數。這樣不管什么時候，一個新的任務加進來的時候，都用上一個模型的參數初始化保證了模型不會忘記之前學習到的知識

ERNIE 通過對訓練數據中的詞法結構、語法結構、語義信息進行統一建模，極大地增強了通用語義表示能力，在多項任務中均取得了大幅度超越BERT的效果!!

三個預訓練任務：

（1） 構建詞法級別的預訓練任務，來獲取訓練數據中的詞法信息

• 1: knowledge masking task，即 ERNIE 1.0 中的entity mask 以及 phrase entity mask 來獲取phrase 以及entity的先驗知識，相較于 sub-word masking, 該策略可以更好的捕捉輸入樣本局部和全局的語義信息。
• 2: Capitalization Prediction Task，大寫的詞比如Apple相比于其他詞通常在句子當中有特定的含義，所以在ERNIE?2.0 加入一個任務來判斷一個詞是否大寫。
• 3: Token-Document Relation Prediction Task，類似于tf-idf，預測一個詞在文中的A 段落出現，是否會在文中的B 段落出現。如果一個詞在文章當中的許多部分出現一般就說明這個詞經常被用到或者和這個文章的主題相關。通過識別這個文中關鍵的的詞, 這個任務可以增強模型去獲取文章的關鍵詞語的能力。

（2）構建語法級別的預訓練任務，來獲取訓練數據中的語法信息

• 1: ?Sentence Reordering Task，在訓練當中，將paragraph 隨機分成1 到m 段，將所有的組合隨機shuffle。我們讓pre-trained 的模型來識別所有的這些segments正確的順序。這便是一個k 分類任務。通常來說，這些sentence 重排序任務能夠讓pre-trained 模型學習到document 中不同sentence 的關系。
• 2: Sentence Distance Task，?構建一個三分類任務來判別句子的距離，0表示兩個句子是同一個文章中相鄰的句子，1表示兩個句子是在同一個文章，但是不相鄰，2表示兩個句子是不同的文章。通過構建這樣一個三分類任務去判斷句對 (sentence pairs) 位置關系 (包含鄰近句子、文檔內非鄰近句子、非同文檔內句子 3 種類別)，更好的建模語義相關性。

（3）構建語義級別的預訓練任務，來獲取訓練數據中的語義任務

• 1: Discourse Relation Task，除了上面的distance task，ERNIE通過判斷句對 (sentence pairs) 間的修辭關系 (semantic & rhetorical relation)，更好的學習句間語義。
• 2: IR Relevance Task，在這里主要是利用baidu 的日志來獲取這個關系，將query 作為第一個sentence，title 作為第二個 sentence。0 表示強關系， 1 表示弱關系，2表示無關系，通過類似google-distance 的關系來衡量 兩個query之間的語義相關性，更好的建模句對相關性。

6. 總結

? ? ? ? ?語言模型的每一次進步都推動著NLP的發展，從Word2vec到ELMo，從OpenAI GPT到BERT。通過這些發展我們也可以洞悉到，未來表征學習（Deep learning is representation learning）將會越來越多的應用到NLP相關任務中，它們可以充分的利用目前海量的數據，然后結合各種任務場景，去訓練出更為先進的模型，從而促進AI項目的落地。

參考文獻

1.?[NLP自然語言處理]谷歌BERT模型深度解析?https://blog.csdn.net/qq_39521554/article/details/83062188

2.?華爾街見聞：NLP歷史突破?https://wallstreetcn.com/articles/3419427

3.?OPENAI-Improving Language Understanding with Unsupervised Learning：https://blog.openai.com/language-unsupervised/

4.?https://gluebenchmark.com/leaderboard：https://gluebenchmark.com/leaderboard

5. 知乎討論：如何評價 BERT 模型？https://www.zhihu.com/question/298203515

6.??ELMo算法原理解析：https://www.cnblogs.com/huangyc/p/9860430.html

7.?OpenAI GPT算法原理解析：https://www.cnblogs.com/huangyc/p/9860181.html

總結

以上是生活随笔為你收集整理的预训练模型：BERT深度解析《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。