2）自編碼語言模型

• **優(yōu)點：**本質(zhì)為降噪自編碼特征表示，通過引入噪聲[MASK]構(gòu)建MLM，獲取上下文相關(guān)的雙向特征表示；

• 缺點：引入獨立性假設(shè)，為聯(lián)合概率的有偏估計，沒有考慮預(yù)測[MASK]之間的相關(guān)性

  • 不適合直接處理生成任務(wù)，MLM預(yù)訓(xùn)練目標(biāo)的設(shè)置造成預(yù)訓(xùn)練過程和生成過程不一致；

  • 預(yù)訓(xùn)練時的[MASK]噪聲在finetune階段不會出現(xiàn)，造成兩階段不匹配問題；

• **代表模型：**BERT系列模型；

三、單向模型回顧+內(nèi)核機制探究

**Q4：單向模型的內(nèi)核機制是怎樣的？有哪些缺點？**1）ELMo (Allen Institute)[6]

• 要點：

  • 引入雙向語言模型，其實是2個單向語言模型（前向和后向）的集成；

  • 通過保存預(yù)訓(xùn)練好的2層biLSTM，通過特征集成或finetune應(yīng)用于下游任務(wù)；

• 缺點：

  • 本質(zhì)上為自回歸語言模型，只能獲取單向的特征表示，不能同時獲取上下文表示；

  • LSTM不能解決長距離依賴。

• 為什么不能用biLSTM構(gòu)建雙向語言模型？

  • 不能采取2層biLSTM同時進行特征抽取構(gòu)建雙向語言模型，否則會出現(xiàn)標(biāo)簽泄漏的問題；因此ELMO前向和后向的LSTM參數(shù)獨立，共享詞向量，獨立構(gòu)建語言模型；

2）ULMFiT (fast.ai) / SiATL**? 2.1）ULMFiT[7]要點：**

• 三階段訓(xùn)練：LM預(yù)訓(xùn)練+精調(diào)特定任務(wù)LM+精調(diào)特定分類任務(wù)；

• 特征抽取：3層AWD-LSTM；

• 精調(diào)特定分類任務(wù)：逐層解凍；

**? 2.2) SiATL[8]要點：**

• 二階段訓(xùn)練：LM預(yù)訓(xùn)練+特定任務(wù)精調(diào)分類任務(wù)（引入LM作為輔助目標(biāo)，輔助目標(biāo)對于小數(shù)據(jù)有用，與GPT相反）；
  ?- 特征抽取：LSTM+self-attention；

• 精調(diào)特定分類任務(wù)：逐層解凍；

  • 都通過一些技巧解決finetune過程中的災(zāi)難性遺忘問題：如果預(yù)訓(xùn)練用的無監(jiān)督數(shù)據(jù)和任務(wù)數(shù)據(jù)所在領(lǐng)域不同，逐層解凍帶來的效果更明顯[9]；

3）GPT1.0 / GPT2.0 (OpenAI)

• GPT1.0[10]要點：

  • 采用Transformer進行特征抽取，首次將Transformer應(yīng)用于預(yù)訓(xùn)練語言模型；

  • finetune階段引入語言模型輔助目標(biāo)（輔助目標(biāo)對于大數(shù)據(jù)集有用，小數(shù)據(jù)反而有所下降，與SiATL相反），解決finetune過程中的災(zāi)難性遺忘；

  • 預(yù)訓(xùn)練和finetune一致，統(tǒng)一二階段框架；

• GPT2.0[11]要點：

  • 沒有針對特定模型的精調(diào)流程：GPT2.0認為預(yù)訓(xùn)練中已包含很多特定任務(wù)所需的信息。

  • 生成任務(wù)取得很好效果，使用覆蓋更廣、質(zhì)量更高的數(shù)據(jù)；

• 缺點：

  • 依然為單向自回歸語言模型，無法獲取上下文相關(guān)的特征表示；

四、BERT內(nèi)核機制探究

這一部分對BERT的內(nèi)核機制進行介紹，在回答“BERT為什么如此有效？”之前，首先介紹Transformer的內(nèi)核機制。

Q5：Transformer[12]內(nèi)部機制的深入理解（回顧）

**1）Multi-Head Attention和Scaled Dot-Product Attention
**本質(zhì)是self attention通過attention mask動態(tài)編碼變長序列，解決長距離依賴、無位置偏差、可并行計算

• 為什么是縮放點積，而不是點積模型？

  • 當(dāng)輸入信息的維度 d 比較高，點積模型的值通常有比較大方差，從而導(dǎo)致 softmax 函數(shù)的梯度會比較小。因此，縮放點積模型可以較好地解決這一問題。

• 為什么是雙線性點積模型（經(jīng)過線性變換Q K）？

  • 雙線性點積模型，引入非對稱性，更具健壯性（Attention mask對角元素值不一定是最大的，也就是說當(dāng)前位置對自身的注意力得分不一定最高）。

• 相較于加性模型，點積模型具備哪些優(yōu)點？

  • 常用的Attention機制為加性模型和點積模型，理論上加性模型和點積模型的復(fù)雜度差不多，但是點積模型在實現(xiàn)上可以更好地利用矩陣乘積，從而計算效率更高（實際上，隨著維度d的增大，加性模型會明顯好于點積模型）。

• 多頭機制為什么有效？

  • 類似于CNN中通過多通道機制進行特征選擇；

  • Transformer中先通過切頭（spilt）再分別進行Scaled Dot-Product Attention，可以使進行點積計算的維度d不大（防止梯度消失），同時縮小attention mask矩陣。

2）Position-wise Feed-Forward Networks

• FFN 將每個位置的Multi-Head Attention結(jié)果映射到一個更大維度的特征空間，然后使用ReLU引入非線性進行篩選，最后恢復(fù)回原始維度。

• Transformer在拋棄了 LSTM 結(jié)構(gòu)后，FFN 中的 ReLU成為了一個主要的提供非線性變換的單元。

3）Positional Encoding將Positional Embedding改為Positional Encoding，主要的區(qū)別在于Positional Encoding是用公式表達的、不可學(xué)習(xí)的，而Positional Embedding是可學(xué)習(xí)的（如BERT），兩種方案的訓(xùn)練速度和模型精度差異不大；但是Positional Embedding位置編碼范圍是固定的，而Positional Encoding編碼范圍是不受限制的。

• 為什么引入 和 建模Positional Encoding？

• 引入 和 是為了使模型實現(xiàn)對相對位置的學(xué)習(xí)，兩個位置 pos 和 pos+k 的位置編碼是固定間距k的線性變化：

• 可以證明：間隔為k的任意兩個位置編碼的歐式空間距離是恒等的，只與k有關(guān)。

?Q6：BERT[13]為什么如此有效？

• 引入Masked Language Model(MLM)預(yù)訓(xùn)練目標(biāo)，能夠獲取上下文相關(guān)的雙向特征表示；

• 引入Next Sentence Prediction(NSP)預(yù)訓(xùn)練目標(biāo)，擅長處理句子或段落的匹配任務(wù)；

• 引入強大的特征抽取機制Transformer(多種機制并存)：

  • Multi-Head self attention：多頭機制類似于“多通道”特征抽取，self attention通過attention mask動態(tài)編碼變長序列，解決長距離依賴（無位置偏差）、可并行計算；

  • Feed-forward ：在位置維度計算非線性層級特征；

  • Layer Norm & Residuals：加速訓(xùn)練，使“深度”網(wǎng)絡(luò)更加健壯；

• 引入大規(guī)模、高質(zhì)量的文本數(shù)據(jù)；

Q7：BERT存在哪些優(yōu)缺點？

• 優(yōu)點：能夠獲取上下文相關(guān)的雙向特征表示；

• 缺點：

  • 生成任務(wù)表現(xiàn)不佳：預(yù)訓(xùn)練過程和生成過程的不一致，導(dǎo)致在生成任務(wù)上效果不佳；

  • 采取獨立性假設(shè)：沒有考慮預(yù)測[MASK]之間的相關(guān)性，是對語言模型聯(lián)合概率的有偏估計（不是密度估計）；

  • 輸入噪聲[MASK]，造成預(yù)訓(xùn)練-精調(diào)兩階段之間的差異；

  • 無法文檔級別的NLP任務(wù)，只適合于句子和段落級別的任務(wù)；

Q8：BERT擅長處理哪些下游NLP任務(wù)[14]？

1. 適合句子和段落級別的任務(wù)，不適用于文檔級別的任務(wù)；
? ? 2. 適合處理高層語義信息提取的任務(wù)，對淺層語義信息提取的任務(wù)的提升效果不大（如一些簡單的文本分類任務(wù)）；3. 適合處理句子/段落的匹配任務(wù)；因此，在一些任務(wù)中可以構(gòu)造輔助句（類似匹配任務(wù)）實現(xiàn)效果提升（如關(guān)系抽取/情感挖掘等任務(wù)）；4. 不適合處理NLG任務(wù)；

**Q9：BERT基于“字輸入”還是“詞輸入”好？（對于中文任務(wù)）**1. 如果基于“詞輸入”，會加劇OOV問題，會增大輸入空間，需要利用大得多的語料去學(xué)習(xí)輸入空間到標(biāo)簽空間的函數(shù)映射。2. 隨著Transfomer特征抽取能力，分詞不再成為必要，詞級別的特征學(xué)習(xí)可以納入為內(nèi)部特征進行表示學(xué)習(xí)。

**Q10：BERT為什么不適用于自然語言生成任務(wù)（NLG）？**1. 由于BERT本身在預(yù)訓(xùn)練過程和生成過程的不一致，并沒有做生成任務(wù)的相應(yīng)機制，導(dǎo)致在生成任務(wù)上效果不佳，不能直接應(yīng)用于生成任務(wù)。2. 如果將BERT或者GPT用于Seq2Seq的自然語言生成任務(wù)，可以分別進行預(yù)訓(xùn)練編碼器和解碼器，但是編碼器-注意力-解碼器結(jié)構(gòu)沒有被聯(lián)合訓(xùn)練，BERT和GPT在條件生成任務(wù)中只是次優(yōu)效果。

五、BERT系列模型進展介紹

這一部分介紹一些模型，它們均是對BERT原生模型在一些方向的改進。

**Q11：針對BERT原生模型，后續(xù)的BERT系列模型是如何改進【生成任務(wù)】的？**1）MASS(微軟)[15]

• 統(tǒng)一預(yù)訓(xùn)練框架:通過類似的Seq2Seq框架，在預(yù)訓(xùn)練階段統(tǒng)一了BERT和LM模型；

• Encoder中理解unmasked tokens；Decoder中需要預(yù)測連續(xù)的[mask]tokens，獲取更多的語言信息；Decoder從Encoder中抽取更多信息；

• 當(dāng)k=1或者n時，MASS的概率形式分別和BERT中的MLM以及GPT中標(biāo)準的LM一致（k為mask的連續(xù)片段長度））

2）UNILM (微軟)[16]

• 統(tǒng)一預(yù)訓(xùn)練框架:和直接從mask矩陣的角度統(tǒng)一BERT和LM；

• 3個Attention Mask矩陣：LM、MLM、Seq2Seq LM；

• 注意：UNILM中的LM并不是傳統(tǒng)的LM模型，仍然是通過引入[MASK]實現(xiàn)的；

**Q12：針對BERT原生模型，后續(xù)的BERT系列模型是如何引入【知識】的？**1）ERNIE 1.0 (百度)[17]

• 在預(yù)訓(xùn)練階段引入知識（實際是預(yù)先識別出的實體），引入3種[MASK]策略預(yù)測：

  • Basic-Level Masking：跟BERT一樣，對subword進行mask，無法獲取高層次語義；

  • Phrase-Level Masking：mask連續(xù)短語；

  • Entity-Level Masking：mask實體；

2）ERNIE (THU)[18]

• 基于BERT預(yù)訓(xùn)練原生模型，將文本中的實體對齊到外部的知識圖譜，并通過知識嵌入得到實體向量作為ERNIE的輸入；

• 由于語言表征的預(yù)訓(xùn)練過程和知識表征過程有很大的不同，會產(chǎn)生兩個獨立的向量空間。為解決上述問題，在有實體輸入的位置，將實體向量和文本表示通過非線性變換進行融合，以融合詞匯、句法和知識信息；

• 引入改進的預(yù)訓(xùn)練目標(biāo) Denoising entity auto-encoder (DEA)：要求模型能夠根據(jù)給定的實體序列和文本序列來預(yù)測對應(yīng)的實體；

Q13：針對BERT原生模型，后續(xù)的BERT系列模型是如何引入【多任務(wù)學(xué)習(xí)機制】的？

多任務(wù)學(xué)習(xí)(Multi-task Learning)[19]是指同時學(xué)習(xí)多個相關(guān)任務(wù)，讓這些任務(wù)在學(xué)習(xí)過程中共享知識，利用多個任務(wù)之間的相關(guān)性來改進模型在每個任務(wù)的性能和泛化能力。多任務(wù)學(xué)習(xí)可以看作是一種歸納遷移學(xué)習(xí)，即通過利用包含在相關(guān)任務(wù)中的信息作為歸納偏置(Inductive Bias)來提高泛化能力。多任務(wù)學(xué)習(xí)的訓(xùn)練機制分為同時訓(xùn)練和交替訓(xùn)練。1）MTDNN(微軟)[20]：在下游任務(wù)中引入多任務(wù)學(xué)習(xí)機制

2）ERNIE 2.0 (百度)[21]：在預(yù)訓(xùn)練階段引入多任務(wù)學(xué)習(xí)

• MTDNN是在下游任務(wù)引入多任務(wù)機制的，而ERNIE 2.0 是在預(yù)訓(xùn)練引入多任務(wù)學(xué)習(xí)（與先驗知識庫進行交互），使模型能夠從不同的任務(wù)中學(xué)到更多的語言知識。

• 主要包含3個方面的任務(wù)：

  • word-aware 任務(wù)：捕捉詞匯層面的信息；

  • structure-aware 任務(wù)：捕捉句法層面的信息；

  • semantic-aware 任務(wù)：捕捉語義方面的信息；

• 主要的方式是構(gòu)建增量學(xué)習(xí)（后續(xù)可以不斷引入更多的任務(wù)）模型，通過多任務(wù)學(xué)習(xí)持續(xù)更新預(yù)訓(xùn)練模型，這種連續(xù)交替的學(xué)習(xí)范式不會使模型忘記之前學(xué)到的語言知識。

  • 將3大類任務(wù)的若干個子任務(wù)一起用于訓(xùn)練，引入新的任務(wù)時會將繼續(xù)引入之前的任務(wù)，防止忘記之前已經(jīng)學(xué)到的知識，具體是一個逐漸增加任務(wù)數(shù)量的過程[22]：
    ?(task1)->(task1,task2)->(task1,task2,task3)->…->(task1，task2,…,taskN)，

Q14：針對BERT原生模型，后續(xù)的BERT系列模型是如何改進【mask策略】的？

• 原生BERT模型：按照subword維度進行mask，然后進行預(yù)測；

• BERT WWM(Google)：按照whole word維度進行mask，然后進行預(yù)測；

• ERNIE等系列：引入外部知識，按照entity維度進行mask，然后進行預(yù)測；

• SpanBert：不需要按照先驗的詞/實體/短語等邊界信息進行mask，而是采取隨機mask：

  • 采用Span Masking：根據(jù)幾何分布，隨機選擇一段空間長度，之后再根據(jù)均勻分布隨機選擇起始位置，最后按照長度mask；通過采樣，平均被遮蓋長度是3.8 個詞的長度；

  • 引入Span Boundary Objective：新的預(yù)訓(xùn)練目標(biāo)旨在使被mask的Span 邊界的詞向量能學(xué)習(xí)到 Span中被mask的部分；新的預(yù)訓(xùn)練目標(biāo)和MLM一起使用；

• 注意：BERT WWM、ERNIE等系列、SpanBERT旨在隱式地學(xué)習(xí)預(yù)測詞（mask部分本身的強相關(guān)性）之間的關(guān)系[23]，而在 XLNet 中，是通過 PLM 加上自回歸方式來顯式地學(xué)習(xí)預(yù)測詞之間關(guān)系；

**Q15：針對BERT原生模型，后續(xù)的BERT系列模型是如何進行【精細調(diào)參】的？**RoBERTa(FaceBook)[24]

• 丟棄NSP，效果更好；

• 動態(tài)改變mask策略，把數(shù)據(jù)復(fù)制10份，然后統(tǒng)一進行隨機mask；

• 對學(xué)習(xí)率的峰值和warm-up更新步數(shù)作出調(diào)整；

• 在更長的序列上訓(xùn)練：不對序列進行截短，使用全長度序列；

六、XLNet的內(nèi)核機制探究

在BERT系列模型后，Google發(fā)布的XLNet在問答、文本分類、自然語言理解等任務(wù)上都大幅超越BERT；XLNet的提出是對標(biāo)準語言模型（自回歸）的一個復(fù)興[25]，提出一個框架來連接語言建模方法和預(yù)訓(xùn)練方法。

Q16：XLNet[26]提出的背景是怎樣的？

• 對于ELMO、GPT等預(yù)訓(xùn)練模型都是基于傳統(tǒng)的語言模型（自回歸語言模型AR），自回歸語言模型天然適合處理生成任務(wù)，但是無法對雙向上下文進行表征，因此人們反而轉(zhuǎn)向自編碼思想的研究（如BERT系列模型）；

• 自編碼語言模型（AE）雖然可以實現(xiàn)雙向上下文進行表征，但是：

  • BERT系列模型引入獨立性假設(shè)，沒有考慮預(yù)測[MASK]之間的相關(guān)性；

  • MLM預(yù)訓(xùn)練目標(biāo)的設(shè)置造成預(yù)訓(xùn)練過程和生成過程不一致；

  • 預(yù)訓(xùn)練時的[MASK]噪聲在finetune階段不會出現(xiàn)，造成兩階段不匹配問題；

• 有什么辦法能構(gòu)建一個模型使得同時具有AR和AE的優(yōu)點并且沒有它們?nèi)秉c呢？

Q17：XLNet為何如此有效：內(nèi)核機制分析

1）排列語言模型（Permutation LM，PLM）
如果衡量序列中被建模的依賴關(guān)系的數(shù)量，標(biāo)準的LM可以達到上界，不像MLM一樣，LM不依賴于任何獨立假設(shè)。借鑒 NADE[27]的思想，XLNet將標(biāo)準的LM推廣到PLM。

• 為什么PLM可以實現(xiàn)雙向上下文的建模？

  • PLM的本質(zhì)就是LM聯(lián)合概率的多種分解機制的體現(xiàn)；

  • 將LM的順序拆解推廣到隨機拆解，但是需要保留每個詞的原始位置信息（PLM只是語言模型建模方式的因式分解/排列，并不是詞的位置信息的重新排列！）

  • 如果遍歷 𝑇! 種分解方法，并且模型參數(shù)是共享的，**PLM就一定可以學(xué)習(xí)到各種雙向上下文；**換句話說，當(dāng)我們把所有可能的𝑇! 排列都考慮到的時候，對于預(yù)測詞的所有上下文就都可以學(xué)習(xí)到了！

  • 由于遍歷 𝑇! 種路徑計算量非常大（對于10個詞的句子，10!=3628800）。因此實際只能隨機的采樣𝑇!里的部分排列，并求期望；

2）Two-Stream Self-Attention

如果采取標(biāo)準的Transformer來建模PLM，會出現(xiàn)沒有目標(biāo)(target)位置信息的問題。問題的關(guān)鍵是模型并不知道要預(yù)測的到底是哪個位置的詞，從而導(dǎo)致具有部分排列下的PLM在預(yù)測不同目標(biāo)詞時的概率是相同的。

• 怎么解決沒有目標(biāo)(target)位置信息的問題？

  • 對于沒有目標(biāo)位置信息的問題，XLNet 引入了Two-Stream Self-Attention：

• Query 流就為了預(yù)測當(dāng)前詞，只包含位置信息，不包含詞的內(nèi)容信息；

• Content 流主要為 Query 流提供其它詞的內(nèi)容向量，包含位置信息和內(nèi)容信息；

**3）?融入Transformer-XL的優(yōu)點（具體見Q18）
**

Q18：Transformer-XL[28]怎么實現(xiàn)對長文本建模？

• BERT(Transformer)的最大輸入長度為512，那么怎么對文檔級別的文本建模？

  • vanilla model進行Segment，但是會存在上下文碎片化的問題（無法對連續(xù)文檔的語義信息進行建模），同時推斷時需要重復(fù)計算，因此推斷速度會很慢；

• Transformer-XL改進

  • 對于每一個segment都應(yīng)該具有不同的位置編碼，因此Transformer-XL采取了相對位置編碼；
    
    

  • 前一個segment計算的representation被修復(fù)并緩存，以便在模型處理下一個新的segment時作為擴展上下文resume；

  • 最大可能依賴關(guān)系長度增加了N倍，其中N表示網(wǎng)絡(luò)的深度；

  • 解決了上下文碎片問題，為新段前面的token提供了必要的上下文；

  • 由于不需要重復(fù)計算，Transformer-XL在語言建模任務(wù)的評估期間比vanilla Transformer快1800+倍；

  • 引入recurrence mechanism(不采用BPTT方式求導(dǎo))：

  • **引入相對位置編碼方案：

    **

七、預(yù)訓(xùn)練語言模型的未來

上述的【預(yù)訓(xùn)練語言模型】主要從2大方面進行介紹：一是總的對比；二是分別介紹單向語言模型、BERT系列模型、XLNet模型。

可以看出，未來【預(yù)訓(xùn)練語言模型】更多的探索方向主要為[25]：

• 復(fù)興語言模型：進一步改進語言模型目標(biāo)，不斷突破模型的上界；

• 大數(shù)據(jù)、大算力：將大數(shù)據(jù)、大算力推到極致；

• 更快的推斷：輕量級模型是否有可能達到SOTA效果？

• 引入更豐富的知識信息，更精細的調(diào)參，更有價值的MASK策略；

• 統(tǒng)一條件生成任務(wù)框架，如基于XLNet統(tǒng)一編碼和解碼任務(wù)，同時可考慮更快的解碼方式；

參考文獻

[1] NLP將迎來黃金十年 https://www.msra.cn/zh-cn/news/executivebylines/tech-bylines-nlp

[2] a review of the recent history of nlp

[3] AIS：ACL2019進展報告

[4] ACL 主席周明：一起擁抱 ACL 和 NLP 的光明未來

[5] 自然語言處理中的語言模型預(yù)訓(xùn)練方法 https://www.jiqizhixin.com/articles/2018-10-22-3

[6] ELMO:Deep contextualized word representations

[7] ULMFiT：Universal Language Model Fine-tuning)

[8] SiATL：An Embarrassingly Simple Approach for Transfer Learning from Pretrained Language Models

[9] BERT時代與后時代的NLP https://zhuanlan.zhihu.com/p/66676144

[10] GPT:Improving Language Understanding by Generative Pre-Training

[11] GPT2.0:Language Models are Unsupervised Multitask Learners

[12] Transformer:Attention is all you need

[13] BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

[14] Bert時代的創(chuàng)新（應(yīng)用篇）：Bert在NLP各領(lǐng)域的應(yīng)用進展 https://zhuanlan.zhihu.com/p/68446772

[15] MASS: Masked Sequence to Sequence Pre-training for Language Generation

[16] UNILM：Unified Language Model Pre-training for Natural Language Understanding and Generation

[17] ERNIE: Enhanced Representation through Knowledge Integration

[18] ERNIE: Enhanced Language Representation with Information Entities

[19] nndl：神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)

[20] MT-DNN：Multi-Task Deep Neural Net for NLU

[21] ERNIE 2.0: A CONTINUAL PRE-TRAINING FRAMEWORK FOR LANGUAGE UNDERSTANDING

[22] 陳凱：https://www.zhihu.com/question/337827682/answer/768908184

[23] SpanBert：對 Bert 預(yù)訓(xùn)練的一次深度探索

[24] RoBERTa: A Robustly Optimized BERT Pretraining Approach

[25] ab他們創(chuàng)造了橫掃NLP的XLNet：專訪CMU博士楊植麟

[26] XLnet: Generalized Autoregressive Pretraining for Language Understanding

[27] Neural autoregressive distribution estimation

[28] Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context

總結(jié)

以上是生活随笔為你收集整理的NLP史上最全预训练模型汇总的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。