【NLP】Transformer模型深度解读
“?本文對Transoformer模型進行了深度解讀，包括整體架構，Attention結構的背景和細節，QKV的含義，Multi-head Attention的本質，FFN，Positional Embedding以及Layer Normalization等一切你想知道的內容！?”
作者：潘小小，字節跳動AI-Lab算法工程師，專注機器翻譯，會講法語，喜歡音樂，寫文，記錄，無人機航拍（剛入坑）。文末有內推鏈接，歡迎勾搭投遞！！
「Transformer」 是2017年的一篇論文《Attention is All You Need》提出的一種模型架構，這篇論文里只針對機器翻譯這一種場景做了實驗，全面擊敗了當時的SOTA，并且由于encoder端是并行計算的，訓練的時間被大大縮短了。
它開創性的思想，顛覆了以往序列建模和RNN劃等號的思路，現在被廣泛應用于NLP的各個領域。目前在NLP各業務全面開花的語言模型如GPT, BERT等，都是基于Transformer模型。因此弄清楚Transformer模型內部的每一個細節就顯得尤為重要。
鑒于寫Transformer的中英文各類文章非常之多，一些重復的、淺顯的東西在本文里都不再贅述。在本文中，我會盡可能地去找一些很核心也很細節的點去剖析，并且將細節和整體的作用聯系起來解釋。
本文盡量做到深入淺出，力求覆蓋我自己學習時的每一個困惑，做到“知其然，且知其所以然”。我相信通過我抽絲剝繭的分析，大家會對Transformer每個部分的作用有一個更加深入的認識，從而對這個模型架構整體的認知上升到一個新的臺階，并且能夠深刻理解Transformer及其延伸工作的動機。
本文將按照下面的思路展開
0. Transformer整體架構
Attention的背景溯源(為什么要有attention?)
Attention的細節(attention是什么?)
Query, Key, Value
Multi-head Attention的本質
Transformer模型架構中的其他部分
Feed Forward Network
Positional Embedding
Layer Normalization
Transformer和RNN的對比
參考
0. Transformer架構
Transformer模型的架構這里就不啰嗦encoder, decoder各自的含義以及模塊了，直戳細節。「以下將會重點解答的問題有:」
Attention是如何發揮作用的，其中的參數的含義和作用是什么，反向傳播算法如何更新其中參數，又是如何影響其他參數的更新的？
為什么要用scaled attention？
Multi-head attention相比single head attention為什么更加work，其本質上做了一件什么事？從反向傳播算法的角度分析？
Positional encoding是如何發揮作用的，應用反向傳播算法時是如何影響到其他參數的更新的？同樣的理論可以延伸到其他additional embedding，比如多語言模型中的language embedding
每個encoder/decoder layer中feed-forward部分的作用，并且從反向傳播算法角度分析？
decoder中mask后反向傳播算法過程細節，如何保證training和inference的一致性？
如果不一致（decoder不用mask）會怎么樣?
1. Attention的背景溯源
想要深度理解Attention機制，就需要了解一下它產生的背景、在哪類問題下產生，以及最初是為了解決什么問題而產生。
首先回顧一下機器翻譯領域的模型演進歷史：
機器翻譯是從RNN開始跨入神經網絡機器翻譯時代的，幾個比較重要的階段分別是: Simple RNN, Contextualize RNN, Contextualized RNN with attention, Transformer(2017)，下面來一一介紹。
「Simple RNN」 ：這個encoder-decoder模型結構中，encoder將整個源端序列(不論長度)壓縮成一個向量(encoder output)，源端信息和decoder之間唯一的聯系只是: encoder output會作為decoder的initial states的輸入。這樣帶來一個顯而易見的問題就是，隨著decoder長度的增加，encoder output的信息會衰減。
?
Simple RNN (without context)這種模型有2個主要的問題:
源端序列不論長短，都被統一壓縮成一個固定維度的向量，并且顯而易見的是這個向量中包含的信息中，關于源端序列末尾的token的信息更多，而如果序列很長，最終可能基本上“遺忘”了序列開頭的token的信息。
第二個問題同樣由RNN的特性造成: 隨著decoder timestep的信息的增加，initial hidden states中包含的encoder output相關信息也會衰減，decoder會逐漸“遺忘”源端序列的信息，而更多地關注目標序列中在該timestep之前的token的信息。
「Contextualized RNN」 ：為了解決上述第二個問題，即encoder output隨著decoder timestep增加而信息衰減的問題，有人提出了一種加了context的RNN sequence to sequence模型：decoder在每個timestep的input上都會加上一個context。為了方便理解，我們可以把這看作是encoded source sentence。這樣就可以在decoder的每一步，都把源端的整個句子的信息和target端當前的token一起輸入到RNN中，防止源端的context信息隨著timestep的增長而衰減。
但是這樣依然有一個問題: context對于每個timestep都是靜態的(encoder端的final hidden states，或者是所有timestep的output的平均值)。但是每個decoder端的token在解碼時用到的context真的應該是一樣的嗎？在這樣的背景下，Attention就應運而生了:
「Contextualized RNN with soft align (Attention)」 : Attention在機器翻譯領域的應用最早的提出來自于2014年的一篇論文 ?Neural Machine Translation by Jointly Learning to Align and Translate
在每個timestep輸入到decoder RNN結構中之前，會用當前的輸入token的vector與encoder output中的每一個position的vector作一個"attention"操作，這個"attention"操作的目的就是計算當前token與每個position之間的"相關度"，從而決定每個position的vector在最終該timestep的context中占的比重有多少。最終的context即encoder output每個位置vector表達的 「加權平均」 。
context的計算公式2. Attention的細節
2.1. 點積attention
我們來介紹一下attention的具體計算方式。attention可以有很多種計算方式: 加性attention、點積attention，還有帶參數的計算方式。著重介紹一下點積attention的公式:
Attention中(Q^T)*K矩陣計算，query和key的維度要保持一致如上圖所示， ? ?, ?分別是query和key，其中，query可以看作M個維度為d的向量(長度為M的sequence的向量表達)拼接而成，key可以看作N個維度為d的向量(長度為N的sequence的向量表達)拼接而成。
【一個小問題】為什么有縮放因子 ? ??
先一句話回答這個問題: 縮放因子的作用是 「歸一化」 。
假設 ? ?, ? ?里的元素的均值為0，方差為1，那么 ? ?中元素的均值為0，方差為d. 當d變得很大時， ? ?中的元素的方差也會變得很大，如果 ? ?中的元素方差很大，那么 ? ?的分布會趨于陡峭(分布的方差大，分布集中在絕對值大的區域)。總結一下就是 ? ?的分布會和d有關。因此 ? ?中每一個元素乘上 ? ?后，方差又變為1。這使得 ? ?的分布“陡峭”程度與d解耦，從而使得訓練過程中梯度值保持穩定。
2.2. Attention機制涉及到的參數
一個完整的attention層涉及到的參數有:
把 ? ?, ? ?, ? ?分別映射到 ? ?, ? ?, ? ?的線性變換矩陣 ? ?( ? ?), ? ?( ? ?), ? ?( ? ?)
把輸出的表達 ? ?映射為最終輸出 ? ?的線性變換矩陣 ? ?( ? ?)
2.3. Query, Key, Value
Query和Key作用得到的attention權值作用到Value上。因此它們之間的關系是:
Query ? ?和Key ? ?的維度必須一致，Value ? ?和Query/Key的維度可以不一致。
Key ? ?和Value ? ?的長度必須一致。Key和Value本質上對應了同一個Sequence在不同空間的表達。
Attention得到的Output ? ?的維度和Value的維度一致，長度和Query一致。
Output每個位置 i 是由value的所有位置的vector加權平均之后的向量；而其權值是由位置為i 的query和key的所有位置經過attention計算得到的 ，權值的個數等于key/value的長度。
?
Attention示意圖在經典的Transformer結構中，我們記線性映射之前的Query, Key, Value為q, k, v，映射之后為Q, K, V。那么:
self-attention的q, k, v都是同一個輸入, 即當前序列由上一層輸出的高維表達。
cross-attention的q代表當前序列，k,v是同一個輸入，對應的是encoder最后一層的輸出結果(對decoder端的每一層來說，保持不變)
而每一層線性映射參數矩陣都是獨立的，所以經過映射后的Q, K, V各不相同，模型參數優化的目標在于將q, k, v被映射到新的高維空間，使得每層的Q, K, V在不同抽象層面上捕獲到q, k, v之間的關系。一般來說，底層layer捕獲到的更多是lexical- level的關系，而高層layer捕獲到的更多是semantic-level的關系。
2.4. Attention的作用
下面這段我會以機器翻譯為例，用通俗的語言闡釋一下attention的作用，以及query, key, value的含義。
Transformer模型Encoder, Decoder的細節圖（省去了FFN部分）query對應的是需要 「被表達」 的序列(稱為序列A)，key和value對應的是 「用來表達」A的序列(稱為序列B)。其中key和query是在同一高維空間中的(否則無法用來計算相似程度)，value不必在同一高維空間中，最終生成的output和value在同一高維空間中。上面這段巨繞的話用一句更繞的話來描述一下就是:
?序列A和序列B在高維空間 ? ?中的高維表達 ?的每個位置 _「分別」 _ 和 ? ?計算相似度，產生的權重作用于序列B在高維空間 ?中的高維表達 ? ?，獲得序列A在高維空間 ?中的高維表達 ?
?Encoder部分中只存在self-attention，而Decoder部分中存在self-attention和cross-attention
【self-attention】encoder中的self-attention的query, key, value都對應了源端序列(即A和B是同一序列)，decoder中的self-attention的query, key, value都對應了目標端序列。
【cross-attention】decoder中的cross-attention的query對應了目標端序列，key, value對應了源端序列(每一層中的cross-attention用的都是encoder的最終輸出)
2.5. Decoder端的Mask
Transformer模型屬于自回歸模型（p.s. 非自回歸的翻譯模型我會專門寫一篇文章來介紹），也就是說后面的token的推斷是基于前面的token的。Decoder端的Mask的功能是為了保證訓練階段和推理階段的一致性。
論文原文中關于這一點的段落如下：
?We also modify the self-attention sub-layer in the decoder stack to prevent from attending to subsequent positions. This masking, combined with the fact that the output embeddings are offset by one position, ensures that the predictions for position i can depend only on the known outputs at positions less than i.
?在推理階段，token是按照從左往右的順序推理的。也就是說，在推理timestep=T的token時，decoder只能“看到”timestep < T的 T-1 個Token, 不能和timestep大于它自身的token做attention（因為根本還不知道后面的token是什么）。為了保證訓練時和推理時的一致性，所以，訓練時要同樣防止token與它之后的token去做attention。
2.6. 多頭Attention (Multi-head Attention)
Attention是將query和key映射到同一高維空間中去計算相似度，而對應的multi-head attention把query和key映射到高維空間 ?的不同子空間 ?
中去計算相似度。為什么要做multi-head attention？論文原文里是這么說的:
?Multi-head attention allows the model to jointly attend to information from different representation subspaces at different positions. With a single attention head, averaging inhibits this.
?也就是說，這樣可以在不改變參數量的情況下增強每一層attention的表現力。?? ? ? ? ? ? ? ? ? ? ? ? ??Multi-head Attention示意圖
Multi-head Attention的本質是，在 「參數總量保持不變」 的情況下，將同樣的query, key, value映射到原來的高維空間的「不同子空間」中進行attention的計算，在最后一步再合并不同子空間中的attention信息。這樣降低了計算每個head的attention時每個向量的維度，在某種意義上防止了過擬合；由于Attention在不同子空間中有不同的分布，Multi- head Attention實際上是尋找了序列之間不同角度的關聯關系，并在最后concat這一步驟中，將不同子空間中捕獲到的關聯關系再綜合起來。
從上圖可以看出， ? ?和 ? ?之間的attention score從1個變成了h個，這就對應了h個子空間中它們的關聯度。
3. Transformer模型架構中的其他部分
3.1. Feed Forward Network
每一層經過attention之后，還會有一個FFN，這個FFN的作用就是空間變換。FFN包含了2層linear transformation層，中間的激活函數是ReLu。
曾經我在這里有一個百思不得其解的問題：attention層的output最后會和 ?相乘，為什么這里又要增加一個2層的FFN網絡？
其實，FFN的加入引入了非線性(ReLu激活函數)，變換了attention output的空間, 從而增加了模型的表現能力。把FFN去掉模型也是可以用的，但是效果差了很多。
3.2. Positional Encoding
位置編碼層只在encoder端和decoder端的embedding之后，第一個block之前出現，它非常重要，沒有這部分，Transformer模型就無法用。位置編碼是Transformer框架中特有的組成部分，補充了Attention機制本身不能捕捉位置信息的缺陷。
??
position encoding
Positional Embedding的成分直接疊加于Embedding之上，使得每個token的位置信息和它的語義信息(embedding)充分融合，并被傳遞到后續所有經過復雜變換的序列表達中去。
論文中使用的Positional Encoding(PE)是正余弦函數，位置(pos)越小，波長越長，每一個位置對應的PE都是唯一的。同時作者也提到，之所以選用正余弦函數作為PE，是因為這可以使得模型學習到token之間的相對位置關系：因為對于任意的偏移量k， ?可以由 ? ?的線性表示：
上面兩個公式可以由 ? ?和 ?
的線性組合得到。也就是 ?乘上某個線性變換矩陣就得到了 ?p.s. 后續有一個工作在attention中使用了“相對位置表示” ( ?Self-Attention with Relative Position Representations) ，有興趣可以看看。
3.3. Layer Normalization
在每個block中，最后出現的是Layer Normalization。Layer Normalization是一個通用的技術，其本質是規范優化空間，加速收斂。
當我們使用梯度下降法做優化時，隨著網絡深度的增加，數據的分布會不斷發生變化，假設feature只有二維，那么用示意圖來表示一下就是：
??數據的分布發生變化，左圖比較規范，右圖變得不規范
為了保證數據特征分布的穩定性（如左圖），我們加入Layer Normalization，這樣可以加速模型的優化速度。
p.s. 后期我也會專門出一篇文章講各種Normalization的技術，敬請期待～
4. Transformer結構和RNN結構的對比
emmm這部分過幾天再加吧……
5. 參考
How Much Attention Do You Need? A Granular Analysis of Neural Machine Translation Architectures Attention is all you need; Attentional Neural Network Models | ?ukasz Kaiser | Masterclass[ The Illustrated Transformer ](https://link.zhihu.com/?target=https%3A//jalammar.github.io/illustrated- transformer/) ?Juliuszh：詳解深度學習中的Normalization，BN/LN/WN
敬請期待......
本文只是重點介紹了一下Transformer，當前基于Transformer的各類后續研究正在自然語言處理的各大領域里大放異彩，本人后續文章會陸續介紹一些最新的進展：
【論文串講】Transformer的各種優化與改進
【經典串講】文本預訓練模型(BERT, XLNET, Roberta)
【經典串講】跨語言預訓練機器翻譯模型/語言模型
呼～終于寫完啦～撒花
往期精彩回顧適合初學者入門人工智能的路線及資料下載機器學習及深度學習筆記等資料打印機器學習在線手冊深度學習筆記專輯《統計學習方法》的代碼復現專輯 AI基礎下載機器學習的數學基礎專輯獲取一折本站知識星球優惠券，復制鏈接直接打開：https://t.zsxq.com/yFQV7am本站qq群1003271085。加入微信群請掃碼進群：總結
以上是生活随笔為你收集整理的【NLP】Transformer模型深度解读的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 【CV】通俗易懂的目标检测 | RCNN
- 下一篇： 【机器学习基础】数学推导+纯Python