Transformer，一個nlp繞不開的話題，現在連推薦和圖像也繞不開了。這么強大的模型倒不是沒有缺點，例如訓練預估慢就是它的硬傷，所以常常受資源/時間等限制，都會優先嘗試tiny-bert等較小的模型去處理，但是論文表明這種處理對效果是有一定影響的。有沒有又快又好的模型呢？它來了-Fastformer，不僅線性復雜度，還刷新了很多榜單。

fastformer

先溫習下transformer中的self-attention，如下圖所示：

我們可以看到query中每個向量都需要與key中的向量做點積，才能最終得到最終向量。讓我們再看看fastformer:

我們可以看到query中所有向量通過additive attention聚合成了一個全局向量，然后和key做element-wise乘法，又通過additive attention聚合成全局key向量，最后和value做element-wise后做線性變換得到r1~rN，最后輸出q1+r1, q2+r2, q3+r3。

additive attention, wq和wk是可學習的參數:

實驗

參考文獻

1、https://arxiv.org/pdf/2108.09084.pdf

總結

以上是生活随笔為你收集整理的Transformer又又又升级了？的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。