前言

谷歌于2017年提出 Transformer網(wǎng)絡(luò)架構(gòu)，此網(wǎng)絡(luò)一經(jīng)推出就引爆學(xué)術(shù)界。目前，在NLP領(lǐng)域，Transformer模型被認(rèn)為是比CNN，RNN都要更強的特征提取器。

Transformer算法簡介

Transformer引入了self-attention機制，同時還借鑒了CNN領(lǐng)域中殘差機制（Residuals），由于以上原因?qū)е聇ransformer有如下優(yōu)勢：

• 模型表達(dá)能力較強，由于self-attention機制考慮到了句子之中詞與詞之間的關(guān)聯(lián)，
• 拋棄了RNN的循環(huán)結(jié)構(gòu)，同時借用了CNN中的殘差結(jié)構(gòu)加快了模型的訓(xùn)練速度。

接下來我們來看看transformer的一些細(xì)節(jié)：

• 首先Scaled Dot-Product Attention步驟是transformer的精髓所在，作者引入Q，W，V參數(shù)通過點乘相識度去計算句子中詞與詞之間的關(guān)聯(lián)重要程度。其大致過程如圖所示，博主將會在實戰(zhàn)部分具體介紹此過程如何實現(xiàn)。

   

  Scaled Dot-Product Attention

• 第二個是muti-head步驟，直白的解釋就是將上面

總結(jié)

以上是生活随笔為你收集整理的深度学习核心技术精讲100篇（十一）-Google利器超强特征提取网络（Transformer）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。