你有多久沒調(diào)過 kernel size 了？在下游任務(wù)上，Transformer 明顯優(yōu)于傳統(tǒng) CNN，這是因?yàn)?Transformer 本質(zhì)更強(qiáng)嗎？傳統(tǒng)堆疊大量 3x3 卷積的 CNN 設(shè)計(jì)模式是最優(yōu)的嗎？

最近，清華大學(xué)、曠視科技等機(jī)構(gòu)的一項(xiàng)工作表明，CNN 中的 kernel size 其實(shí)是一個非常重要但總是被人忽略的設(shè)計(jì)維度：在現(xiàn)代模型設(shè)計(jì)的加持下，卷積核越大越暴力，既漲點(diǎn)又高效，甚至大到 31x31 都非常 work。即便在大體量下游任務(wù)上，超大卷積核模型 RepLKNet 與 Swin 等 Transformer 相比，性能也更好或相當(dāng)。

論文地址：https://arxiv.org/abs/2203.06717

基于超大卷積核，一些挑戰(zhàn)傳統(tǒng)認(rèn)知的結(jié)論逐漸浮現(xiàn)，例如：深度小kernel模型的有效感受野其實(shí)不大，較淺的大kernel模型有效感受野非常大且更像人類（模型的預(yù)測主要根據(jù)物體的形狀而非局部的紋理）；Transformers 性能強(qiáng)悍可能不是因?yàn)锳ttention機(jī)制，而是因?yàn)榇蟾惺芤啊?br />
在3月24日19:00-20:00的論文分享中，機(jī)器之心邀請到了 RepLKNet 論文一作、清華大學(xué)博士生丁霄漢為我們帶來更深入的解讀。

分享主題：RepLKNet：超大卷積核，大到31x31，卷積越大，性能越強(qiáng)

分享嘉賓：丁霄漢，清華大學(xué)博士生，曠視科技 Base Model 組實(shí)習(xí)生，研究方向?yàn)橥ㄓ媚Ｐ图軜?gòu)設(shè)計(jì)。在 CVPR 等會議上發(fā)表過一系列論文，提出了結(jié)構(gòu)重參數(shù)化方法論及其若干應(yīng)用，獲得 GitHub 約 4000 Star。

分享摘要：RepLKNet 挑戰(zhàn)了諸多行業(yè)內(nèi)的傳統(tǒng)認(rèn)知，發(fā)現(xiàn)大到 31x31 的超大卷積核既漲點(diǎn)又高效，越大越漲點(diǎn)。歸納了在現(xiàn)代模型中應(yīng)用大卷積的五條準(zhǔn)則，如用小卷積核進(jìn)行重參數(shù)化等。在此之上提出了一種新的架構(gòu) RepLKNet，在大模型和下游任務(wù)上取得了亮眼的結(jié)果，比 Swin 更好或相當(dāng)，遠(yuǎn)超傳統(tǒng)小 kernel 的 CNN。

分享時間：北京時間3月24日19:00-20:00

直播間：關(guān)注機(jī)動組視頻號，北京時間3月24日開播。

交流群：本次直播設(shè)有 QA 環(huán)節(jié)，歡迎加入本次直播交流群探討交流。

如群已超出人數(shù)限制，請?zhí)砑訖C(jī)器之心小助手：syncedai2、syncedai3、syncedai4 或 syncedai5，備注「卷積」即可加入。

機(jī)器之心 · 機(jī)動組?

機(jī)動組是機(jī)器之心發(fā)起的人工智能技術(shù)社區(qū)，聚焦于學(xué)術(shù)研究與技術(shù)實(shí)踐主題內(nèi)容，為社區(qū)用戶帶來技術(shù)線上公開課、學(xué)術(shù)分享、技術(shù)實(shí)踐、走近頂尖實(shí)驗(yàn)室等系列內(nèi)容。機(jī)動組也將不定期舉辦線下學(xué)術(shù)交流會與組織人才服務(wù)、產(chǎn)業(yè)技術(shù)對接等活動，歡迎所有 AI 領(lǐng)域技術(shù)從業(yè)者加入。

• 點(diǎn)擊閱讀原文，訪問機(jī)動組官網(wǎng)，觀看往期回顧；

• 關(guān)注機(jī)動組服務(wù)號，獲取每周直播預(yù)告。

總結(jié)

以上是生活随笔為你收集整理的【深度学习】卷积越大性能越强！RepLKNet一作在线分享：Transformer阴影下的超大卷积核复兴...的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。