作者丨FlyEgle
?編輯丨極市平臺

論文名稱: CROSSFORMER: A VERSATILE VISION TRANSFORMER BASED ON CROSS-SCALE ATTENTION
論文鏈接: https://arxiv.org/pdf/2108.00154.pdf
論文代碼：https://github.com/cheerss/CrossFormer

1. 出發點

Transformers模型在處理視覺任務方面已經取得了很大的進展。然而，現有的vision transformers仍然不具備一種對視覺輸入很重要的能力：在不同尺度的特征之間建立注意力。

• 每層的輸入嵌入都是等比例的，沒有跨尺度的特征；
• 一些transformers模型為了減少self-attention的計算量，衰減了key和value的部分特征表達。

2. 怎么做

為了解決上面的問題，提出了幾個模塊。

Cross-scale Embedding Layer (CEL)

Long Short Distance Attention (LSDA)

Dynamic Position Bias (DPB)

這里1和2都是為了彌補了以往架構在建立跨尺度注意力方面的缺陷，3的話和上面的問題無關，是為了使相對位置偏差更加靈活，更好的適合不定尺寸的圖像和窗口。這篇文章還挺講究，不僅提出兩個模塊來解決跨尺度特征attention，還附送了一個模塊來搞一個搞位置編碼。

閱讀全文：深度探討 CrossFormer 如何解決跨尺度問題

推薦大家關注極市平臺公眾號，每天都會更新最新的計算機視覺論文解讀、綜述盤點、調參攻略、面試經驗等干貨~

總結

以上是生活随笔為你收集整理的深度探讨 CrossFormer 如何解决跨尺度问题的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。