transformer 中 self-attention 計算如公式：

Q,K 的序列長度均為圖像尺寸，公式 2 計算復雜度為圖像尺寸的平方，這樣帶來較大計算負擔。作者認為，對所有特征之間的關聯在機器翻譯中是必要的，但是在視覺任務中是不必要的。因為機器翻譯中每個特征都代表一個特定的單詞或標記，而視覺任務中相鄰的空間通常表示相同的物體。因此在視覺任務中，可以減少特征向量的數量，構建一個更粗略更具描述性的視覺表達，從而顯著降低計算復雜度。

作者首先提出了兩個假設：

一個小的 exemplar value 集合可以在一個數據集之間共享；
一個粗略的查詢具有足夠的描述性來利用這些 exemplar value。

上述提出的 Exemplar Transformer layer 可以作為卷積的替代，作者將 LightTrack 的預測頭分支所有卷積換成了 Exemplar Transformer，構建新的跟蹤器 E.T.Track 如圖 4 所示。

總結

以上是生活随笔為你收集整理的【目标跟踪】|Exemplar Transformers的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。