論文鏈接：https://arxiv.org/abs/1904.01990

代碼：https://github.com/zhunzhong07/ECN

Abstract

1.傳統的無監督方法只關注于縮小源域與目標域之間的gap，而忽略了目標域內的變量變化，這個變化很大程度上影響了性能。
2.我們提出了三種不變性：exemplar-invariance, camera-invariance and neighborhood-invariance。
3.為了實現我們的目標，我們引入了一個 exemplar memory進行存儲目標域的特征并且容納三個不變性。
4.該memory可以讓我們在不顯著增加計算成本的情況下，在目標訓練batch中添加不變性約束。

1.Introduction

三種不變性具體如下圖：

1.我們發現top-ranked檢索結果總是在視覺上與query更加相似。這種現象可以在圖像分類中體現出來，這一點表示深度re-id模型從數據中更多的學習的是相似性而非語義特征。

2.exemplar-invariance：在現實中很容易識別不同圖像的特征，基于此點，我們提出了exemplar-invariance，通過使相同人更加接近，不同人更加遠離的方法， 學習目標域unlabeled data之間的相似性。

3.camera-invariance：攝影風格（camera-style）作為re-id一個關鍵因素，在很大程度上影響改變了行人的外觀。但是無論是攝影風格如何，都不會影響他是同一個人，所以我基于此點，提出camera-invariance，同一個不同攝影風格的圖片應該更加接近。

4.neighborhood-invariance：一個目標示例（target exemplar）和它在目標域中最近的一些鄰居應該有相同的身份。通過此點，我們提出neighborhood-invariance，希望 ex-exemplar和它信任的相關鄰居更加接近。
（即同一個行人的圖片更加接近）

5.根據以上的不變性，我們提出了一個針對Person re-id的新的無監督域適應方法（unsupervised domain adaptation)。即在訓練的過程中，在網絡中使用一個exemplar memory 去存儲目標域中每個exemplar的最新特征。并且這個memory可以使我們在全局上添加上述的invariance 約束。在網絡的優化進程中，這個memory可以很有效的執行目標域的不變性學習。

2. Related Work

Unsupervised domain adaptation

一種有效的方式去解決UDA就是通過對齊兩個域之間特征分布。
對齊的方法：可以通過減少兩個域間的最大均值差異，或是訓練一個對抗域分類器，使得源域和目標域變得不好分割。

但是上面提到的方法是在封閉場景下設計的，其中源域和目標域的類是完全相同的。在實踐中，目標域中存在許多未知類的場景。來自目標域的未知類示例不應與源域對齊。

為了解決上述這個問題，Busto和Grall[3]開發了一種方法，通過丟棄未知類目標樣本，來學習從源域到目標域的映射。
最近，提出了一種對抗學習框架[22]，將目標樣本分為已知和未知類，并在特征對齊過程中拒絕未知類。

上述的兩個新方法實際都是利用丟棄未知樣本來實現開放數據集下的類對齊。

Unsupervised person re-identification.

最近，Zhong等[43]首先提出了一種HHL方法來學習目標域的攝像機不變網絡。然而，HHL忽略了目標域的潛在積極樣本對。這可能會導致re-ID模型對t目標域中的其他變化敏感，比如姿勢和背景變化，而忽略了camera 的變化。

Difference from previous works.

1.exemplar-invariance 以前雖然有 但是不是在無監督領域
2.neighborhood-invariance 有一個相似學習叫做DAL，不同之處就是我們設計了一個 軟分類損失去對齊top-k鄰居，而不是計算top-1鄰居之間的三元組損失。

3. The Proposed Method

3.1. Overview of Framework

本文的核心就是通過兩個模塊去計算：
1.分類模塊針對的是有標簽的數據，利用softmax計算Loss
2.存儲模塊是針對無標簽數據，一它存儲著FC-4096得到的全部目標圖像的最新特征，二就是通過估計小批量目標樣本與保存在樣本存儲器中的整個目標樣本之間的相似性來計算目標域的不變性學習損失。

3.2. Supervised Learning for Source Domain

對源域采用有監督的學習方式進行分類，但是這種做法只使用數據分布相似的目標域和源域，一但兩者的數據分布不相似，那么其效果就會很差。所以我們引入了基于存儲器的方法去克服這個問題，該方法考慮了在訓練過程中目標域中的域內變化。

3.3. Exemplar Memory

我們提出在網絡中加入invariance learning的方法，該方法通過估計目標圖像間的相似度實現。

1.為了實現這一目標，我們首先構建一個（exemplar memory）范例記憶來存儲所有目標圖像的最新特征。該exemplar memory 由鍵值對組成。在exemplar memory中每個slot存儲形式是，經過L2批處理化的FC-4096產生的特征存儲在key，而對應的標簽存儲在value。

2.對于給定包含Nt個圖像的未標記目標數據，我們將每個圖像實例視為一個單獨的類別。因此exemplar memory包含著Nt個slot。

3.初始化時，將所有的key memory中的所有特征的值置為0。為簡單起見，我們將相應的索引賦值為目標樣本的標簽，并將其存儲在值存儲器中。例如，第i個目標的值內存（value memory）賦值為V[i] = i。并且在value memory 中的標簽在整個訓練過程中是固定的。

4.key memory的更新過程：

3.4. Invariance Learning for Target Domain

僅使用源數據訓練的深度學習網絡是對目標域的域內變化很敏感的。這個變化是影響性能的關鍵因素。因此，在konwlege從源域到目標域的遷移中，考慮目標域的圖像變化是很有必要的。因此本實驗中研究了三種不變性。
Exemplar-invariance
每個人的圖像更接近自己而遠離他人。因此，我們通過學習區分個體圖像，在re-ID模型中加入Exemplar-invariance。這樣re-id模型就可以捕捉到人的顯著特征。為了實現這一目標，我們將Nt個目標圖像視為Nt個不同的類，并將每一幅圖像分類為它自己的類。

1.對于給定目標圖像 xt,i，我們首先計算xt,i的特征與保存在key memory中的特征之間的余弦相似度。然后，利用softmax函數計算出xt屬于i類的預測概率。

exemplar-invariance的目標就是最小化下圖公式（最小化負數即最大可能性擴大p即擴大xt屬于i類的可能性）：

Camera-invariance
用標記源數據訓練的re-ID模型可以捕獲源域的(camera-invariance)，但可能會受到目標攝像機引起的圖像變化的影響。因為這兩個領域的相機設置將會非常不同。為了克服這一問題，我們提出在網絡中配置目標域的相機不變性，基于該圖片與它經過攝影風格遷移的副本彼此更加接近。在本文中，我們假設每個圖像的攝像機id是已知的，因為在從視頻序列中采集人的圖像時，攝像機id很容易得到。

1.對于給定的無標簽目標數據，我將每個相機視為一個樣式域，并且使用starGAN去訓練這個樣式域，從而為目標域來遷移模型。通過學習CamStyle傳輸模型，每個從相機c采集的真實目標圖像都被其他相機風格的C - 1圖像增強，同時保持原始身份。C為目標域中的攝像機數量。

2.該不變性使得不同相機的相同照片更加接近

3.具體loss(跟Exemplar-invariance類似)

Neighborhood-invariance
對于每個目標圖像，這里存在著一系列的積極樣本（positive samples）。如果我們在訓練的過程中利用這些積極樣本（positive samples）,我們就能夠克服目標域內變化，并進一步的提高re-id模型的健壯性

1.我們首先計算存儲f (xt,i) 與在 key memory中的特征之間的余弦相似度。然后我們找出xt,i的k近鄰，并且將它們定義為M(xt,i, k)。k是多少個鄰居。離他最近的就是i。

2.我們在網絡中使用Neighborhood-invariance是在假設目標圖像xt,i應該屬于M(xt,i, k)。因此我們為xt,i屬于j類的概率分配權重。

鄰域不變性被闡述為軟標簽損失（soft-label loss)

通過上述公式我們就能將類與它的鄰域更好的聚集在一起。

Overall loss of invariance learning

這段原文很好的解釋了參數的含義，以及不同情況下使用什么樣的不變性（
即 i = j 時，我們通過遷移xt,i歸屬到其原來的類 使用了exemplar-invarinace 和 camera-invariance。當i ! = j 時，我們通過引導xt,i與它的鄰居更加接近使用了neighborhood-invariance）

3.5. Final Loss for Network

3.6. Discussion on the Three Invariance Properties（重點）

這段寫的很好，大概的意思就是exemplar-invariance與neighbor-invariance是矛盾共同體，前者Push開了距離，后者又pull回了距離。

總結

以上是生活随笔為你收集整理的[行人重识别论文阅读]Invariance Matters: Exemplar Memory for Domain AdaptivePerson Re-identification的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。