本文為香港中文大學(xué)MMLab實驗室博士生葛藝瀟投稿。

本文介紹一篇我們發(fā)表于NeurIPS-2020的論文《Self-paced Contrastive Learning with Hybrid Memory for Domain Adaptive Object Re-ID》，該工作提出自步對比學(xué)習(xí)框架及混合記憶模型，旨在解決無監(jiān)督及領(lǐng)域自適應(yīng)表征學(xué)習(xí)中數(shù)據(jù)無法被充分挖掘的問題。這項工作在無監(jiān)督的目標(biāo)重識別任務(wù)上顯著地超越最先進(jìn)技術(shù)高達(dá)16.7%；領(lǐng)域自適應(yīng)的目標(biāo)重識別任務(wù)中，在無監(jiān)督的目標(biāo)域上超越最先進(jìn)技術(shù)高達(dá)5.0%，同時可以提升有監(jiān)督的源域性能高達(dá)6.6%。實驗結(jié)果充分證明其廣泛的應(yīng)用場景及有效性：可被應(yīng)用于解決無監(jiān)督學(xué)習(xí)任務(wù)，也可被應(yīng)用于利用額外無監(jiān)督數(shù)據(jù)提升有監(jiān)督學(xué)習(xí)的任務(wù)。代碼和模型均已公開，方法也被收錄于OpenUnReID代碼庫。視頻介紹：

背景簡介

近年來，在無監(jiān)督學(xué)習(xí)的浪潮下，無監(jiān)督及領(lǐng)域自適應(yīng)的目標(biāo)重識別任務(wù)也逐漸受到大家的關(guān)注，在剛剛過去的ECCV2020中這個方向所發(fā)表的論文就有十余篇。

目標(biāo)重識別(Object Re-ID)，包括行人重識別、車輛重識別等，旨在跨攝像機(jī)檢索和追蹤目標(biāo)人物或車輛。重識別任務(wù)的關(guān)鍵之一是學(xué)習(xí)具有辨識性的特征，并在多樣的條件變化下保持魯棒性。在如今深度學(xué)習(xí)盛行的時代，大規(guī)模數(shù)據(jù)集推動了目標(biāo)重識別任務(wù)的快速發(fā)展，然而，領(lǐng)域差異及標(biāo)注數(shù)據(jù)的高消耗等都成為了部署重識別算法中無法忽視的問題。

領(lǐng)域自適應(yīng)的目標(biāo)重識別(Domain Adaptive Object Re-ID)旨在通過源域有標(biāo)注的數(shù)據(jù)和目標(biāo)域無標(biāo)注的數(shù)據(jù)進(jìn)行訓(xùn)練，從而在目標(biāo)域上取得較好的性能。這里區(qū)分一下一般分類任務(wù)上的領(lǐng)域自適應(yīng)，分類任務(wù)上的兩個領(lǐng)域的類別往往有部分或者全部的重疊，而重識別任務(wù)上的兩個領(lǐng)域，我們一般認(rèn)為類別完全沒有重復(fù)。

這是由于領(lǐng)域自適應(yīng)的重識別任務(wù)一般應(yīng)用在：將城市A訓(xùn)練的重識別模型應(yīng)用于城市B、將虛擬合成數(shù)據(jù)訓(xùn)練的重識別模型應(yīng)用于真實世界的場景等。在這些場景中，兩個領(lǐng)域間的類別一般很難存在重復(fù)。

無監(jiān)督的目標(biāo)重識別(Unsupervised Object Re-ID)與上述領(lǐng)域自適應(yīng)重識別非常相似，問題設(shè)置上的唯一區(qū)別在于沒有有標(biāo)簽的源域數(shù)據(jù)。這里著重區(qū)分一下目前很受關(guān)注的無監(jiān)督預(yù)訓(xùn)練(Unsupervised Pre-training)任務(wù)，存在兩點主要區(qū)別：1)無監(jiān)督預(yù)訓(xùn)練任務(wù)從網(wǎng)絡(luò)隨機(jī)初始化開始，無監(jiān)督重識別任務(wù)從預(yù)訓(xùn)練好的網(wǎng)絡(luò)開始；2)無監(jiān)督預(yù)訓(xùn)練的網(wǎng)絡(luò)需要經(jīng)過fine-tune才可以應(yīng)用在下游任務(wù)上，而無監(jiān)督重識別任務(wù)本身可以看作一個無監(jiān)督的下游任務(wù)，經(jīng)過訓(xùn)練的網(wǎng)絡(luò)可直接部署。領(lǐng)域自適應(yīng)重識別任務(wù)的研究歷史較無監(jiān)督重識別任務(wù)而言較長一些，但本質(zhì)上這兩項任務(wù)是非常相似的。正如上文所述，領(lǐng)域自適應(yīng)重識別任務(wù)相較于無監(jiān)督重識別任務(wù)而言，只是在問題設(shè)置上多出了有標(biāo)簽的源域數(shù)據(jù)。所以，大部分的算法也都可以通用，因為很多領(lǐng)域自適應(yīng)重識別算法只需要去除源域預(yù)訓(xùn)練的步驟，即可應(yīng)用于無監(jiān)督重識別任務(wù)上。該論文所介紹的方法在這兩項任務(wù)上也都取得了很不錯的結(jié)果。下面，將先以領(lǐng)域自適應(yīng)重識別任務(wù)為例介紹方法，再講解如何應(yīng)用于無監(jiān)督重識別任務(wù)。

問題與動機(jī)

解決領(lǐng)域自適應(yīng)重識別任務(wù)的算法可以分為兩類，偽標(biāo)簽類和域轉(zhuǎn)換類，目前偽標(biāo)簽類可以獲得更好的性能，而偽標(biāo)簽類中的基于聚類的偽標(biāo)簽法較為有效，所以本文所基于的baseline是基于聚類的偽標(biāo)簽算法。

目前大部分基于聚類的偽標(biāo)簽算法(如SSG、MMT等)在訓(xùn)練上分為兩步：

第一步，在源域上利用有標(biāo)簽的源域數(shù)據(jù)進(jìn)行有監(jiān)督的預(yù)訓(xùn)練；

第二步，在預(yù)訓(xùn)練的模型基礎(chǔ)上，利用目標(biāo)域無標(biāo)簽的數(shù)據(jù)及其聚類產(chǎn)生的偽標(biāo)簽進(jìn)行fine-tune。

這樣的算法流程目前已經(jīng)可以獲得相對令人滿意的結(jié)果，但他們?nèi)匀淮嬖趦牲c缺陷：

1)在第二步的目標(biāo)域訓(xùn)練中忽略了源域數(shù)據(jù)(僅用于預(yù)訓(xùn)練)，但我們認(rèn)為源域的數(shù)據(jù)由于具有真實準(zhǔn)確的標(biāo)簽，所以應(yīng)當(dāng)被充分利用；

2)在基于聚類的偽標(biāo)簽法中，往往沒有用到全部的目標(biāo)域無標(biāo)簽數(shù)據(jù)，因為基于密度的聚類(如DBSCAN等)本身會產(chǎn)生聚類離群值(outlier)，這些聚類離群值由于無法分配偽標(biāo)簽，所以被丟棄，不用于訓(xùn)練。

但我們認(rèn)為，這樣的聚類離群值往往正是那些值得挖掘的困難訓(xùn)練樣本。尤其在訓(xùn)練的早期，往往存在大量的聚類離群值，若簡單丟棄它們，訓(xùn)練樣本將大幅減少。

所以如何合理地挖掘所有可用的信息是提升性能的關(guān)鍵。如上圖所示，我們提出在訓(xùn)練中使用全部的源域數(shù)據(jù)和目標(biāo)域數(shù)據(jù)，并利用一個混合記憶模型(Hybrid Memory)來提供監(jiān)督：對于源域數(shù)據(jù)而言，監(jiān)督是他們真實的標(biāo)簽；對于目標(biāo)域聚類內(nèi)的數(shù)據(jù)而言，監(jiān)督是他們的聚類標(biāo)簽；對于目標(biāo)域的聚類離群值而言，他們每張圖本身被看作一個單獨的類，所以監(jiān)督是實例級的標(biāo)簽。我們將所有的源域類、目標(biāo)域聚類、目標(biāo)域每個聚類離群值實例看成平等的類別。

自步對比學(xué)習(xí)框架

以下是我們所提出自步對比學(xué)習(xí)(Self-paced Contrastive Learning)框架，包括一個圖像特征編碼器(Encoder)和一個混合記憶模型(Hybrid Memory)。核心是混合記憶模型在動態(tài)變化的類別下所提供的連續(xù)有效的監(jiān)督，以統(tǒng)一對比損失函數(shù)(Unified Contrastive Loss)的形式監(jiān)督網(wǎng)絡(luò)更新，實現(xiàn)起來非常容易，且即插即用。下文將具體介紹。

統(tǒng)一對比損失函數(shù)

類別原型(Class Prototype)可以理解為該類別中較為有標(biāo)志的特征，例如無偏分類器中的權(quán)重(Weights)。在這里，我們使用源域真實類別的類質(zhì)心(Class Centroids)作為源域數(shù)據(jù)的類別原型{w}，使用目標(biāo)域聚類的質(zhì)心(Cluster Centroids)作為聚類內(nèi)的目標(biāo)域數(shù)據(jù)的類別原型{c}，使用目標(biāo)域聚類離群值的實例特征(Outlier Instance Features)作為無聚類的目標(biāo)域數(shù)據(jù)的類別原型{v}。我們所提出的混合記憶模型可以實時提供這三種類別原型以作訓(xùn)練監(jiān)督，后文將具體介紹這三種類別原型的更新過程。

對于每一組輸入的mini-batch，同時包含源域數(shù)據(jù)和目標(biāo)域數(shù)據(jù)(我們在編碼器中使用Domain-specific BNs來消除不同領(lǐng)域數(shù)據(jù)間的域差異)，他們需要與上述三種類別原型進(jìn)行比較。所以我們提出統(tǒng)一對比損失函數(shù)(Unified Contrastive Learning)：

該損失函數(shù)可以使得每個訓(xùn)練樣本靠近它所屬于的類別(包含源域真實類、目標(biāo)域聚類、目標(biāo)域無聚類實例)，而遠(yuǎn)離其他類別。

舉例來說，對于一個來自源域的樣本，其對應(yīng)的正面原型(Positive Prototype)則是它真實類別所對應(yīng)的質(zhì)心(Class Centroids)；對于一個來自目標(biāo)域的樣本，若其在聚類內(nèi)，則正面原型為其所對應(yīng)的聚類質(zhì)心(Cluster Centroids)。

反之，若其不在聚類內(nèi)，為聚類離群值，則正面原型為該離群值所對應(yīng)的實例特征(Outlier Instance Features)。

其實，我們所設(shè)計的“混合記憶模型(Hybrid Memory)+統(tǒng)一對比損失函數(shù)(Unified Contrastive Loss)”與大家常用的“分類器(Classifier)+交叉熵?fù)p失函數(shù)(Cross-entropy Loss)”在工作機(jī)理上非常相似，可以簡單的認(rèn)為混合記憶模型是非參數(shù)化(Non-parametric)的分類器。

那么，為什么我們不用普通分類器來完成這一任務(wù)呢？

這是由于目標(biāo)域的聚類及聚類離群值在訓(xùn)練過程中動態(tài)變化(一般每個epoch前更新)，無法使用固定的聚類ID及離群值實例ID訓(xùn)練分類器。如若在每次更新完ID后需要重置分類器，分類器由于無法連續(xù)更新，會導(dǎo)致性能較差。

有同學(xué)會問，以前的算法(如MMT)，每個epoch重置分類器依然訓(xùn)練效果很好，這是為什么？

這是因為這些算法不使用聚類離群值進(jìn)行訓(xùn)練。試想，將每個聚類離群值也看做單獨的類加入分類器，而每個epoch只能遍歷到該類對應(yīng)的樣本一次(因為一個離群值是一個類)，那么，在類樣本數(shù)如此不平均的情況下，分類器幾乎得不到有效的訓(xùn)練，便會被重置。

我們所提出的統(tǒng)一對比損失函數(shù)與自監(jiān)督任務(wù)(如MoCo、SimCLR等)中常用的對比損失函數(shù)最主要的區(qū)別在于，我們同時考慮了三種不同的類別原型，而以前的對比損失函數(shù)只考慮實例級的類別原型。他們將所有樣本看作獨立的類，進(jìn)行實例區(qū)分(Instance Discrimination)訓(xùn)練，這樣的算法很大程度上忽略了類內(nèi)(Intra-class)關(guān)系，也就是同一ID的不同圖像間的聯(lián)系，故以前的對比損失函數(shù)不適用于重識別任務(wù)。

混合記憶模型

上文中，我們提到混合記憶模型(Hybrid Memory)實時提供三種不同的類別原型，那么，這三種類別原型是如何動態(tài)地在混合記憶模型中連續(xù)更新變化的呢？我們提出使用動量更新(Momentum Update)，想必這個詞對大家來說并不陌生，在MoCo、Mean-teacher等模型中常有見到，簡單來說，就是以“參數(shù)= (1-動量)x新參數(shù)+動量x參數(shù)”的形式更新。在這里，我們針對源域和目標(biāo)域采取不同的動量更新算法，以適應(yīng)其不同的特性。

對于源域的數(shù)據(jù)而言，由于具有真實的類別，我們提出以類為單位進(jìn)行存儲。這樣的操作一方面節(jié)省空間，一方面在實驗中也取得了較好的結(jié)果。我們將當(dāng)前mini-batch內(nèi)的源域特征根據(jù)類別算均值，然后以動量的方式累計到混合記憶模型中對應(yīng)的類質(zhì)心上去，詳見下圖。

對于目標(biāo)域的數(shù)據(jù)而言，我們提出全部以實例為單位進(jìn)行特征存儲，這是為了讓目標(biāo)域樣本即使在聚類和非聚類離群值不斷變化的情況下，仍然能夠在混合記憶模型中持續(xù)更新(Continuously Update)。

具體而言，我們將當(dāng)前mini-batch內(nèi)的目標(biāo)域特征根據(jù)實例的index累計到混合記憶模型對應(yīng)的實例特征上去。

那么，如何獲得目標(biāo)域的聚類質(zhì)心及離群值實例特征呢？

我們在混合記憶模型中，將同一聚類ID的特征做平均，即可獲得聚類質(zhì)心；而離群值的實例特征則直接從混合記憶模型中提取剩下的實例特征即可，如下圖。

由簡入難的自步學(xué)習(xí)

我們發(fā)現(xiàn)，由于聚類和聚類離群值都被看作平等且獨立的類，所以聚類的可靠性對訓(xùn)練的影響至關(guān)重要。由于網(wǎng)絡(luò)在訓(xùn)練的一開始對于圖像的辨別性較差，聚類的噪聲也較大。所以我們借鑒自步學(xué)習(xí)(Self-paced Learning)的思想，先從最可靠的聚類開始，再逐步增加聚類，由簡入難。我們提出了一個聚類可靠性評價標(biāo)準(zhǔn)(Cluster Reliability Criterion)，保留可靠的聚類，而將不可靠的聚類拆解回?zé)o聚類的離群值實例。我們所提出的聚類可靠性評價標(biāo)準(zhǔn)分為聚類獨立性(Cluster Independence)和聚類緊湊型(Cluster Compactness)。

聚類獨立性(Cluster Independence)體現(xiàn)為一個可靠的聚類應(yīng)當(dāng)具有良好的類間距離，通俗點來說，不能和附近的聚類“如膠似漆”。

我們提出，放寬聚類的標(biāo)準(zhǔn)，例如DBSCAN中的最小類內(nèi)距離，此時，如果該聚類與周圍的聚類融合成了一個大聚類、或者吸收了附近的離群值，那么我們認(rèn)為，該聚類的獨立性不太好。

我們使用一個IoU(Intersection over Union)公式來計算聚類的獨立性。

聚類緊湊型(Cluster Compactness)體現(xiàn)為一個可靠的聚類內(nèi)的樣本應(yīng)該相互靠近，具有良好的類內(nèi)距離。

類似的，我們提出，縮緊聚類的標(biāo)準(zhǔn)，此時，如果該聚類被拆解成了多個小聚類、或者拆出了一些聚類離群值，那么我們認(rèn)為，該聚類的緊湊型不太好。

我們使用另一個IoU公式來計算聚類的緊湊型，如上圖所示。

直觀地說，該聚類可靠性評價標(biāo)準(zhǔn)的出發(fā)點在于，一個可靠的聚類應(yīng)當(dāng)在多尺度的聚類環(huán)境下保持穩(wěn)定。從下圖訓(xùn)練的統(tǒng)計中可以看出，使用了聚類可靠性評價標(biāo)準(zhǔn)的模型(紅色線)相比較于未使用的模型(藍(lán)色線)，無論是在聚類的數(shù)量還是質(zhì)量上，都離真實類別更近。

算法流程

以上，我們介紹了核心的模塊，我們梳理一下具體訓(xùn)練流程：

初始化(Initialization)：圖像編碼器(Encoder)的初始化一般使用ImageNet Pre-trained Weights，混合記憶模型(Hybrid Memory)的初始化使用初始的編碼器對所有的樣本進(jìn)行一次前向計算。

聚類和聚類離群值：在每個epoch前進(jìn)行聚類，并根據(jù)聚類可靠性評價標(biāo)準(zhǔn)(Cluster Reliability Criterion)進(jìn)行聚類的篩選，僅保留可靠的聚類，其余樣本均視作聚類離群值。

網(wǎng)絡(luò)和混合記憶模型的更新：在每個iteration中，首先利用編碼器對mini-batch的樣本進(jìn)行特征編碼，然后利用統(tǒng)一對比損失函數(shù)(Unified Contrastive Loss)進(jìn)行網(wǎng)絡(luò)的反向傳播更新，最后利用編碼的特征以動量更新(Momentum Update)的方式更新混合記憶模型(Hybrid Memory)。

無監(jiān)督重識別上的應(yīng)用

在一開始曾提到，該方法也可以被有效利用在無監(jiān)督重識別任務(wù)上，只需要將混合記憶模型和統(tǒng)一對比損失函數(shù)中有關(guān)源域的部分去掉即可。

無監(jiān)督重識別任務(wù)上的自步對比學(xué)習(xí)框架如下：

對應(yīng)的統(tǒng)一對比損失函數(shù)如下：

實驗

由于自步對比學(xué)習(xí)框架中可以同時訓(xùn)練源域和目標(biāo)域的數(shù)據(jù)，所以訓(xùn)練是one-stage的，無需單獨的源域預(yù)訓(xùn)練步驟。實驗中，我們針對多個真實及虛擬合成數(shù)據(jù)集進(jìn)行了實驗，在行人重識別和車輛重識別任務(wù)上都測試了該方法的有效性。

領(lǐng)域自適應(yīng)任務(wù)中，我們在無監(jiān)督的目標(biāo)域上均超越先前算法，在PersonX->MSMT17的任務(wù)上領(lǐng)先高達(dá)5.0%的mAP，這是由于在“虛擬合成->真實”的遷移任務(wù)中，由于聚類噪聲較大，產(chǎn)生的聚類離群值較多，所以我們所提出的充分挖掘所有樣本的方案所帶來的優(yōu)勢將更為突出。

除此之外，一項有趣的發(fā)現(xiàn)，VehicleID->VeRi-776與VehicleX->VeRi-776在目標(biāo)域上獲得幾乎相似的性能，這說明，在未來，隨著領(lǐng)域自適應(yīng)算法的不斷升級，可能我們再也不需要人為標(biāo)注的源域數(shù)據(jù)來作為輔助了，可以使用虛擬合成的數(shù)據(jù)予以代替。

以前的算法由于在目標(biāo)域的訓(xùn)練中忽視了源域數(shù)據(jù)，所以會無法避免地忘記源域的信息，而我們提出的方法對源域和目標(biāo)域數(shù)據(jù)進(jìn)行了聯(lián)合訓(xùn)練，在目標(biāo)域性能提升的同時，也提升了有監(jiān)督的源域性能。

可以看到，在MSMT17-Market-1501的遷移訓(xùn)練中，我們利用Market-1501的無標(biāo)簽數(shù)據(jù)大幅提升了MSMT17上的有監(jiān)督訓(xùn)練性能(+6.6%?mAP)。這意味著，我們所提出的算法可以被用于利用無標(biāo)簽數(shù)據(jù)提升有監(jiān)督訓(xùn)練的任務(wù)。

同樣，在無監(jiān)督重識別任務(wù)上，我們大幅領(lǐng)先已有的算法，在Market-1501的benchmark上領(lǐng)先高達(dá)16.7%的mAP。

我們也將MoCo在無監(jiān)督重識別任務(wù)上進(jìn)行了復(fù)現(xiàn)，正如我們之前所介紹了，這類無監(jiān)督預(yù)訓(xùn)練任務(wù)的算法并不適用于無監(jiān)督的重識別任務(wù)，因為他們將所有的樣本視作獨立的類，忽視了重識別任務(wù)中最重要的類內(nèi)類間關(guān)系。

再強(qiáng)調(diào)一下，MoCo這類算法適用于無監(jiān)督預(yù)訓(xùn)練任務(wù)，在應(yīng)用于下游任務(wù)上時需要fine-tune，而無監(jiān)督重識別任務(wù)本身是一個下游任務(wù)。

有細(xì)心的同學(xué)可能會發(fā)現(xiàn)，剛剛展示的結(jié)果中沒有涉及DukeMTMC-reID數(shù)據(jù)集的實驗，這是因為DukeMTMC-reID已經(jīng)官方下架，在AC的要求下，我們需要在論文的最終版本中刪去所有有關(guān)DukeMTMC-reID的實驗結(jié)果。

但是DukeMTMC-reID是行人重識別相關(guān)任務(wù)中常用的數(shù)據(jù)集，所以為了方便大家未來進(jìn)行算法的調(diào)試和比較，我在這里也簡單展示一下DukeMTMC-reID相關(guān)的結(jié)果，更多的結(jié)果大家可以在我們arXiv的第一個版本(arxiv.org/abs/2006.0271)中找到。

總結(jié)

該文提出了一個簡單有效的自步對比學(xué)習(xí)框架，核心思想是利用多種不同形式的類別原型提供混合監(jiān)督，以實現(xiàn)對所有訓(xùn)練數(shù)據(jù)的充分挖掘。雖然本文只在目標(biāo)重識別任務(wù)上進(jìn)行了實驗，但是提出的混合記憶模型及統(tǒng)一對比損失函數(shù)是即插即用的，有很大潛力在其他任務(wù)上取得較好的結(jié)果，歡迎大家嘗試。

這次NeurIPS的評審過程相當(dāng)刺激，從初審的7663到終審的5553，reviewers的降分起源對DukeMTMC-reID數(shù)據(jù)集的討論，最終這份工作也經(jīng)歷了NeurIPS今年特有的Ethics Review，起起落落，最終被AC撈起，感恩?？梢?#xff0c;目前學(xué)術(shù)界對于數(shù)據(jù)集的隱私保護(hù)規(guī)范要求也越來越嚴(yán)格。

推薦大家在以后領(lǐng)域自適應(yīng)重識別工作中考慮采用合成數(shù)據(jù)集，如PersonX、VehicleX等，不僅可以避免不必要的麻煩，并且由于合成數(shù)據(jù)和真實數(shù)據(jù)的域差異較大，算法上可以提shua升fen的空間也會較大。分類任務(wù)及分割任務(wù)上的領(lǐng)域自適應(yīng)往往采用合成數(shù)據(jù)作為源域，且這次VisDA-2020的比賽中，源域采用的也是合成數(shù)據(jù)集PersonX，可見合成數(shù)據(jù)到真實數(shù)據(jù)的自適應(yīng)任務(wù)備受關(guān)注。論文鏈接：https://arxiv.org/abs/2006.02713代碼鏈接：https://github.com/yxgeee/SpCLhttps://github.com/open-mmlab/OpenUnReID項目主頁：https://geyixiao.com/projects/spcl.html

END

備注：無監(jiān)督

自監(jiān)督/無監(jiān)督學(xué)習(xí)交流群

關(guān)注最新最前沿的自監(jiān)督、無監(jiān)督學(xué)習(xí)技術(shù)，

若已為CV君其他賬號好友請直接私信。

我愛計算機(jī)視覺

微信號:aicvml

QQ群:805388940

微博知乎:@我愛計算機(jī)視覺

投稿:amos@52cv.net

網(wǎng)站:www.52cv.net

在看，讓更多人看到 ?

總結(jié)

以上是生活随笔為你收集整理的weka分类器怎么设置样本类别_自步对比学习: 充分挖掘无监督学习样本的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。