?作者｜葛藝瀟

學(xué)校｜香港中文大學(xué)博士生

研究方向｜圖像檢索、圖像生成等

本文介紹一篇我們發(fā)表于 NeurIPS-2020 的論文《Self-paced Contrastive Learning with Hybrid Memory for Domain Adaptive Object Re-ID》，該工作提出自步對(duì)比學(xué)習(xí)框架及混合記憶模型，旨在解決無(wú)監(jiān)督及領(lǐng)域自適應(yīng)表征學(xué)習(xí)中數(shù)據(jù)無(wú)法被充分挖掘的問(wèn)題。

這項(xiàng)工作在無(wú)監(jiān)督的目標(biāo)重識(shí)別任務(wù)上顯著地超越最先進(jìn)技術(shù)高達(dá) 16.7%；領(lǐng)域自適應(yīng)的目標(biāo)重識(shí)別任務(wù)中，在無(wú)監(jiān)督的目標(biāo)域上超越最先進(jìn)技術(shù)高達(dá) 5.0%，同時(shí)可以提升有監(jiān)督的源域性能高達(dá) 6.6%。

實(shí)驗(yàn)結(jié)果充分證明其廣泛的應(yīng)用場(chǎng)景及有效性：可被應(yīng)用于解決無(wú)監(jiān)督學(xué)習(xí)任務(wù)，也可被應(yīng)用于利用額外無(wú)監(jiān)督數(shù)據(jù)提升有監(jiān)督學(xué)習(xí)的任務(wù)。代碼和模型均已公開(kāi)，方法也被收錄于 OpenUnReID 代碼庫(kù)。

論文鏈接：

https://arxiv.org/abs/2006.02713

代碼鏈接：

https://github.com/yxgeee/SpCL

https://github.com/open-mmlab/OpenUnReID

項(xiàng)目主頁(yè)：

https://geyixiao.com/projects/spcl.html

視頻介紹：

https://www.zhihu.com/zvideo/1302759986926096384

背景簡(jiǎn)介

近年來(lái)，在無(wú)監(jiān)督學(xué)習(xí)的浪潮下，無(wú)監(jiān)督及領(lǐng)域自適應(yīng)的目標(biāo)重識(shí)別任務(wù)也逐漸受到大家的關(guān)注，在剛剛過(guò)去的 ECCV2020 中這個(gè)方向所發(fā)表的論文就有十余篇。

目標(biāo)重識(shí)別（Object Re-ID），包括行人重識(shí)別、車輛重識(shí)別等，旨在跨攝像機(jī)檢索和追蹤目標(biāo)人物或車輛。重識(shí)別任務(wù)的關(guān)鍵之一是學(xué)習(xí)具有辨識(shí)性的特征，并在多樣的條件變化下保持魯棒性。

在如今深度學(xué)習(xí)盛行的時(shí)代，大規(guī)模數(shù)據(jù)集推動(dòng)了目標(biāo)重識(shí)別任務(wù)的快速發(fā)展，然而，領(lǐng)域差異及標(biāo)注數(shù)據(jù)的高消耗等都成為了部署重識(shí)別算法中無(wú)法忽視的問(wèn)題。

領(lǐng)域自適應(yīng)的目標(biāo)重識(shí)別（Domain Adaptive Object Re-ID）旨在通過(guò)源域有標(biāo)注的數(shù)據(jù)和目標(biāo)域無(wú)標(biāo)注的數(shù)據(jù)進(jìn)行訓(xùn)練，從而在目標(biāo)域上取得較好的性能。這里區(qū)分一下一般分類任務(wù)上的領(lǐng)域自適應(yīng)，分類任務(wù)上的兩個(gè)領(lǐng)域的類別往往有部分或者全部的重疊，而重識(shí)別任務(wù)上的兩個(gè)領(lǐng)域，我們一般認(rèn)為類別完全沒(méi)有重復(fù)。

這是由于領(lǐng)域自適應(yīng)的重識(shí)別任務(wù)一般應(yīng)用在：將城市A訓(xùn)練的重識(shí)別模型應(yīng)用于城市B、將虛擬合成數(shù)據(jù)訓(xùn)練的重識(shí)別模型應(yīng)用于真實(shí)世界的場(chǎng)景等。在這些場(chǎng)景中，兩個(gè)領(lǐng)域間的類別一般很難存在重復(fù)。

無(wú)監(jiān)督的目標(biāo)重識(shí)別（Unsupervised Object Re-ID）與上述領(lǐng)域自適應(yīng)重識(shí)別非常相似，問(wèn)題設(shè)置上的唯一區(qū)別在于沒(méi)有有標(biāo)簽的源域數(shù)據(jù)。這里著重區(qū)分一下目前很受關(guān)注的無(wú)監(jiān)督預(yù)訓(xùn)練（Unsupervised Pre-training）任務(wù)，存在兩點(diǎn)主要區(qū)別：

1）無(wú)監(jiān)督預(yù)訓(xùn)練任務(wù)從網(wǎng)絡(luò)隨機(jī)初始化開(kāi)始，無(wú)監(jiān)督重識(shí)別任務(wù)從預(yù)訓(xùn)練好的網(wǎng)絡(luò)開(kāi)始；2）無(wú)監(jiān)督預(yù)訓(xùn)練的網(wǎng)絡(luò)需要經(jīng)過(guò)fine-tune才可以應(yīng)用在下游任務(wù)上，而無(wú)監(jiān)督重識(shí)別任務(wù)本身可以看作一個(gè)無(wú)監(jiān)督的下游任務(wù)，經(jīng)過(guò)訓(xùn)練的網(wǎng)絡(luò)可直接部署。

領(lǐng)域自適應(yīng)重識(shí)別任務(wù)的研究歷史較無(wú)監(jiān)督重識(shí)別任務(wù)而言較長(zhǎng)一些，但本質(zhì)上這兩項(xiàng)任務(wù)是非常相似的。正如上文所述，領(lǐng)域自適應(yīng)重識(shí)別任務(wù)相較于無(wú)監(jiān)督重識(shí)別任務(wù)而言，只是在問(wèn)題設(shè)置上多出了有標(biāo)簽的源域數(shù)據(jù)。

所以，大部分的算法也都可以通用，因?yàn)楹芏囝I(lǐng)域自適應(yīng)重識(shí)別算法只需要去除源域預(yù)訓(xùn)練的步驟，即可應(yīng)用于無(wú)監(jiān)督重識(shí)別任務(wù)上。該論文所介紹的方法在這兩項(xiàng)任務(wù)上也都取得了很不錯(cuò)的結(jié)果。

下面，將先以領(lǐng)域自適應(yīng)重識(shí)別任務(wù)為例介紹方法，再講解如何應(yīng)用于無(wú)監(jiān)督重識(shí)別任務(wù)。

問(wèn)題與動(dòng)機(jī)

解決領(lǐng)域自適應(yīng)重識(shí)別任務(wù)的算法可以分為兩類，偽標(biāo)簽類和域轉(zhuǎn)換類，目前偽標(biāo)簽類可以獲得更好的性能，而偽標(biāo)簽類中的基于聚類的偽標(biāo)簽法較為有效，所以本文所基于的 baseline 是基于聚類的偽標(biāo)簽算法。

目前大部分基于聚類的偽標(biāo)簽算法（如 SSG、MMT 等）在訓(xùn)練上分為兩步：第一步，在源域上利用有標(biāo)簽的源域數(shù)據(jù)進(jìn)行有監(jiān)督的預(yù)訓(xùn)練；第二步，在預(yù)訓(xùn)練的模型基礎(chǔ)上，利用目標(biāo)域無(wú)標(biāo)簽的數(shù)據(jù)及其聚類產(chǎn)生的偽標(biāo)簽進(jìn)行 fine-tune。

這樣的算法流程目前已經(jīng)可以獲得相對(duì)令人滿意的結(jié)果，但他們?nèi)匀淮嬖趦牲c(diǎn)缺陷：

1）在第二步的目標(biāo)域訓(xùn)練中忽略了源域數(shù)據(jù)（僅用于預(yù)訓(xùn)練），但我們認(rèn)為源域的數(shù)據(jù)由于具有真實(shí)準(zhǔn)確的標(biāo)簽，所以應(yīng)當(dāng)被充分利用；

2）在基于聚類的偽標(biāo)簽法中，往往沒(méi)有用到全部的目標(biāo)域無(wú)標(biāo)簽數(shù)據(jù)，因?yàn)榛诿芏鹊木垲?#xff08;如 DBSCAN 等）本身會(huì)產(chǎn)生聚類離群值（outlier），這些聚類離群值由于無(wú)法分配偽標(biāo)簽，所以被丟棄，不用于訓(xùn)練。但我們認(rèn)為，這樣的聚類離群值往往正是那些值得挖掘的困難訓(xùn)練樣本。尤其在訓(xùn)練的早期，往往存在大量的聚類離群值，若簡(jiǎn)單丟棄它們，訓(xùn)練樣本將大幅減少。

所以如何合理地挖掘所有可用的信息是提升性能的關(guān)鍵。如上圖所示，我們提出在訓(xùn)練中使用全部的源域數(shù)據(jù)和目標(biāo)域數(shù)據(jù)，并利用一個(gè)混合記憶模型（Hybrid Memory）來(lái)提供監(jiān)督：對(duì)于源域數(shù)據(jù)而言，監(jiān)督是他們真實(shí)的標(biāo)簽；

對(duì)于目標(biāo)域聚類內(nèi)的數(shù)據(jù)而言，監(jiān)督是他們的聚類標(biāo)簽；對(duì)于目標(biāo)域的聚類離群值而言，他們每張圖本身被看作一個(gè)單獨(dú)的類，所以監(jiān)督是實(shí)例級(jí)的標(biāo)簽。我們將所有的源域類、目標(biāo)域聚類、目標(biāo)域每個(gè)聚類離群值實(shí)例看成平等的類別。

自步對(duì)比學(xué)習(xí)框架

以下是我們所提出自步對(duì)比學(xué)習(xí)（Self-paced Contrastive Learning）框架，包括一個(gè)圖像特征編碼器（Encoder）和一個(gè)混合記憶模型（Hybrid Memory）。

核心是混合記憶模型在動(dòng)態(tài)變化的類別下所提供的連續(xù)有效的監(jiān)督，以統(tǒng)一對(duì)比損失函數(shù)（Unified Contrastive Loss）的形式監(jiān)督網(wǎng)絡(luò)更新，實(shí)現(xiàn)起來(lái)非常容易，且即插即用。下文將具體介紹。

統(tǒng)一對(duì)比損失函數(shù)

類別原型（Class Prototype）可以理解為該類別中較為有標(biāo)志的特征，例如無(wú)偏分類器中的權(quán)重（Weights）。

在這里，我們使用源域真實(shí)類別的類質(zhì)心（Class Centroids）作為源域數(shù)據(jù)的類別原型 {w}，使用目標(biāo)域聚類的質(zhì)心（Cluster Centroids）作為聚類內(nèi)的目標(biāo)域數(shù)據(jù)的類別原型 {c}，使用目標(biāo)域聚類離群值的實(shí)例特征（Outlier Instance Features）作為無(wú)聚類的目標(biāo)域數(shù)據(jù)的類別原型 {v}。

我們所提出的混合記憶模型可以實(shí)時(shí)提供這三種類別原型以作訓(xùn)練監(jiān)督，后文將具體介紹這三種類別原型的更新過(guò)程。

對(duì)于每一組輸入的 mini-batch，同時(shí)包含源域數(shù)據(jù)和目標(biāo)域數(shù)據(jù)（我們?cè)诰幋a器中使用 Domain-specific BNs 來(lái)消除不同領(lǐng)域數(shù)據(jù)間的域差異），他們需要與上述三種類別原型進(jìn)行比較。所以我們提出統(tǒng)一對(duì)比損失函數(shù)（Unified Contrastive Learning）：

該損失函數(shù)可以使得每個(gè)訓(xùn)練樣本靠近它所屬于的類別（包含源域真實(shí)類、目標(biāo)域聚類、目標(biāo)域無(wú)聚類實(shí)例），而遠(yuǎn)離其他類別。

舉例來(lái)說(shuō)，對(duì)于一個(gè)來(lái)自源域的樣本，其對(duì)應(yīng)的正面原型（Positive Prototype）則是它真實(shí)類別所對(duì)應(yīng)的質(zhì)心（Class Centroids）；對(duì)于一個(gè)來(lái)自目標(biāo)域的樣本，若其在聚類內(nèi)，則正面原型為其所對(duì)應(yīng)的聚類質(zhì)心（Cluster Centroids），反之，若其不在聚類內(nèi)，為聚類離群值，則正面原型為該離群值所對(duì)應(yīng)的實(shí)例特征（Outlier Instance Features）。

其實(shí)，我們所設(shè)計(jì)的“混合記憶模型（Hybrid Memory）+統(tǒng)一對(duì)比損失函數(shù)（Unified Contrastive Loss）”與大家常用的“分類器（Classifier）+交叉熵?fù)p失函數(shù)（Cross-entropy Loss）”在工作機(jī)理上非常相似，可以簡(jiǎn)單的認(rèn)為混合記憶模型是非參數(shù)化（Non-parametric）的分類器。

那么，為什么我們不用普通分類器來(lái)完成這一任務(wù)呢？這是由于目標(biāo)域的聚類及聚類離群值在訓(xùn)練過(guò)程中動(dòng)態(tài)變化（一般每個(gè) epoch 前更新），無(wú)法使用固定的聚類 ID 及離群值實(shí)例 ID 訓(xùn)練分類器。如若在每次更新完 ID 后需要重置分類器，分類器由于無(wú)法連續(xù)更新，會(huì)導(dǎo)致性能較差。

有同學(xué)會(huì)問(wèn)，以前的算法（如MMT），每個(gè) epoch 重置分類器依然訓(xùn)練效果很好，這是為什么？這是因?yàn)檫@些算法不使用聚類離群值進(jìn)行訓(xùn)練。

試想，將每個(gè)聚類離群值也看做單獨(dú)的類加入分類器，而每個(gè) epoch 只能遍歷到該類對(duì)應(yīng)的樣本一次（因?yàn)橐粋€(gè)離群值是一個(gè)類），那么，在類樣本數(shù)如此不平均的情況下，分類器幾乎得不到有效的訓(xùn)練，便會(huì)被重置。

我們所提出的統(tǒng)一對(duì)比損失函數(shù)與自監(jiān)督任務(wù)（如 MoCo、SimCLR 等）中常用的對(duì)比損失函數(shù)最主要的區(qū)別在于，我們同時(shí)考慮了三種不同的類別原型，而以前的對(duì)比損失函數(shù)只考慮實(shí)例級(jí)的類別原型。

他們將所有樣本看作獨(dú)立的類，進(jìn)行實(shí)例區(qū)分（Instance Discrimination）訓(xùn)練，這樣的算法很大程度上忽略了類內(nèi)（Intra-class）關(guān)系，也就是同一 ID 的不同圖像間的聯(lián)系，故以前的對(duì)比損失函數(shù)不適用于重識(shí)別任務(wù)。

混合記憶模型

上文中，我們提到混合記憶模型（Hybrid Memory）實(shí)時(shí)提供三種不同的類別原型，那么，這三種類別原型是如何動(dòng)態(tài)地在混合記憶模型中連續(xù)更新變化的呢？

我們提出使用動(dòng)量更新（Momentum Update），想必這個(gè)詞對(duì)大家來(lái)說(shuō)并不陌生，在 MoCo、Mean-teacher 等模型中常有見(jiàn)到，簡(jiǎn)單來(lái)說(shuō)，就是以“參數(shù)=（1-動(dòng)量）x新參數(shù)+動(dòng)量x參數(shù)”的形式更新。在這里，我們針對(duì)源域和目標(biāo)域采取不同的動(dòng)量更新算法，以適應(yīng)其不同的特性。?

對(duì)于源域的數(shù)據(jù)而言，由于具有真實(shí)的類別，我們提出以類為單位進(jìn)行存儲(chǔ)。這樣的操作一方面節(jié)省空間，一方面在實(shí)驗(yàn)中也取得了較好的結(jié)果。我們將當(dāng)前 mini-batch 內(nèi)的源域特征根據(jù)類別算均值，然后以動(dòng)量的方式累計(jì)到混合記憶模型中對(duì)應(yīng)的類質(zhì)心上去，詳見(jiàn)下圖。

對(duì)于目標(biāo)域的數(shù)據(jù)而言，我們提出全部以實(shí)例為單位進(jìn)行特征存儲(chǔ)，這是為了讓目標(biāo)域樣本即使在聚類和非聚類離群值不斷變化的情況下，仍然能夠在混合記憶模型中持續(xù)更新（Continuously Update）。具體而言，我們將當(dāng)前 mini-batch 內(nèi)的目標(biāo)域特征根據(jù)實(shí)例的index累計(jì)到混合記憶模型對(duì)應(yīng)的實(shí)例特征上去。

那么，如何獲得目標(biāo)域的聚類質(zhì)心及離群值實(shí)例特征呢？我們?cè)诨旌嫌洃浤Ｐ椭?#xff0c;將同一聚類 ID 的特征做平均，即可獲得聚類質(zhì)心；而離群值的實(shí)例特征則直接從混合記憶模型中提取剩下的實(shí)例特征即可，如下圖。

由簡(jiǎn)入難的自步學(xué)習(xí)

我們發(fā)現(xiàn)，由于聚類和聚類離群值都被看作平等且獨(dú)立的類，所以聚類的可靠性對(duì)訓(xùn)練的影響至關(guān)重要。由于網(wǎng)絡(luò)在訓(xùn)練的一開(kāi)始對(duì)于圖像的辨別性較差，聚類的噪聲也較大。

所以我們借鑒自步學(xué)習(xí)（Self-paced Learning）的思想，先從最可靠的聚類開(kāi)始，再逐步增加聚類，由簡(jiǎn)入難。我們提出了一個(gè)聚類可靠性評(píng)價(jià)標(biāo)準(zhǔn)（Cluster Reliability Criterion），保留可靠的聚類，而將不可靠的聚類拆解回?zé)o聚類的離群值實(shí)例。

我們所提出的聚類可靠性評(píng)價(jià)標(biāo)準(zhǔn)分為聚類獨(dú)立性（Cluster Independence）和聚類緊湊型（Cluster Compactness）。

聚類獨(dú)立性（Cluster Independence）體現(xiàn)為一個(gè)可靠的聚類應(yīng)當(dāng)具有良好的類間距離，通俗點(diǎn)來(lái)說(shuō)，不能和附近的聚類“如膠似漆”。我們提出，放寬聚類的標(biāo)準(zhǔn)，例如 DBSCAN 中的最小類內(nèi)距離，此時(shí)，如果該聚類與周圍的聚類融合成了一個(gè)大聚類、或者吸收了附近的離群值，那么我們認(rèn)為，該聚類的獨(dú)立性不太好。

我們使用一個(gè)IoU（Interp over Union）公式來(lái)計(jì)算聚類的獨(dú)立性。

聚類緊湊型（Cluster Compactness）體現(xiàn)為一個(gè)可靠的聚類內(nèi)的樣本應(yīng)該相互靠近，具有良好的類內(nèi)距離。類似的，我們提出，縮緊聚類的標(biāo)準(zhǔn)，此時(shí)，如果該聚類被拆解成了多個(gè)小聚類、或者拆出了一些聚類離群值，那么我們認(rèn)為，該聚類的緊湊型不太好。

我們使用另一個(gè) IoU 公式來(lái)計(jì)算聚類的緊湊型，如上圖所示。

直觀地說(shuō)，該聚類可靠性評(píng)價(jià)標(biāo)準(zhǔn)的出發(fā)點(diǎn)在于，一個(gè)可靠的聚類應(yīng)當(dāng)在多尺度的聚類環(huán)境下保持穩(wěn)定。從下圖訓(xùn)練的統(tǒng)計(jì)中可以看出，使用了聚類可靠性評(píng)價(jià)標(biāo)準(zhǔn)的模型（紅色線）相比較于未使用的模型（藍(lán)色線），無(wú)論是在聚類的數(shù)量還是質(zhì)量上，都離真實(shí)類別更近。

算法流程

以上，我們介紹了核心的模塊，我們梳理一下具體訓(xùn)練流程：

初始化（Initialization）：圖像編碼器（Encoder）的初始化一般使用 ImageNet Pre-trained Weights，混合記憶模型（Hybrid Memory）的初始化使用初始的編碼器對(duì)所有的樣本進(jìn)行一次前向計(jì)算。

聚類和聚類離群值：在每個(gè) epoch 前進(jìn)行聚類，并根據(jù)聚類可靠性評(píng)價(jià)標(biāo)準(zhǔn)（Cluster Reliability Criterion）進(jìn)行聚類的篩選，僅保留可靠的聚類，其余樣本均視作聚類離群值。

網(wǎng)絡(luò)和混合記憶模型的更新：在每個(gè) iteration 中，首先利用編碼器對(duì) mini-batch 的樣本進(jìn)行特征編碼，然后利用統(tǒng)一對(duì)比損失函數(shù)（Unified Contrastive Loss）進(jìn)行網(wǎng)絡(luò)的反向傳播更新，最后利用編碼的特征以動(dòng)量更新（Momentum Update）的方式更新混合記憶模型（Hybrid Memory）。

無(wú)監(jiān)督重識(shí)別上的應(yīng)用

在一開(kāi)始曾提到，該方法也可以被有效利用在無(wú)監(jiān)督重識(shí)別任務(wù)上，只需要將混合記憶模型和統(tǒng)一對(duì)比損失函數(shù)中有關(guān)源域的部分去掉即可。

無(wú)監(jiān)督重識(shí)別任務(wù)上的自步對(duì)比學(xué)習(xí)框架如下：

對(duì)應(yīng)的統(tǒng)一對(duì)比損失函數(shù)如下：

實(shí)驗(yàn)

由于自步對(duì)比學(xué)習(xí)框架中可以同時(shí)訓(xùn)練源域和目標(biāo)域的數(shù)據(jù)，所以訓(xùn)練是 one-stage 的，無(wú)需單獨(dú)的源域預(yù)訓(xùn)練步驟。實(shí)驗(yàn)中，我們針對(duì)多個(gè)真實(shí)及虛擬合成數(shù)據(jù)集進(jìn)行了實(shí)驗(yàn)，在行人重識(shí)別和車輛重識(shí)別任務(wù)上都測(cè)試了該方法的有效性。

領(lǐng)域自適應(yīng)任務(wù)中，我們?cè)?strong>無(wú)監(jiān)督的目標(biāo)域上均超越先前算法，在 PersonX->MSMT17 的任務(wù)上領(lǐng)先高達(dá) 5.0% 的 mAP，這是由于在“虛擬合成->真實(shí)”的遷移任務(wù)中，由于聚類噪聲較大，產(chǎn)生的聚類離群值較多，所以我們所提出的充分挖掘所有樣本的方案所帶來(lái)的優(yōu)勢(shì)將更為突出。

除此之外，一項(xiàng)有趣的發(fā)現(xiàn)，VehicleID->VeRi-776 與 VehicleX->VeRi-776 在目標(biāo)域上獲得幾乎相似的性能，這說(shuō)明，在未來(lái)，隨著領(lǐng)域自適應(yīng)算法的不斷升級(jí)，可能我們?cè)僖膊恍枰藶闃?biāo)注的源域數(shù)據(jù)來(lái)作為輔助了，可以使用虛擬合成的數(shù)據(jù)予以代替。

以前的算法由于在目標(biāo)域的訓(xùn)練中忽視了源域數(shù)據(jù)，所以會(huì)無(wú)法避免地忘記源域的信息，而我們提出的方法對(duì)源域和目標(biāo)域數(shù)據(jù)進(jìn)行了聯(lián)合訓(xùn)練，在目標(biāo)域性能提升的同時(shí)，也提升了有監(jiān)督的源域性能。

可以看到，在 MSMT17-Market-1501 的遷移訓(xùn)練中，我們利用 Market-1501 的無(wú)標(biāo)簽數(shù)據(jù)大幅提升了 MSMT17 上的有監(jiān)督訓(xùn)練性能（+6.6% mAP）。這意味著，我們所提出的算法可以被用于利用無(wú)標(biāo)簽數(shù)據(jù)提升有監(jiān)督訓(xùn)練的任務(wù)。

同樣，在無(wú)監(jiān)督重識(shí)別任務(wù)上，我們大幅領(lǐng)先已有的算法，在 Market-1501 的 benchmark 上領(lǐng)先高達(dá) 16.7% 的 mAP。我們也將 MoCo 在無(wú)監(jiān)督重識(shí)別任務(wù)上進(jìn)行了復(fù)現(xiàn)，正如我們之前所介紹了，這類無(wú)監(jiān)督預(yù)訓(xùn)練任務(wù)的算法并不適用于無(wú)監(jiān)督的重識(shí)別任務(wù)，因?yàn)樗麄儗⑺械臉颖疽曌鳘?dú)立的類，忽視了重識(shí)別任務(wù)中最重要的類內(nèi)類間關(guān)系。

再?gòu)?qiáng)調(diào)一下，MoCo 這類算法適用于無(wú)監(jiān)督預(yù)訓(xùn)練任務(wù)，在應(yīng)用于下游任務(wù)上時(shí)需要 fine-tune，而無(wú)監(jiān)督重識(shí)別任務(wù)本身是一個(gè)下游任務(wù)。

有細(xì)心的同學(xué)可能會(huì)發(fā)現(xiàn)，剛剛展示的結(jié)果中沒(méi)有涉及 DukeMTMC-reID 數(shù)據(jù)集的實(shí)驗(yàn)，這是因?yàn)?DukeMTMC-reID 已經(jīng)官方下架，在 AC 的要求下，我們需要在論文的最終版本中刪去所有有關(guān) DukeMTMC-reID 的實(shí)驗(yàn)結(jié)果。

但是 DukeMTMC-reID 是行人重識(shí)別相關(guān)任務(wù)中常用的數(shù)據(jù)集，所以為了方便大家未來(lái)進(jìn)行算法的調(diào)試和比較，我在這里也簡(jiǎn)單展示一下 DukeMTMC-reID 相關(guān)的結(jié)果，更多的結(jié)果大家可以在我們 arXiv 的第一個(gè)版本（arxiv.org/abs/2006.0271）中找到。

總結(jié)

該文提出了一個(gè)簡(jiǎn)單有效的自步對(duì)比學(xué)習(xí)框架，核心思想是利用多種不同形式的類別原型提供混合監(jiān)督，以實(shí)現(xiàn)對(duì)所有訓(xùn)練數(shù)據(jù)的充分挖掘。雖然本文只在目標(biāo)重識(shí)別任務(wù)上進(jìn)行了實(shí)驗(yàn)，但是提出的混合記憶模型及統(tǒng)一對(duì)比損失函數(shù)是即插即用的，有很大潛力在其他任務(wù)上取得較好的結(jié)果，歡迎大家嘗試。

這次 NeurIPS 的評(píng)審過(guò)程相當(dāng)刺激，從初審的 7663 到終審的 5553，reviewers 的降分起源對(duì) DukeMTMC-reID 數(shù)據(jù)集的討論，最終這份工作也經(jīng)歷了 NeurIPS 今年特有的 Ethics Review，起起落落，最終被 AC 撈起，感恩。可見(jiàn)，目前學(xué)術(shù)界對(duì)于數(shù)據(jù)集的隱私保護(hù)規(guī)范要求也越來(lái)越嚴(yán)格。

推薦大家在以后領(lǐng)域自適應(yīng)重識(shí)別工作中考慮采用合成數(shù)據(jù)集，如 PersonX、VehicleX 等，不僅可以避免不必要的麻煩，并且由于合成數(shù)據(jù)和真實(shí)數(shù)據(jù)的域差異較大，算法上可以提 shua 升 fen 的空間也會(huì)較大。

分類任務(wù)及分割任務(wù)上的領(lǐng)域自適應(yīng)往往采用合成數(shù)據(jù)作為源域，且這次 VisDA-2020 的比賽中，源域采用的也是合成數(shù)據(jù)集 PersonX，可見(jiàn)合成數(shù)據(jù)到真實(shí)數(shù)據(jù)的自適應(yīng)任務(wù)備受關(guān)注。

我近期將會(huì)給一個(gè) talk，總結(jié)我這一年半以來(lái)在在領(lǐng)域自適應(yīng)及無(wú)監(jiān)督重識(shí)別方向上所做的研究，屆時(shí)歡迎大家關(guān)注。

更多閱讀

#投 稿?通 道#

?讓你的論文被更多人看到?

如何才能讓更多的優(yōu)質(zhì)內(nèi)容以更短路徑到達(dá)讀者群體，縮短讀者尋找優(yōu)質(zhì)內(nèi)容的成本呢？答案就是：你不認(rèn)識(shí)的人。

總有一些你不認(rèn)識(shí)的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學(xué)者和學(xué)術(shù)靈感相互碰撞，迸發(fā)出更多的可能性。?

PaperWeekly 鼓勵(lì)高校實(shí)驗(yàn)室或個(gè)人，在我們的平臺(tái)上分享各類優(yōu)質(zhì)內(nèi)容，可以是最新論文解讀，也可以是學(xué)習(xí)心得或技術(shù)干貨。我們的目的只有一個(gè)，讓知識(shí)真正流動(dòng)起來(lái)。

?????來(lái)稿標(biāo)準(zhǔn)：

? 稿件確系個(gè)人原創(chuàng)作品，來(lái)稿需注明作者個(gè)人信息（姓名+學(xué)校/工作單位+學(xué)歷/職位+研究方向）?

? 如果文章并非首發(fā)，請(qǐng)?jiān)谕陡鍟r(shí)提醒并附上所有已發(fā)布鏈接?

? PaperWeekly 默認(rèn)每篇文章都是首發(fā)，均會(huì)添加“原創(chuàng)”標(biāo)志

?????投稿郵箱：

? 投稿郵箱：hr@paperweekly.site?

? 所有文章配圖，請(qǐng)單獨(dú)在附件中發(fā)送?

? 請(qǐng)留下即時(shí)聯(lián)系方式（微信或手機(jī)），以便我們?cè)诰庉嫲l(fā)布時(shí)和作者溝通

????

現(xiàn)在，在「知乎」也能找到我們了

進(jìn)入知乎首頁(yè)搜索「PaperWeekly」

點(diǎn)擊「關(guān)注」訂閱我們的專欄吧

關(guān)于PaperWeekly

PaperWeekly 是一個(gè)推薦、解讀、討論、報(bào)道人工智能前沿論文成果的學(xué)術(shù)平臺(tái)。如果你研究或從事 AI 領(lǐng)域，歡迎在公眾號(hào)后臺(tái)點(diǎn)擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

與50位技術(shù)專家面對(duì)面20年技術(shù)見(jiàn)證，附贈(zèng)技術(shù)全景圖

總結(jié)

以上是生活随笔為你收集整理的NeurIPS 2020 | 自步对比学习：充分挖掘无监督学习样本的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。