一文梳理無監(jiān)督對比學(xué)習(xí)（MoCo/SimCLR/SwAV/BYOL/SimSiam）（微信推文）

自監(jiān)督學(xué)習(xí)（Self-Supervised Learning） 2018-2020年發(fā)展綜述（微信推文）

對比學(xué)習(xí)（Contrastive Learning）綜述（知乎）

綜述文獻(xiàn)：

2020TPAMI-Self-supervised Visual Feature Learning with Deep Neural Networks- A Survey

2020-A Survey on Semi-, Self- and Unsupervised Learning for Image Classification

幾個經(jīng)典的自監(jiān)督學(xué)習(xí)模型：

SimLCR

Chen Ting et al.ICML2020.

結(jié)論：

數(shù)據(jù)增強對表征學(xué)習(xí)的影響很大，有難度的增強的方法可以使表征學(xué)得更好；

batch size越大（即負(fù)樣本越多），表征學(xué)習(xí)效果越好；

nonlinear projection head有助于提升表征學(xué)習(xí)質(zhì)量。

MoCo

Kaiming He et al. CVPR2020.

提出momentum encoder，把batch size和queue size解耦，避免大的batch size，也不需要memory bank去存儲所有編碼好的樣本了。

BYOL (Bootstrap Your Own Latent)

前人的工作是用同一張圖像的一個view的representation去predict另一個view的representation，但這樣做容易出現(xiàn)退化解（collapsed solutions, e.g., outputting the same vector for all images），因為很多時候，representation具有view invariance。為了避免退化解，前人的做法是加上negative pair。但是這樣就需要較多的negative examples，使得某些negative examples比較接近positive example，to make the discrimination task challenging.

這篇論文的目的是，能不能去除negative pair，同時避免退化解。

作者發(fā)現(xiàn)如果把其中一個encoder變成隨機初始化的固定下來（stop gradient），讓另一個encoder的表征和固定住權(quán)重的encoder的表征相互靠近，效果就能達(dá)到18.8%的準(zhǔn)確率。

然后作者把 “固定住權(quán)重” 改為 “權(quán)重以momentum的方式更新”。

SwAV

motivation是去除負(fù)樣本。

對各類樣本進(jìn)行聚類，得到聚類中心，根據(jù)每個樣本與所有聚類中心的距離，得到樣本的新的表示，用這種表示去做對比。

SimSiam

This method can be thought of as：

“BYOL without the momentum encoder”

“SimCLR without negative pairs”

“SwAV without online clustering”

總結(jié)

以上是生活随笔為你收集整理的自监督(对比学习)资料的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。