[2020-AAAI] Revisiting Image Aesthetic Assessment via Self-Supervised Feature Learning 論文簡析

論文鏈接：https://arxiv.org/abs/1911.11419

本文探索從自監(jiān)督的角度進(jìn)行美學(xué)評估。基于一個基本的動機(jī)：一個好的美學(xué)特征表示應(yīng)該能夠辨別出不同的專家設(shè)計(jì)的圖像篡改的方法。本文設(shè)計(jì)了一個針對于美學(xué)評估的自監(jiān)督pretext task。

如上圖所示，在自監(jiān)督pretext task預(yù)訓(xùn)練階段，將原圖塊和進(jìn)行不同方法不同參數(shù)的降質(zhì)之后的圖塊輸入網(wǎng)絡(luò)，模型需要完成兩項(xiàng)任務(wù)，首先是分類，判斷輸入的降質(zhì)圖塊是來自哪一種降質(zhì)方法，然后是在同樣降質(zhì)方法，不同降質(zhì)參數(shù)的圖像上，模型需要最小化一個三元組損失，使得原圖塊與降質(zhì)較輕的圖塊的相似度比重度降質(zhì)圖塊的相似度更大，以避免某些降質(zhì)方法過于容易辨認(rèn)的問題。

另外，本文還設(shè)計(jì)了一個基于熵的取樣加權(quán)策略，熵值更高的圖塊會有更對不確定的視覺美學(xué)因素，因此在訓(xùn)練中應(yīng)當(dāng)被分配更小的權(quán)重。

在預(yù)訓(xùn)練完成后，在固定住特征提取器的參數(shù)，在美學(xué)數(shù)據(jù)集上微調(diào)分類器，如圖所示，本文中將特征提取器的各層的輸出都拿出來做了對比，結(jié)果如下（表中所展示的指標(biāo)均為美學(xué)二分類準(zhǔn)確率）。作者還選取了幾種經(jīng)典的自監(jiān)督pretext task與本文設(shè)計(jì)的美學(xué)相關(guān)任務(wù)做了對比。

作者根據(jù)各層的性能表現(xiàn)對各中間層特征的層次做了分析。

比較有關(guān)鍵的是low data adaption部分實(shí)驗(yàn)，因?yàn)檫@里應(yīng)該是體現(xiàn)自監(jiān)督學(xué)習(xí)的優(yōu)越性的地方，即在預(yù)訓(xùn)練階段可以使用大量的圖像（因?yàn)椴恍枰獦?biāo)注），根據(jù)自己設(shè)計(jì)的pretext task來進(jìn)行訓(xùn)練，在downstream task 微調(diào)時(shí)，由于根據(jù)預(yù)訓(xùn)練時(shí)的pretext task，已經(jīng)得到了一個對于下游任務(wù)比較有針對性的特征提取器，這樣應(yīng)該只需要較少的有標(biāo)簽訓(xùn)練數(shù)據(jù)就可以得到比較好的性能。

上面兩圖是作者匯報(bào)的實(shí)驗(yàn)結(jié)果，可以看到在較少數(shù)量的有標(biāo)簽數(shù)據(jù)時(shí)，本文方法基本是全面領(lǐng)先于無預(yù)訓(xùn)練和有監(jiān)督分類預(yù)訓(xùn)練的方法的。

作者的另一實(shí)驗(yàn)稱在使用非線性分類器的情況下，本文的自監(jiān)督預(yù)訓(xùn)練（未使用任何人工標(biāo)注標(biāo)簽）的最高性能基本能夠達(dá)到與有監(jiān)督預(yù)訓(xùn)練（用了大量人工標(biāo)注標(biāo)簽）相近。

最后作者的消融實(shí)驗(yàn)分別說明了pretext task，不同image editting operation 和 entropy-based weighting各部分的作用。

總結(jié)

以上是生活随笔為你收集整理的[2020-AAAI] Revisiting Image Aesthetic Assessment via Self-Supervised Feature Learning 论文简析的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。