行人重识别分类总结
一.總體說明
行人重識別,可以簡化為這樣的過程:將原始圖片數據進行特征提取,之后送入目標函數并對其進行優化。這個過程涉及三個重要部分:數據、特征、目標函數。因此將REID方法,根據研究的關注點,分為三類。分別別是基于數據的研究、基于特征的研究和基于目標函數的研究。
我們定義:行人重識別的目的是在某個數據集上進行測試時,使得性能盡量的好。(rank 1 , mAP)
分類如下:
??? 1 ?數據:指真實意義上的圖片images,分類依據是研究側重點在數據的準備上
??? 2 ?特征:指經過CNN后產生的深度特征,分類依據是研究側重點在特征的表達上
? ? 3? 目標函數:指的是為更新網絡參數提供反饋信息的部分,分類依據是研究側重點放在反饋信息上。
?
二.分類說明
1數據:
? ? 1.1 生成數據:
? ? ? ? 1.1.1 在已有數據集內擴充 ?[1,2,3]
? ? ? ? 1.1.2 利用其它數據集擴充目標數據集 [4,5,6]
? 1.2 輔助數據
? ? ? ? 1.2.1 挑選部分數據 ?[7]
? ? ? ? 1.2.2 全部使用 ?[8,9]
2.特征
? 2.1 局部特征提取
? ? ? ? 2.1.1 硬對齊 ?[10]
? ? ? ? 2.1.2 適應性對齊 ?[11,12,13]
? 2.2 全局特征提取
? ? ? ? 2.2.1 單樣本的全局特征 ?[14,15,16]
? ? ? ? 2.2.2 多樣本的全局特征 ?[17,18,19]
3.目標函數:
? 3.1 傳統的目標函數
? ? ? ? 3.1.1 目標函數的選取 ?[20]
? ? ? ? 3.1.2 目標函數的權值動態變化 [21]
? 3.2 新定義的目標函數
? ? ? ? 3.2.1 從形式上改進 [22]
? ? ? ? 3.2.2 從輸入數據的比對上改進 [23,24,25]
1數據:
? 1.1 生成數據:
? ? ? ? 1.1.1 在已有數據集內擴充
? ? ? ? 1.1.2 利用其它數據集擴充目標數據集
? 1.2 輔助數據
? ? ? ? 1.2.1 挑選部分數據
? ? ? ? 1.2.2 全部使用
? ? ? ? 依據數據進行分類,根據研究重點是否放在數據的準備上。我們的REID,目的是訓練一個網絡,使得訓練好的網絡在測試集上有好的表現。訓練數據集會在很大程度上影響結果,為了在某個目標數據集上達到好的測試效果,我們可以利用GAN網絡生成更多的人造圖片數據,也可以利用其他數據集中的數據輔助提高目標數據集上的測試效果。因此將數據的子類分為兩個類別,分別是生成數據(生成不存在的圖片)和輔助數據(利用已有的真實數據)。
在1.1生成數據內,有兩個分支,分別是在已有數據集內擴充,和利用其它數據集擴充目標數據集:
1.1.1 在已有數據集內擴充,是將自身數據集內的樣本變多,生成的都是標簽明確的數據
1.1.2 利用其他數據擴充自己,是將其他數據集中的數據,遷移生成到目標數據集中,生成的也是標簽明確的數據。
? ??
在1.2輔助數據內,有兩個分支,分別是挑選某個數據集中的部分數據和全部使用某個數據集內的所有數據。
1.2.1 挑選部分數據,是指在目標數據集上進行訓練的過程,需要其他數據集上的部分數據,作為參考代理圖片。
1.2.2 全部使用,是指在目標數據集上進行訓練時,利用其它數據集中的圖片,其他輔助數據越多,則效果越好
?
?
2.特征
2.1 局部特征提取
2.1.1 硬對齊
2.1.2 適應性對齊
2.2 全局特征提取
2.2.1 單樣本的全局特征
2.2.2 多樣本的全局特征
?
REID本質上是分類問題,分類問題則需要將圖片的深度特征作為分類的依據。設計CNN網絡提取圖片的深度特征時,可以從整張圖片角度提取全局特征作為表征;也可以在圖片的局部位置提取局部特征作為表征。所以將特征分為了兩個分支,分別是局部特征提取和全局特征提取。
在2.1 局部特征特征提取內,又分為了兩個分支,分別是硬對齊和適應性對齊。
2.1.1 硬對齊,是指在提取圖片的局部特征時,局部區域的選擇是固定的,直接從長寬的角度固定了
2.1.2 適應性對齊,是指根據不同的條件定位不同的局部,然后提取該位置上的特征。
?
在2.2 全局特征提取內,又分了兩個分支,分別是只考慮單樣本的全局特征,和多樣本的全局特征。
2.2.1 單樣本的全局特征,是指特征提取的過程,對某張圖片進行提取的時候,只關注本張圖片即可。
2.2.2 多樣本的全局特征,是指在提取某個圖片的特征時,不單單要關注于本身的特征,還需要與其他的已有特征進行比對和匹配。出現了多篇memory bank的文章,都是以此為研究側重點的。
?
3.目標函數:
3.1 傳統的目標函數
3.1.1 目標函數的選取
3.1.2 目標函數的權值動態變化
3.2 新定義的目標函數
3.2.1 從形式上改進
3.2.2 從輸入數據的比對上改進
?
說明:目標函數,為網絡訓練提供反饋信息。在目標函數的角度研究REID問題,相當于將側重點放在如何利用已有信息上。目標函數的研究,分為兩個分支,分別是傳統目標函數和新定義的目標函數。
3.1 傳統的目標函數,指常被使用的分類問題目標函數,包括交叉熵等。這個部分又分為了兩個分支,分別是目標函數的選取和目標函數的權值動態變化上。
3.1.1 目標函數的選取,在REID訓練上,經常使用交叉熵計算分類誤差,然后優化網絡,除了這個交叉熵之外,經常會選擇加入一些其他的目標函數來共同訓練,提升效果。
3.1.2 目標函數的權值動態變化,是指目標函數在確定的情況下,函數的權值會隨著訓練輪數和某些數值的變化而變化。
3.2 定義新的目標函數,指在訓練過程,為提高特征的表達能力,加入一些新奇的目標函數。無監督學習中,使用的較多。
?
- 對應文獻
?
?
?
?
?
?
總結
- 上一篇: 一句话逗人开怀
- 下一篇: WM_KILLFOCUS 和 WM_SE