人生活在三維空間中。但已有的行人重識別(person re-ID)工作往往只關注 2D 空間中的圖像匹配，忽略了3D的人體先驗信息。在本篇文章中，我們做了一個微小的嘗試，即在三維空間中通過生成的點云數據 來執行人體的匹配。

文章鏈接：https://arxiv.org/abs/2006.04569

代碼鏈接：https://github.com/layumi/person-reid-3d

---

What （我們想去學到什么）:

如下圖，當我們人看到一張2D 行人圖像的時候，實際上會自然的與3D人體做一個結合，我們在這個工作中希望能使用了這種結構化的信息。彌補現有基于2D圖像工作的信息缺失。

2.具體來說，我們需要利用三維空間的人體結構化信息，和2D 的外觀RGB信息，結合來學習 行人的匹配。我們希望這樣學到的模型更魯棒，能適應更多情況。因為它是“以人為本”的。

How （怎么學）:

首先，我們沒有3D點云數據。故本文采用2D圖像建模， 將2D圖像映射到3維模型上。具體來說，我們先估計了三維的pose，然后與2D RGB信息做匹配。如下圖，我們也可以旋轉模型，透明的地方就是背后沒有RGB顏色的區域。

2. 將原始圖像數據集完全轉換成 點云數據后，我們進一步需要設計網絡去學習這樣的信息。每個點云數據除了 rgb信息外，還有坐標xyz信息。所以如果每個人都檢測到m個點，事實上，我們的輸入為 m x 6 這樣一個矩陣。

3. 我們設計了一個圖卷積神經網絡 OG-Net 來學習這樣的數據，參考了 PointNet++ 和 DGCNN中的模塊。類似傳統CNN，我們逐步收縮點的數量，集中語義信息。最后和傳統CNN一樣，我們映射到一個512維的特征，做行人的身份loss L_{id}.

4. 每一個 Omni-scale Module ，如果不需要將采樣點云，則如下左圖，就是一個基本的GCN，傳播一下最近鄰的信息。而對于需要降采樣的情況，則如下右圖，我們包含了更多跨點的信息傳播的function。

Discussion ：

與傳統方法的一些差異，簡要來說：（1）我們抽取了多尺度的信息，同時采用了residual的形式，結合了不同層的點云特征。（2）我們對RGB 和 XYZ坐標信息，分別處理。XYZ信息主要用來建Graph，而RGB信息則主要是用來運算特征；（注：在最后一個block，紅色標注處，我們嘗試結合RGB特征和XYZ來獲得一個non-local效果的Graph。） （3）由于點云的數量多，相比DGCNN，我們的模型更高效；而相比PointNet和 PointNet++, OGNet 包含更多的跨點的信息傳播，豐富了最后特征的表達能力。

一些數據上的限制。（1）不得不說，做實驗的時候，我們也遇到了數據上的限制，很多數據集比如Market-1501，已經把圖像都resize好了 到 128x64，會丟失行人的身高 胖瘦等信息，所以導致我們的模型不能用上更多行人身高的信息（這也是現有工作都缺失的）。（2）同時，我們也發現使用的3D模型，不能刻畫 比如 頭發，裙擺，背包等信息，也導致了一些信息的流失。所以在實際的實驗中，我們還是引入了背景。

實驗：

與2D數據對比，就是抹去z的深度信息。我們發現結果下降。說明3D的點云，確實在信息匹配上有優勢，學到了更好的信息。

2. 與其他2D CNN baseline相比。有一點需要說明，因為我們的網絡沒有在ImagNet上pretrain，所以我們比較的方法也是train from scratch來比較。我們可以看到，OGNet 只使用了 ResNet-50 差不多十分之一的參數量，但是達到了更好的效果。同時 OG-Net-Small 使用了1.2M的參數量，也比很多輕量級的網絡好。

3.OGNet 使用了3D人體結構化信息，所以泛化能力也相對強。我們的模型直接遷移到其他數據集上也獲得了比較好的結果。

4, 可視化結果。可以看到，對于正常的檢索樣本 和 部分遮擋的檢索行人，OGNet 都可以得到比較好的檢索結果。

5. 進一步，我們對網絡中的模塊做了分析。我們分析了如short-cut等 可選的功能，Graph中不同的鄰居數量等。

6. 同時我們也分析了網絡的敏感性。在實際場景中，掃描到的點云的密度可能有變化，不過OG-Net對此還是相對魯棒的。

7. 最后，雖然我們不研究點云分類。我們也嘗試了點云分類數據集 ModelNet40，實際運行中將RGB信息也替換成XYZ坐標。也可以得到相對不錯的結果，同時參數量更少。

代碼鏈接：https://github.com/layumi/person-reid-3d

最后感謝大家看完～歡迎關注分享點贊～

也可以check我的一些其他文章 和關注我們實驗室的知乎主頁 悉尼科技大學ReLER實驗室

鄭哲東：2020年 行人重識別的挑戰 與 最新進展 （35頁PPT整理）?zhuanlan.zhihu.com鄭哲東：IJCV | 利用Uncertainty修正Domain Adaptation中的偽標簽?zhuanlan.zhihu.com鄭哲東：TMM｜車輛重識別的一些實踐?zhuanlan.zhihu.com

總結

以上是生活随笔為你收集整理的.net bitmap rgb数据_在3D空间，用点云数据学行人重识别特征的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。