論文題目：

Simulating Content Consistent Vehicle Datasets with Attribute Descent

論文地址：

https://arxiv.org/pdf/1912.08855.pdf

論文代碼：

https://github.com/yorkeyao/VehicleX

VehicleX數據集：

https://github.com/yorkeyao/VehicleX

本文介紹一篇我們發表于ECCV 2020的論文 《Simulating Content Consistent Vehicle Datasets with Attribute Descent》 。這篇文章主要介紹了澳大利亞國立大學和英偉達推出的VehicleX數據集，是目前用于車輛重識別(vehicle re-ID)中最大的合成數據集，為CVPR 2020 aicity challenge 提供了源數據。VehicleX的3D模型，生成的圖片，引擎及其源代碼均已開源。

視頻介紹:

數據在深度學習的時代越來越被重視，但是一直以來如何獲取大量的數據是一個難題，數據的隱私安全和標注的復雜性是問題的重點。在這個問題上，合成數據有先天的優勢。首先合成數據不涉及具體某個人物的信息，因此不會有隱私的問題。其次，合成數據自帶標注，所以不存在人工標注的問題。

但是，一直以來，合成數據的使用存在著瓶頸。合成數據是人工合成的。換句話說，整個合成數據的環境都需要人去決定。這雖然為合成數據提供了很大的自由度，但如果生成合成數據的方式不合理，合成數據的質量會和我們期望的差距甚遠。所以，評價一個合成數據合適不合適，首先要看這個數據集和我們的目標數據集是不是‘看起來’相似。

這種讓數據集‘看起來’相似的任務，被叫做領域適應(domain adaptation)。上圖是兩個domain adaptation的示例。第1行顯示具有不同前景和背景的數字分類數據集。第2行是人群計數數據集，左邊是合成數據，右邊是真實數據集。在這兩種情況下，源域和目標域之間的domain gap都很大。所以在這種情況下，在源域上訓練的模型可能在目標域上表現不佳。

許多研究都集中在通過圖像風格遷移(例如紋理，照明和分辨率等)來彌合domain gap。在這里，我們展示了一些風格遷移的例子。第一排是從GTA5數據集的風格到cityscape的風格，第二排是從VehicleX數據集的風格到VeRi數據集的風格。我們可以看到這些方法會稍微改變圖像(如紋理，光線強度等)，但是這些方法無法改變內容上的差異，例如在第一排的例子中建筑物的密度，遮擋的程度和第二排例子中車輛的方向。

在本文中，我們主要研究車輛re-ID的任務。所以，我們現在抽象出來的研究問題就是，當我們把合成數據作為源域，真實數據集作為目標域的時候，如何彌補這種領域差距？

例如，圖片右側是VehicleID數據集中的圖片，左側是隨機初始化的合成數據集。除了合成數據和目標數據的圖片風格不一樣之外，在VehicleID數據集中，很清楚的能夠看到車輛的朝向和相機的位置都是固定的，在這個攝像頭視角下，我們只能看到車頭和車尾。那么，如果我們希望一個深度學習模型，能夠在VehicleID數據集上表現的好的話，那么這個模型的訓練數據，應該也主要包括車頭和車尾。換句話說，合成數據集和我們的目標數據集，在車輛的朝向上，應該有相似的分布。

所以我們主要去研究內容層面上的domain gap(content level domain adaptation)。在vehicle re-ID任務中，內容被定義為車輛朝向，相機高度，光照強度等。因為這些內容因素會對re-ID模型的性能造成很大影響。

我們提出了一個大型的3D合成數據集VehicleX。其中各個3D模型都有現實世界的車型對應。整個數據集有1362個id，其中包括11種主流車型。上圖顯示了16種不同的車輛id。同時，我們也為VehicleX制作了一個demo。這個demo中隨機挑選了1362id中的69個id。同時對于VehicleX，我們詳細標注了車輛的車型和顏色。我們也放出了這些車輛的3D模型，可以導入到unity，unreal和blender中。

為了實現content level domain adaptation，我們構建了Unity-Python的交互接口，這個接口能讓我們對3D環境進行修改，并獲取渲染的圖像。在3D環境中，我們能夠調整車輛方向，光線方向和強度，相機高度以及相機與車輛之間的距離。同時我們也為合成數據添加了隨機的真實背景和遮擋物。

實際操作中，我們使用了高斯或高斯混合模型對屬性分布進行建模，并且提出了一種叫做attribute descent的方法來近似現實數據集中的屬性分布。工作流程如下所示:

給定一個屬性列表(角度，相機，光照)，我們使用渲染器進行車輛3D渲染。然后，計算合成數據和實際車輛之間的Frechet inception distance (FID)，FID是一個通用的domain gap的衡量指標，最早被用在gan生成圖片質量的衡量。attribute descent是一個簡單有效的算法來迭代更新這些屬性值，從而在訓練迭代中使FID最小化。具體來說，我們逐一操縱VehicleX中的每個屬性，旨在最大程度地減少VehicleX與真實數據之間存在的domain gap。

從上圖可以看出，在attribute descent訓練過程中，FID不斷下降，同時unsupervised re-ID(VehicleX->VehicleID)的準確率(mAP)不斷提高。同時，如上圖右側，VechileX的數據(B)和VehicleID的(C)數據在外觀上越來越相近。

同時，VehicleX的數據也可與現實數據集聯合訓練以提高現實數據的性能，在上表中，VechileX和cityflow數據集混合訓練，和只用cityflow數據集訓練相比，在mAP上提升了6.95個點。使用attribute descent方法，和random attribute相比，在mAP上提升了1.2個點。

總結：

合成數據在這些年越來越被重視，但是合成數據和現實數據之間的domain gap約束了合成數據的發展。這篇文章從內容適應的角度出發，提出了一個新的合成數據集VehicleX。目前，vehicleX的3D模型和其生成的圖片，引擎及其源代碼均已開源。

申明：論文原文來源網絡,由《計算機視覺社區》公眾號整理分享大家，僅供參考學習使用，不得用于商用，引用或轉載請注明出處！如有侵權請聯系刪除！

點一下??在看??會更好看哦

總結

以上是生活随笔為你收集整理的unity随机方向的代码_ECCV 2020 目前用于车辆重识别（vehicle reID）中最大的合成车辆数据集（代码开源）...的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。