Kitti數據集

本文為筆者自我學習的筆記，本人剛入門3D視覺，若有錯誤的地方懇請各位指正。另外參考了一篇熱門博客：https://blog.csdn.net/Solomon1558/article/details/70173223。并使用了其中的一幅圖像，侵刪。

1. 簡單介紹

? Kitti數據集致力于提供一個更貼合戶外駕駛場景的計算機視覺數據集。Kitti提供了一些自動駕駛場景下具有挑戰性的測試基準：立體場景（stereo）、光學流動（optical flow）、視覺測距（visual odometry）、同時定位和地圖構建（SLAM）、3D物體檢測等。

? Kitti包含中等城市市區、城郊和高速公路的環境采樣。有389對立體場景和光流圖（分辨率為1240*376，經過50%的基礎事實校正）、39.2 km視覺測距序列以及超過200k 3D標注物體的圖像（人工標注，比如汽車、貨車、行人等）組成。

2. 具體的挑戰和解決方案

? 具體遇到的挑戰有：

• 實時采集大量的數據；

• 不同速率工作的傳感器的校準；

• 最小化產生基礎事實（ground truth）需要的監督數量；

• 為每個基準選取合適的序列和框架、每個任務的開發指標。

  解決方案如下：

• 傳感器的裝配：兩個彩色和兩個灰度攝像機，一個激光掃描器，一個GPS定位單元。相同種類的攝像機之間距離為54cm，不同種之間距離為6cm。彩色便于物體檢測和場景分割，灰度提供的對比度信息便于立體匹配和光流估計

• 傳感器的標定：攝像機之間的、激光器和攝像機之間的、激光器和GPS之間的標定。標定過程此處省略。

• 基礎事實的獲取：用ICP算法配準一連串連續的幀。再把點云投射到圖像上，自動消除落在圖像外的點，再手動消除如窗等模糊的區域，便可以得到視差圖，得到較高的立體場景基礎事實密度。把點云投射到下一幀便可以得到光流場。視覺測距的基本事實可以在左邊的攝像機校正后把GPS輸出投射到坐標系系統中得到。3D物體檢測的基礎事實由人工標記得出，團隊創建了可以展示3D激光點云和攝像機圖像的標記工具，同時標記人員也會把包圍框標記為可見、半遮擋、全遮擋（occluded）和被截的（truncated）。

• 基準（benchmark）選取：立體場景和光流基準——選取環境為靜態的序列子集，用k-means算法取靠近每個分類中心點的元素去除比較暗的一些場景后作為基準。視覺測距基準——選取有高質量定位、速度變換的長序列。3D物體檢測和方向估計基準——利用貪心算法，根據非遮擋物體數量和物體方向分布的熵來選定。

• 評估標準：立體場景和光流——設置合適的閾值后使用視差圖（disparity）和端點誤差（end-point error）的像素錯誤數量（非遮擋的和有對應基礎事實的像素）的均值作為評估標準。視覺測距/SLAM——發展了前人的方法，首先分別處理旋轉和平移變換，其次把誤差當做軌跡的長度和速率的函數來評估。3D物體檢測和方向估計基準分為三個部分——先用計算平均精準度（AP）的方法評估2D物體的探測情況，再用AOS指標評估物體探測和方向預測的綜合表現，最后評估在3D物體方向檢測任務中的分類和回歸表現。

3. 數據集內容簡述

3.1 整體結構

? 由此數據集的另一篇論文:Vision Meets Robotics ¹和網上的一些筆記可以得到此數據集內容的一些特征。典型樣本可以分為’Road’, ’City’, ’Residential’, ’Campus’ 和’Person’五類。原始數據采集于2011年的5天，數據大小為180G。首先是這個數據集的文件目錄。

? 其中date和drive不是固定的名稱而是占位符，表示采集數據的日期和視頻編號。時間戳記錄在Timestamps.txt文件中。同時后期處理的數據——校正和同步的視頻流也會提供在網站上 ² 。3D邊框標注的信息存儲在data_drive_tracklets.xml文件中。

? 也可以從官網上下載各個分任務的數據集，比如物體檢測（Object detection），其中有訓練和檢測的數據集

3.2 標注（Annotations）的特征

? 由上文可以知道，kitti數據集人工為攝像的物體進行了3D邊框標注。標注一共有8個類別——’Car’, ’Van’, ’Truck’, ’Pedestrian’, ’Person(sitting)’, ’Cyclist’, ’Tram’ 和’Misc’ (e.g., trailers, segways)。每一個物體的標注都由所屬類別和3D尺寸（height，weight和length）組成。當前數據集的標注存于每種任務子數據集的label文件夾中，稍有不同。

? 每幀圖像對應一個txt文件這個txt文件就是這幀圖像的標注文件。標注文件中第一列是種類，之后全為數字。標注中各個字段的含義可以在Readme.txt文件中找到。下面是博客中的找到的標注文件描述。其中’DontCare’的預測結果會被評估腳本自動忽略。

?

---

Andreas Geiger and Philip Lenz and Christoph Stiller and Raquel Urtasun. Vision meets Robotics: The KITTI Dataset. IJRR, 2013 ??

www.cvlibs.net/datasets/kitti ??

總結

以上是生活随笔為你收集整理的KITTI数据集学习笔记的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。