前言：

????? ? 在實時/非實時大規模三維場景重建中，引入了語義SLAM這個概念，參考三維重建：SLAM的尺度和方法論問題和三維重建：SLAM的粒度和工程化問題 。大規模三維場景重建的尺度增大，因此相對于整個重建過程的粒度也從點到特征點到目標物體級別，對場景進行語義標記成為重要的工作。

?????

場景語義標記的傳統方法：

?????? 其他：機器人在線場景感知問題，場景識別問題。

?????? 參考文章：場景感知：圖像的稀疏表示

???? ? 對場景進行目標檢測，并串聯目標特征或者打包成set，形成場景特征。根據場景特征進行分類場景，既是場景感知。對于大量需要感知的場景，既是場景中有多類物體，形成的場景特征的向量維數變得更大更長，為了降低計算量，引入了稀疏編碼的方法。

???

深度學習的語義標記方法：

???????? 對于超大環境，比如整個中國建立一個三維地圖，Agent端的存儲能力和計算能力必定達不到海量數據存儲和檢索的要求。因此，引入C/S模式的云端框架是合適的選擇。對于超量的類別進行模式識別，傳統的集成學習仍然遇到理論上的困難，比如VC維的約束。因此，基于深度學習的場景語義識別是暫時最佳可選的方案，Agent作為一個數據獲取端，把數據傳輸到云端服務器，在服務器上使用DCNN進行語義檢測，用于檢測目標和場景，進而判斷是否存在閉環/Agent在場景中的位姿。

?

語義SLAM的關鍵元素

????? ? 目標檢測、場景識別、DCNN。

??????? 目標識別的傳統方法經典方法利用概率圖模型（CRF）對圖片進行分割，使用傳統模式識別方法進行目標識別（SVM、隨機森林等），這些傳統方法應對海量數據和高精度的挑戰都成問題，比如CRF模型對于大量數據訓練極為困難、模式識別方法模型本身就受到VC維的約束。

???????? 場景識別的傳統方法如前面所述，使用稀疏編碼的方式對每一類場景進行稀疏編碼，把圖片場景識別拖入模式識別的范疇，使用傳統模式識別的方法完成場景識別。

DCNN

????? ?? 對于檢測-識別過程，傳統方法的一般模式是，需要對圖像進行特征提取，把圖像從二維張量空間轉化到N維向量空間，稱為特征提取；再通過模式識別方法把N維向量空間壓縮到0維空間的離散個點上。由此完成分類識別。

??????? 在此過程中，特征提取是一個專家知識極濃的經驗過程，并在圖像壓縮轉化過程中必然承受著壓縮/特征提取損失。

?????? CNN具有圖像處理過程中張量壓縮的天然結構。CNN結構直接把圖像在二維張量空間中進行處理，不停的Conv和polling，使用數據來完成特征提取，更多的數據得出更可靠的特征（特征一詞對于CNN沒有實際意義，此過程并非形式化，且可以表示為任一步及幾步的組合）。不停的Conv和polling，直至圖像的X*X像素收斂為1*1，直接把圖像從二維張量空間壓縮到一維向量空間中的點（也可以稱之為二維張量空間上的點，但沒有了明確的維度限制）上。

?????? 此外，CNN的二維鏈接結構，可以使用權值共享和分層乘法來降低參數數量，以至于在添加更多的類別時避免造成參數的指數級增長（傳統方法隨類別的參數增長一般是指數級別或者亞指數級別的，至少是超多項式的）。

??????? 深度學習方法作為分類模型，發展已久，從AlexNet到GoogleNet，到Residual Network，不斷取得更高的精度和處理更多的類別以及獲得更快的速度。

??????? 深度學習作為檢測模型，經典網絡為R-CNN和Yolo-DarkNet，隨后更新了多個版本，基于Region Proposal的網絡為R-CNN、SPP-Net、Fast R-CNN、Faster R-CNN、R-FCN和Mask RCNN；基于Regression的有Yolo、SSD-Net、YoloV2、LocalNet等。

?

DCNN檢測模型

???? 基于Region Proposal的網絡為R-CNN、SPP-Net、Fast R-CNN、Faster R-CNN、R-FCN和Mask RCNN；基于Regression的有Yolo、SSD-Net、YoloV2、LocalNet等。

?????? 參考文章：SPP-Net：CNNs添加一尺度不變特征-神經元層

?????? 參考文章：Going deeper with convolutions：卷積的更深一些

?????? 參考文章：CVPR 2016論文快訊：目標檢測領域的新進展

?

工程化問題

??????? 語義SLAM中大規模語義分析，通常方法也變為S端使用DCNN做服務器實現場景檢測/閉環檢測和C端Agent根據返還結果輔助實現三維位姿確定。

?

總結

以上是生活随笔為你收集整理的三维重建5：场景中语义分析/语义SLAM/DCNN-大尺度SLAM的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。