真實場景中的鏡面/玻璃檢測和語義分割

Charmve | English | Chinese

https://github.com/Charmve/Mirror-Glass-Detection

在這個項目中，我正在學習反射鏡和玻璃檢測/分段技術。鏡子是反射表面，可以反射前面的場景，而玻璃是透明表面，可以從背面透射場景，通常也可以反射前面的場景。通常，鏡子和玻璃都沒有自己的視覺外觀，它們僅反射/透射周圍環境的外觀。

由于鏡子和玻璃沒有自己的外觀，因此開發自動算法進行檢測和分段并不是一件容易的事。但是，由于它們在我們的日常生活中無處不在，因此如果我們無法可靠地檢測到它們，可能會出現問題。例如，基于視覺的深度傳感器可能會錯誤地估計一塊鏡子/玻璃的深度，因為它內部的物體的深度，機器人可能沒有意識到鏡子/玻璃墻的存在以及無人機可能碰撞成高樓（請注意，這些天大多數高樓都被玻璃遮蓋了）。

到目前為止，盡管香港城大實驗室是第一個開發用于自動檢測和分割鏡面和透明玻璃表面的計算模型的研究團隊，有了一些研究調查透明玻璃物體的工作，但是這些方法主要集中在檢測酒杯和小玻璃物體上，它們具有一些可用于檢測的特殊視覺特性。與這些作品不同，我對檢測可能不具有任何特殊屬性的普通玻璃表面更感興趣。

我也有興趣探索鏡子/玻璃檢測方法在自主導航中的應用。視頻：https://www.zhihu.com/zvideo/1302257849481818112

漸進鏡檢測Progressive Mirror Detection

[paper] | [suppl]| [code] | [dataset]
Jiaying Lin, Guodong Wang, and Rynson LauProc. IEEE CVPR, June 2020

圖 1. 將從單個圖像識別鏡子的漸進方法可視化。通過查找鏡子內部和外部對象之間的對應關系，然后明確定位鏡子邊緣，可以更可靠地檢測鏡子區域。

輸入-輸出:給定一個輸入圖像，網絡將輸出一個二進制掩碼，以指示鏡像的位置。

摘要： 鏡子檢測問題很重要，因為鏡子會影響許多視覺任務的性能。并且也是一個難題，因為它需要了解全局場景語義。 文中作者提出了一種通過學習鏡子內部和外部之間的多級上下文對比來檢測鏡子的方法，該方法有助于隱式定位鏡子邊緣。 他們觀察到鏡子的內容反映了其周圍的內容，被鏡子的邊緣分開。因此，作者在本文中提出了一個模型，以逐步學習鏡子內部和外部之間的內容相似性，同時明確檢測鏡子邊緣。 他們的工作有兩個主要貢獻。 首先，作者提出了一種新的關系上下文對比局部（RCCL）模塊來提取和比較鏡像特征及其對應的上下文特征，以及一種邊緣檢測和融合（EDF）模塊以通過顯式監督來學習復雜場景中的鏡像邊緣特征。 其次，他們構建了一個具有挑戰性的基準數據集，包含6,461幅鏡像圖像。與現有的MSD數據集（多樣性有限）不同，作者的數據集涵蓋了各種場景，并且規模更大。 實驗結果表明，該模型優于相關的最新方法。

Don’t Hit Me! 真實場景中的玻璃檢測

[paper] | [suppl] | [code] | [dataset]

Haiyang Mei, Xin Yang, Yang Wang, Yuanyuan Liu, Shengfeng He, Qiang Zhang, Xiaopeng Wei, and Rynson LauProc. IEEE CVPR, June 2020

圖 2. 現有視覺任務中的玻璃問題。在深度預測中，現有方法[16]錯誤地預測了場景在玻璃后面的深度，而不是到玻璃的深度（（b）的第一行）。 例如，Mask-RCNN [9]僅將實例分割在玻璃后面，而不知道它們實際上在玻璃后面（（b）的第二行）。 此外，如果我們直接將現有的單一圖像反射消除（SIRR）方法[36]應用于僅部分被玻璃覆蓋的圖像，則非玻璃區域可能會損壞（（b）的第三行）。 GDNet可以檢測到玻璃（c），然后糾正這些故障情況（d）。

輸入-輸出:給定輸入圖像，作者的網絡將輸出一個二進制遮罩，以指示透明玻璃區域的位置。

摘要： 透明玻璃在我們的日常生活中非常普遍。 現有的計算機視覺系統忽略了它，因此可能產生嚴重的后果，例如：機器人可能會撞入玻璃墻。 但是，檢測玻璃的存在并不容易。關鍵挑戰在于，任意物體/場景都可能出現在玻璃后面，并且玻璃區域內的內容通常類似于玻璃后面的內容。在本文中，作者提出了一個從單個RGB圖像檢測玻璃的重要問題。 為了解決這個問題，作者構建了一個大規模的玻璃檢測數據集（GDD），并設計了一個名為GDNet的玻璃檢測網絡，該網絡使用新穎的大視野上下文特征集成（LCFI）模塊探索了用于可靠的玻璃檢測的大量上下文線索。 大量實驗表明，與針對玻璃檢測進行微調的最先進方法相比，該方法在GDD測試儀上可獲得更好的玻璃檢測結果。

Where is My Mirror?

[paper] | [suppl]| [code and updated] | [dataset]

Xin Yang*, Haiyang Mei*, Ke Xu, Xiaopeng Wei, Baocai Yin, and Rynson Lau (* joint first authors)Proc. IEEE ICCV, Oct. 2019

圖 3.現有視覺任務中的鏡子檢測問題。在深度預測中，NYU-v2數據集[32]使用Kinect捕獲深度作為地面真實情況。它錯誤地預測了反射內容的深度，而不是鏡面深度（b）。 在實例語義分割中，Mask RCNN [12]錯誤地檢測到鏡像內部的對象（c）。 借助MirrorNet，作者首先檢測并屏蔽了鏡像（d）。 然后，通過對反射鏡周圍像素和分割圖（f）進行插值，獲得正確的深度（e）。

輸入-輸出:給定一個輸入圖像，網絡將輸出一個二進制掩碼，以指示鏡像的位置。

摘要： 鏡子在我們的日常生活中無處不在。現有的計算機視覺系統不考慮鏡子，因此可能會被鏡子內部的反射內容弄糊涂，從而導致嚴重的性能下降。然而，將鏡外的真實內容與鏡內的反射內容分開，對計算機而言是有很大挑戰的。 關鍵的挑戰是，鏡子通常會反射與其周圍環境相似的內容，因此很難區分兩者。在本文中，作者提出了一種從輸入圖像中分割鏡子的新穎方法。據作者表述，這是使用計算方法解決鏡像分割問題的第一項工作。

他們做出了以下貢獻：

• 首先，構建了一個大型鏡像數據集，其中包含帶有相應的手動注釋蒙版的鏡像。該數據集涵蓋了各種日常生活場景，并將公開提供以供將來研究。
• 其次，通過對鏡子內部和外部內容之間的語義和低級顏色/紋理不連續性進行建模，提出了一種稱為MirrorNet的新型網絡，用于鏡子分割。
• 第三，進行了廣泛的實驗以評估所提出的方法，并表明它優于最新檢測和分割方法中精心選擇的基準。

*最后一次更新：2020.11.01
文字引用自香港城大計算機系官網 https://www.cs.cityu.edu.hk/，感謝！

本文首發我的Github，歡迎做客寒舍。更多前沿論文研讀分析！

https://github.com/Charmve

總結

以上是生活随笔為你收集整理的无法识别的属性“targetframework”。请注意属性名称区分大小写。_神奇！你思考过计算机是怎么识别玻璃和透明物体的吗？...的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。