?作者 |?尉言路、陶仁帥

學校 |?北京航空航天大學

研究方向 |?目標檢測、小樣本學習

隨著公共交通樞紐中人群密度的不斷增加，安全檢查在保護公共空間免受恐怖主義等安全威脅方面的作用越來越重要。安檢通常采用 X 射線掃描儀來檢查行李中是否含有違禁物品。然而，在安檢場景中，在行李箱中的物品是隨機擺放的，并且彼此嚴重重疊，因此安檢員要檢測出違禁物品十分困難。同時，經過長時間地聚精會神地觀看復雜的 X 光圖像，安檢人員難以準確檢測出違禁物品。而頻繁人員換班會耗費大量人力資源。因此，社會迫切需要一種快速、準確、自動化的方法來幫助安檢員檢測 X 射線掃描圖像中的違禁物品。

隨著深度學習技術的發展，特別是卷積神經網絡的發展，在 X 射線圖像中識別被遮擋的違禁物品可以看作是計算機視覺中的一個目標檢測問題。北京航空航天大學研究團隊發表在 ACM Multimedia 2020 上的本一篇題為《Occluded Prohibited Items Detection: An X-ray Security Inspection Benchmark and De-occlusion Attention Module》，提出了針對安檢場景下的目標檢測任務而設計的高質量數據集 OPIXray，該數據集中所有圖片所包含的危險品都由某機場的專業安檢員手動標注。

此外，該論文還提出了一種用于檢測安檢場景下遮擋的違禁物品的方法，該方法的核心是一個能夠去遮擋的注意力模塊（DOAM）。該模塊可以作為一個即插即用的模塊插入到大多數檢測器中，目的是檢測 X 光圖像中被遮擋的危險品。

目前該論文提出的數據集和代碼均已開源。

論文地址：

https://dl.acm.org/doi/10.1145/3394171.3413828

數據集和代碼地址：

https://github.com/OPIXray-author/OPIXray

OPIXray數據集

一個高質量的含有違禁物品標注的專業數據集對于模型的訓練和評估是必要的，因此，我們建立了第一個針對被遮擋的違禁物品檢測任務的 X 光圖片數據集。

1.1 數據采集

OPIXray 數據集的所有圖像均由安檢機掃描，并由國際機場的專業檢查人員手工標注，標注標準為安檢人員的培訓標準。這些 X 射線圖像仍然保留特定的特性，即不同的材質顯示出不同的顏色，并且每個違禁物品都由一個方框進行定位。

▲ 圖1 安檢 X 光下不同刀具的成像

1.2 數據結構

OPIXray 數據集包含 5 類刀具，一共 8885 張圖像。5 類刀具分別是折疊刀、直刀、剪刀、美工刀、多功能刀。所有圖像均以 JPG 格式存儲，分辨率為 1225×954。數據集分為訓練集和測試集，前者包含 80% 的圖像（7109），后者包含 20% 的圖像（1776），比例約為 4:1。

▲ 表1 數據集不同類別圖片分布表

1.3 數據遮擋級別

為了研究違禁物品的遮擋等級帶來的影響，我們將測試集分為三個子集，分別命名為遮擋級別 1（OL1）、遮擋級別 2（OL2）和遮擋級別 3（OL3）。其中數字表示圖像中違禁物品的遮擋級別。OL1 表示違禁物品無遮擋或輕度遮擋，OL2 表示部分遮擋。為了最大限度地評估模型處理遮擋問題的能力，我們通過選擇物體中存在嚴重遮擋或完全遮擋的圖像來構建 OL3。

▲圖2 不同遮擋等級的圖片示意圖

▲表2 數據集中不同遮擋等級的圖片分布表

去遮擋注意力模塊DOAM

DOAM 的核心部件是三個子模塊：邊緣信息引導模塊（Edge Guidance）、材質信息感知模塊（Material Awareness）和注意力圖生成模塊（Attention Generation）。Edge Guidance 和 Material Awareness 分別捕獲危險品的邊緣信息和材質信息，Attention Generation 利用分別由邊緣信息引導模塊和材質信息感知模塊生成的特征來生成注意力圖，從而為檢測器提供一個改良后的特征圖。

▲ 圖3 去遮擋注意力網絡架構圖

2.1 邊緣信息引導模塊（Edge Guidance）

對于邊緣信息引導模塊，假設數據集中有 張訓練圖像 ，對于每個輸入圖像 ，我們使用 sobel 算子的水平核 與垂直核 分別計算水平和垂直方向的邊緣圖像 和 ，之后得到最終的邊緣圖為 ，并將 和輸入的 RGB 圖像 x 在通道維度進行拼接，以增強圖像中所有對象的邊緣信息。同時為了使邊緣信息引導模塊僅放大感興趣對象的邊緣信息，我們使用 N1 個網絡塊，每個塊由一個卷積核大小為 3×3 的卷積層，一個 BN 層和一個 ReLU 層組成，用以提取邊緣圖像 PE 的特征圖 ，該操作可以表述為：

其中 表示將操作重復 次，， 是卷積層的參數。提取特征圖 后，模型會通過優化來自適應地關注特征圖 FE 內的危險品的邊緣信息。

2.2 材質信息感知模塊（Material Awareness）

我們認為，材質信息主要體現在顏色和紋理上，這可以通過聚合區域信息來表示，因此我們提出了材質信息感知模塊。我們首先利用 N2 個網絡塊來提取輸入數據的特征圖，該操作可以表述為：

其中 || 表示通道拼接操作。

▲ 圖4 區域聚合模塊的架構圖

之后，我們對特征進行區域信息聚合操作（RIA），我們使用平均池化來聚合各個區域的信息，并對每個區域生成聚合區域尺度為 時的區域聚合特征圖，從而進一步定義不同聚合區域尺度下的特征集，該操作可以表述為：

2.3 注意力圖生成模塊（Attention Generation）

對于邊緣信息引導模塊和材質信息感知模塊分別輸出的特征圖 與 ，將其進行拼接來融合兩個模塊的特征信息，隨后使用 1×1 的卷積核對通道維度進行壓縮，生成用于計算注意力分數的特征圖 ，該操作可以表述為：

其中 || 表示級聯操作，， 是卷積層的參數。

隨后將 作為 Sigmoid 激活函數的輸入，并以此生成注意力分數圖，操作如下：

其中 ，與輸入數據的維度大小一致。

最終，使用得到的注意力分數圖 S 與輸入數據計算內積得到經過注意力聚焦后的特征信息作為后續卷積網絡的輸入來提取特征用于危險品的預測，該操作可以描述為：

其中 為注意力聚焦后的特征信息也就是最終生成的特征圖。

實驗結果

我們將 DOAM 和常見的注意力機制 DANet、SENet、Non-local 進行了對比，并將我們的模塊整合到常見的檢測算法上（SSD、Yolo-v3、FCOS），然后分別和整合之前的檢測算法進行了對比。我們還進行了消融實驗，并對我們的注意力機制進行了可視化。

3.1 與常見注意力機制對比實驗

如下圖所示，我們以 SSD 框架為基本框架，分別在上面添加 SE、Non-local、DA、DOAM 注意力機制，然后在我們數據集（不分遮擋等級）上進行了實驗。實驗結果表明，在 X 光安檢圖片上，我們的模塊普遍優于現有的注意力機制。

▲ 表3 在不同類別上對比場景注意力機制實驗結果

我們還在遮擋等級分級后的數據集上進行了實驗，實驗結果表明，我們的模塊優于現有的注意力機制。并且可以看到，當遮擋等級越高時，我們的模塊比其他注意力機制提升的效果越多。

▲ 表4 在不同遮擋等級上對比場景注意力機制實驗結果

3.2 與常見檢測算法的對比實驗

我們將我們的模塊添加到了不同的檢測算法 SSD、Yolo-v3、FCOS 上，如下表所示，結果表明，添加后的新算法明顯優于基礎算法。

▲ 表5 對比常見的檢測算法

3.3 消融實驗

我們對模塊進行了消融實驗，來證明各個部分都是有效的。如下表所示：

▲ 表6 消融實驗

3.4 注意力機制可視化

我們對模塊的注意力機制進行了可視化，效果如下圖所示，可以看到，注意力機制使得模型更加關注于危險品所在的區域，印證了我們利用邊緣信息和材質信息的有效性。

▲ 圖4 注意力分數圖可視化效果展示圖

未來展望

計算機視覺技術的進步推動著人工智能時代的到來，視覺技術在我們日常生活中應用廣泛，產生了巨大的社會價值。在視覺技術中，熱門領域主要為人臉識別、自動駕駛、行人檢測等，這些技術的發展極大改善了我們的生活。

AI 安檢是一個相對小眾的話題，如果能夠成功應用于生活實踐中，不僅能夠提升我們進入火車站、機場的效率，同時極大地節省人工成本，將帶來巨大的社會效益。然而，由于在安檢過程中，由于行李包裹中的物品隨意擺放，互相遮擋，導致機器在 X 光檢測的圖片中要找出危險物品十分困難。我們應當以更加積極的心態和更加挑剔的眼光去看待 AI 安檢，現有技術距離 AI 安檢成熟落地還有很多工作要做。

作者簡介

尉言路（共同第一作者），北京航空航天大學碩士生，已入職中國移動通信研究院，主要研究方向為小目標檢測、小樣本學習。已有研究成果在 ACM MM，ICCV，CVPR 等國際頂級計算機視覺與多媒體會議上發表多篇論文，獲 2020 年度碩士研究生國家獎學金。

陶仁帥（共同第一作者），北京航空航天大學博士在讀，主要研究方向為復雜場景下的目標識別，包括去遮擋、域適應、小樣本等，已在 CVPR、ICCV、ACM MM 等國際頂級計算機視覺與多媒體會議上發表多篇論文，獲 2021 年度博士研究生國家獎學金。

更多閱讀

#投 稿?通 道#

?讓你的文字被更多人看到?

如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學術熱點剖析、科研心得或競賽經驗講解等。我們的目的只有一個，讓知識真正流動起來。

📝?稿件基本要求：

? 文章確系個人原創作品，未曾在公開渠道發表，如為其他平臺已發表或待發表的文章，請明確標注?

? 稿件建議以?markdown?格式撰寫，文中配圖以附件形式發送，要求圖片清晰，無版權問題

? PaperWeekly 尊重原作者署名權，并將為每篇被采納的原創首發稿件，提供業內具有競爭力稿酬，具體依據文章閱讀量和文章質量階梯制結算

📬?投稿通道：

? 投稿郵箱：hr@paperweekly.site?

? 來稿請備注即時聯系方式（微信），以便我們在稿件選用的第一時間聯系作者

? 您也可以直接添加小編微信（pwbot02）快速投稿，備注：姓名-投稿

△長按添加PaperWeekly小編

🔍

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

·

與50位技術專家面對面20年技術見證，附贈技術全景圖

總結

以上是生活随笔為你收集整理的AI安检：北航提出安检场景下的危险品检测基准和去遮挡注意力模块的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。