機器之心發布

作者：牛鈺浩、谷林（共同一作）, 陸峰（通訊作者） 等?

雖然深度學習在醫療圖像的病變檢測上取得了巨大成功，然而，現有的方法幾乎都將 CNN 作為黑盒使用，沒有進一步揭示做出分類的依據。CNN 缺乏「可解釋性」嚴重制約了其在醫療等涉及公眾安全的關鍵領域應用。 北京航空航天大學聯合日本國立信息學研究所以及中南大學湘雅醫院，湘雅二醫院對這一問題展開探索。參考傳染病學金標準：「科赫法則」，本文提供了一種解釋醫療圖像深度學習的方法并發表在 AAAI 2019。通過了 5 位眼科醫師雙盲測試，本方法表現出了令人滿意的性能。

回顧醫學的歷史，病菌感染曾一度困擾著人們：致病微生物也是看不見、摸不著的。微生物學鼻祖之一的羅伯特·科赫提出了一套科學驗證方法——科赫法則（Koch's postulates），用于將某種病變與特定的病原體建立聯系。這一方法隨后成為傳染病病原學鑒定的金標準。科赫也因此獲得了 1905 年的諾貝爾生理學或醫學獎。

這套準則分為四條：

1. 每一例患病動物體內都可以分離到該病菌。

2. 該病菌可以在體外培養數代。

3. 培養了數代的細菌可以通過接種，使健康的實驗動物患上同樣的疾病。

4. 被接種的動物中可以分離到同樣的病菌。

自然界的微生物種類是天文數字，這其中僅有一小部分能夠感染人類，而對人類致病的就更微乎其微了，科赫法則成為確定這些病原體的金標準并成為現代醫學基礎之一。檢測醫療圖像的 CNN 網絡中也往往包含幾十萬乃至上百萬參數。受此方法啟發，可以使用類似的方法論來確定極少量的關鍵參數并研究 CNN 病變檢測器的決策依據。

論文 Pathological Evidence Exploration in Deep Retinal Image Diagnosis 以糖尿病視網膜病變為例，展示了 CNN 檢測器的決策依據，增進了醫生與 AI 之間的相互理解。

論文：Pathological Evidence Exploration in Deep Retinal Image Diagnosis

論文鏈接： https://arxiv.org/pdf/1812.02640.pdf

圖 1：受柯赫準則啟發，本論文對病變證據進行發掘、提取、重現

具體來說，本文首先在經典 CNN 病變檢測算法中提取病理描述符，并利用一種 CNN 的可視化方法來定位病變（圖 1.a）；模仿科赫法則中在無數微生物中分離病原體這一過程，本方法從百萬級神經元中定位到數千維直接參與疾病診斷的參數并提取出描述符（圖 1.b）；科赫法則接著將分離的微生物接種到健康生物體并觀察產生的疾病癥狀，同樣，本方法訓練一個基于 GAN 的生成器，通過輸入病理描述符中來合成眼底圖（圖 1.c, d），如果眼底圖復現了相應的病變，就可以確認其與病理描述符的直接關系。

病理描述符的提取

本文以糖尿病視網膜病變（Diabetic Retinopathy，簡稱 DR）為例。全球范圍內，有超過 4 億糖尿病患者。根據 2016 年美國的統計，約有 40%-45% 的患者會發展出 DR 的癥狀。這種病變通常根據視網膜眼底圖來進行診斷。DR 患者的眼底圖上會出現不同程度的微動脈瘤、出血、滲出等病變。

圖 2：DR 患者眼底圖中的病變

Kaggle 于 2016 年舉行了 DR 眼底圖檢測的競賽。本文使用的冠軍算法中的一種：o_O(Antony 2016)。仿造 Zeiler 和 Fergus 的 CNN 可視化方法，我們在檢測器后接上了一個激活網絡，用對稱的結構來還原每個卷積層中被激活的神經元。

圖 3：病理描述符的提取

具體來講，為每一個卷積層構造一個轉置卷積層，為每一個池化層構造一個反池化層，激活網絡和檢測網絡共享權重。使用這樣的網絡架構，激活網絡某一層的結果是從 #9 層的神經元激活結果翻譯回來的，一定程度上代表了這一層的神經元對 #9 的影響。

圖 4 將輸入的眼底病變圖和輸出的激活圖進行放大對比。輸入的病變圖經過一層層卷積，保留了病理特征，丟棄了血管等正常生理特征。由結果對病變的選擇性，可以窺見 CNN 做出決策的證據。雖然在訓練 CNN 檢測器時僅僅使用了「病變圖-嚴重程度」這樣的圖像級別標注，它仍能學到各種病變的特征，并且主動關注這些區域。

圖 4：輸入的病變圖和輸出的激活圖

接下來，根據病變參考圖的特征層和激活層，定義一個病理描述符，用于代表每一個病變的信息。首先，對最后的激活圖其進行閾值處理，得到二值掩碼圖，用于指示病變的位置信息。然后，通過尋找最大連通區域，可以得到每個病變的邊界框。這一步操作即可將不同的病變分離開來。最后，使用邊界框，在特征網絡和激活網絡的中間層中截取出一些特征塊、激活塊，將它們作為病理描述符（圖 3）。這些病理描述符編碼了完整的病變特征，可以為病變眼底圖的合成提供關于病變的所有信息。

病變眼底圖的合成

柯赫準則中，將不可見的純化病菌注射到健康動物體內，可以使其患上相應的疾病。類似地，本文使用 GAN 來重現病理描述符中的特征、說明 DR 檢測器提取出的病理描述符確實包含了病理信息。

圖 5：病變眼底圖合成網絡架構

本節的任務是訓練一個合成病變圖的生成器。生成器以血管分割圖、噪聲向量為輸入，通過一個 U-Net (Ronneberger, Fischer, and Brox 2015) 結構來合成出包含特定病變的眼底圖。

訓練生成器的時候，使用的數據集是正常眼底圖和它的血管分割圖。而病變信息，全部來自于之前提取出的病理描述符。計算 Loss 時，設置了多個子網絡來達到不同的目標。

子網絡 1：判別器網絡

判別器子網絡判別一張圖片是真實圖還是合成圖。進而計算出「生成對抗 Loss」，使生成器和判別器相互競爭，增加合成眼底圖的真實性。對于生成器、判別器，有 。

子網絡 2：視網膜細節網絡

視網膜細節網絡使用 VGG 網絡來提取健康眼底圖與合成眼底圖的特征，做差得到「視網膜細節 Loss」，讓合成圖像的特征與其接近，保證合成圖片的生理細節。用來代表 VGG 特征提取函數，則視網膜細節 Loss 為 。

子網絡 3：DR 檢測網絡

DR 檢測子網絡用來計算最重要的「病理 Loss」，使合成的眼底圖中出現病變。

計算病理 Loss 的時候，將合成的病變圖輸入到 DR 檢測器網絡中，從想要合成病變的地方截取出特征塊，與病理描述符中的相應特征塊進行對比、做差即可得到合成病變與真實病變的差異。利用病理 Loss，能夠讓合成圖在特征層的與病變相關的神經元激活，從而保證病變的復現。

使用代表合成圖的特征塊，用代表描述符中的特征塊，則病理 Loss 為。 計算過程中使用了 Gram 矩陣來保留樣式而非內容：。

合成結果

在測試階段，文章使用了 DRIVE 數據集 (Staal et al. 2004) 作為正常眼底圖，使用 STARE (Hoover, Kouznetsova, and Goldbaum 2000) 和 Kaggle 中的圖像作為病變參考圖，進行了多組實驗。

圖 6 是使用不同的病變參考圖來合成出的結果。根據專業眼科醫生的評估，前兩列的微動脈瘤合成較好，第三列合成的激光瘢痕與參考圖一致，不過第四列合成的硬性滲出有些欠真實。?

圖 6：不同病變的合成效果

為了進一步說明合成結果的先進性，我們將本文方法與 Zhao 等人的 Tub-sGAN 生成的圖片隨機混合，并組織了 5 位專業的眼科醫生，對其進行雙盲評測。對于每幅合成圖像，醫生為其進行三個評分：1. 眼底圖的真實性，2. 合成病變的真實性，3. DR 的嚴重程度（評分范圍是 1-10，得分越高越好）。最后收集到對 560 組評分，其平均值如表 1 所示。本文方法在合成的真實性上有明顯優勢。?

病理描述符針對每個病變單獨存儲，這種設計使其應用變得容易操控。對病變的篩選、復制均可以通過對病理描述符的操作來實現，并可以進一步做到數量控制、合成病變的位置控制。具體操控效果如圖 7 所示。?

圖 7：對病變位置和數量的操控

圖 8：病變數量增加時，DR 檢測器給出的嚴重程度也會相應提升

本文的生理細節 Loss，選用 VGG 來進行高層特征的計算，而非直接使用 L1 Loss，能夠正確的保留視盤邊界等生理細節。與 Zhao 等人的 Tub-sGAN 不同，本文的病理 Loss 作用在病變局部，不會影響生理細節的正常合成（圖 9）。?

圖 9：生理細節保留對比

總體來看，本文的合成方法僅僅使用了參考圖中的病變特征，忽略了參考圖的整體色調、外觀。若在此合成方法之后再增加一個 Deep Photo Style Transfer (Luan et al. 2017) 風格遷移，則會更進一步增加參考圖與合成圖在外觀上的相似程度（圖 10）。

圖 10：增加風格遷移后處理以后的效果

總結

本文提出了通過激活神經元來檢測和編碼病變特征的方法，該過程與決策證據緊密相關。

本文使用一種基于 GAN 的方法來將病理描述符可視化，合成帶有特定病變的眼底圖，且病變合成的方法具有一定的可操控性。合成的結果得到了醫生的認可。

文章為 CNN 的可解釋性提供了一種研究思路，可激發更一般的探索。

本文為機器之心發布，轉載請聯系本公眾號獲得授權。

?------------------------------------------------

加入機器之心（全職記者 / 實習生）：hr@jiqizhixin.com

投稿或尋求報道：content@jiqizhixin.com

廣告 & 商務合作：bd@jiqizhixin.com

《新程序員》：云原生和全面數字化實踐50位技術專家共同創作，文字、視頻、音頻交互閱讀

總結

以上是生活随笔為你收集整理的AAAI 2019 | 借鉴传染病学原理探索医学图像CNN可解释性的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。