Dense biased networks with deep priori anatomy and hard region adaptation: Semi-supervised learning
分享篇論文吧。
畢竟做的是醫(yī)療圖像,還是講究實用性為主。醫(yī)療的深度學習總的來說肯定是要滯后于機器視覺的,但應用型文章的出發(fā)點就是實用,很多在機器視覺上應用的很好的東西在醫(yī)療圖像上往往效果很不好。這個也是數據決定的,一個好的算法工程師應該可以很好的應用各種算法在實際應用上。
Dense biased networks with deep priori anatomy and hard region adaptation: Semi-supervised learning
這篇論文是MIA 2020新出的。閱讀醫(yī)療圖像的文章要是抱著看看這文章算法提出了什么以前沒有的東西這種想法是不太正確的,畢竟實用最要緊。管他啥,效果好最重要。
先放結構圖:
總的來講這篇文章干了三件事:
第一:設計了一個無監(jiān)督的encoder(也就是上圖中粉紅色的encoder)學習CT圖的解剖學特征。
第二:設計了一個DenseBiasNet網絡,可以快速訓練,并且有點深監(jiān)督的感覺。
第三:使用了一個困難區(qū)域的損失函數。
下面一個一個講。
第一個encoder是一個在壓縮領域很常用的網絡,一個encoder+一個decoder,encoder壓縮圖像,decoder恢復成原圖像,如果在壓縮上就是可以提取出encoder壓縮維度最低的特征當成是降維后的特征。道理也很簡單,就是decoder能根據維度最低的特征恢復最完整的原始圖像,那么最低維度的特征應該就是包含了圖像絕大部分的信息,從而達到了對圖像特征進行壓縮的效果。數字圖像處理一樣的。下圖是網絡結構。損失函數是均方差損失。
這部分其實原理很簡單,但是作者進行了一個很炫的包裝,就是這種結構學習到的不是圖像特征,而是CT的解剖學特征(其實就是圖像特征),這聽起來就很厲害了。而且是無監(jiān)督學習,網絡結構也簡單。
第二部分是這個DenseBiasNet網絡,總體結構圖如下:
這個網絡其實就是3Dunet的變體,最下面的DPA特征就是第一部分中我們提到的encoder。encoder先在無監(jiān)督的訓練中學習了CT的解剖學特征,訓練好了以后,在DenseBiasNet中直接拿過來當成是特征提取器,用于提取圖像的解剖學特征,這個encoder在整個DenseBiasNet的訓練過程中參數是forzen的,也就是不對encoder進行訓練。
DenseBiasNet網絡最大的提點就是稠密的鏈接,可以看出每一個block出來的特征會和后面所有的block進行一個串聯(concatenation),這樣子的話,最后一層的loss可以直接反向傳播到最底層,不需要經過中間的層,這就達到了一個深監(jiān)督的效果。具體的特征傳遞方式如下:
由于不同block之間的分辨率可能是不一樣的,他采用了最大池化層的方式進行下采樣,插值的方式進行上采樣。
第三個就是它的損失函數,如果是一般的交叉熵損失函數,會覆蓋整個圖像,如下圖中的左邊第一個,而他們的函數會focus在分割不好的區(qū)域,也就是右邊兩個圖。
這個損失函數也是很簡單的原理
yn是GT(ground-truth),yn^ 是預測的值,I表示采樣策略,|yn?yn^ | > T的時候,I=1,否則I=0,也就是說I=1的時候這個點的損失就會被計算,而I=0的時候表示這個點不會被計算到損失中,|yn?yn^| 表示預測值也實際值的絕對距離,如果這個距離很小,那么就認為是分割對了,那么久不計算他的損失,這樣就達到了選擇難分割點的效果。T可以控制這個誤差,文中選了T=0.1.
后面的實驗我就不講了。總的來說,希望可以在這種應用的文章中學到一些如何把算法的長處用到實際應用中的思路吧。
總結
以上是生活随笔為你收集整理的Dense biased networks with deep priori anatomy and hard region adaptation: Semi-supervised learning的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 医学图像分割——Unet
- 下一篇: 凯恩斯主义中的当今世界