Cross-Modality Domain Adaptation for Medical Image Segmentation

Unsupervised 3D Semantic Segmentation Domain Adaptation

領域適應（DA）最近引起了醫(yī)學成像界的強烈興趣。通過鼓勵算法對未知情況或不同的輸入數(shù)據(jù)域具有魯棒性，域自適應提高了機器學習方法對各種臨床環(huán)境的適用性。雖然已經(jīng)提出了各種各樣的 DA 技術用于圖像分割，但這些技術中的大多數(shù)已經(jīng)在私有數(shù)據(jù)集或小型公共可用數(shù)據(jù)集上得到驗證。此外，這些數(shù)據(jù)集主要解決單類問題。為了解決這些限制，crossMoDA 挑戰(zhàn)引入了第一個用于無監(jiān)督跨模態(tài)域自適應的大型多類數(shù)據(jù)集。

Domain Adaptation (DA) has recently raised strong interests in the medical imaging community. By encouraging algorithms to be robust to unseen situations or different input data domains, Domain Adaptation improves the applicability of machine learning approaches to various clinical settings. While a large variety of DA techniques has been proposed for image segmentation, most of these techniques have been validated either on private datasets or on small publicly available datasets. Moreover, these datasets mostly address single-class problems. To tackle these limitations, the crossMoDA challenge introduces the first large and multi-class dataset for unsupervised cross-modality Domain Adaptation.

Aim

挑戰(zhàn)的目標是分割兩個關鍵的大腦結構：前庭神經(jīng)鞘瘤（VS）和耳蝸。雖然 ceT1加權的磁共振成像（MRI）掃描通常用于 VS 分割，但最近的研究表明，高分辨率T2（hrT2）成像可能是 ceT1 的可靠、安全和低成本替代方法。基于這些原因，我們提出了一種無監(jiān)督的跨模態(tài)挑戰(zhàn)（從 ceT1 到 hrT2），旨在自動在 hrT2 掃描上執(zhí)行 VS 和耳蝸分割。訓練源和目標集分別是帶注釋的 ceT1 和未帶注釋的 hrT2 掃描。


以下是列表中前三的方法：

Self-Training Based Unsupervised Cross-Modality Domain Adaptation for Vestibular Schwannoma and Cochlea Segmentation

Hyungseob Shin ; Hyeon Gyu Kim; Sewon Kim; Yohan Jun ; Taejoon Eo ; Dosik Hwang (Yonsei University)

Challenge Goal

訓練集只提供了 CET1 的標簽，HRT2 沒有標簽。需要通過域自適應的方式把源域 CET1 的圖像強度分布轉(zhuǎn)到與目標域 HRT2 一樣或相似的圖像強度分布上（這里隱含不改變 CET1 的圖像結構），這樣就可以用單模態(tài)分割網(wǎng)絡（nnUNet）來分割所有原有的 HRT2 和用 CycleGAN 從 CET1 轉(zhuǎn)換過來的 fake-HRT2。畢竟醫(yī)學圖像多模態(tài)的定義就是由不同模態(tài)在同一解剖區(qū)域成像敏感度不同，導致的圖像強度分布不同，從而難以用單個網(wǎng)絡來分割多模態(tài)醫(yī)學圖像。

Method

在本文中，我們提出了一種新的無監(jiān)督跨模態(tài)醫(yī)學圖像分割方法，并在前庭神經(jīng)鞘瘤 (VS) 和耳蝸分割上對其進行了驗證。 VS 的快速準確診斷在臨床工作流程中非常重要，用于此的最典型 MR 協(xié)議包括對比增強 T1 加權 (ceT1) 和高分辨率 T2 加權 (hrT2) 掃描。為此，提出了從一對 ceT1 和 hrT2 圖像中分割 VS 和耳蝸的研究 [1]。在這項研究中，我們的目標是對 VS 和耳蝸進行分割。hrT2 掃描使用基于自我訓練的無監(jiān)督方法，在有注釋的 ceT1 和無注釋的 hrT2 掃描上進行訓練。我們的方法包括

我們的方法包括 4 個主要步驟：

• 從 CET1 掃描到 HRT2 掃描的保留 VS 結構的域轉(zhuǎn)換，然后是自訓練方案，其中包括 ：
• 使用合成的 HRT2 進行有監(jiān)督 VS 分割訓練（因為合成的 T2 掃描原本帶有注釋），
• 用訓練好的 nnUNet 在無注釋的真實 HRT2 掃描上生成偽標簽，以及
• 通過結合真假 HRT2 數(shù)據(jù)（即真實 T2 掃描及其偽標簽、帶有真實標簽的 T2 掃描）進一步訓練，提高 VS 和耳蝸分割的泛化性能。

考慮到我們的任務是在 hrT2 圖像上預測 VS 和 Cochlea，我們首先使用 cycleGAN 將我們有標簽的 ceT1 圖像轉(zhuǎn)換為 hrT2 圖像，從而在之后用生成的 hrT2 圖像訓練分割模型。提出的圖像強度轉(zhuǎn)換（域適應）網(wǎng)絡使用 2D CycleGAN。

Unsupervised Domain Adaptation in Semantic Segmentation Based on Pixel Alignment and Self-Training (PAST)

Hexin Dong，Fei Yu，Jie Zhao，Bin Dong，and Li Zhang

為了解決這個問題，我們提出了一種結合像素級對齊和自訓練（PAST）的有效且直觀的 UDA 方法。首先，我們將有標簽圖像從 ceT1 域轉(zhuǎn)移到 hrT2 域，以便圖像可以對齊到相同的分布。其次，在轉(zhuǎn)換的 ceT1 掃描和 hrT2 掃描生成的偽標簽上進一步訓練模型，它們在 hrT2 域上找到了更好的決策邊界。實驗結果表明，我們的方法大大減少了域偏移，并在驗證集上以 0.8395 的骰子得分獲得了第二名。

[外鏈圖片轉(zhuǎn)存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-3QFTaRgE-1641350566118)(C:\Users\SkrBang\AppData\Roaming\Typora\typora-user-images\image-20220104232231918.png)]

Using Out-of-the-Box Frameworks for Unpaired Image Translation and Image Segmentation for the crossMoDA Challenge

Jae Won Choi

我們使用 CUT，這是一種 patch-wised 對比學習和對抗性學習的 unpaired image-to-image translation 的 GAN 模型，以把 CET1 加權的 MR 圖像（CET1 域）轉(zhuǎn)到 HRT2 加權的 MR 圖像（HRT2 域）的域。接著，對于 HRT2 域進行分割任務，我們利用 nnU-Net ¹，這是一個在醫(yī)學圖像分割中表現(xiàn)出最先進性能（state-of-the-art）的框架。

我們沿 z 軸對 CET1 3D 圖像進行切片以獲取大小為 256 × 256 像素的 N 個圖像，因為 CUT 僅支持 2D 圖像進行訓練。

我們把訓練集中的所有 CET1 圖像在經(jīng)過訓練的域適應模型 CUT 上轉(zhuǎn)換來獲取假的 HRT2 圖像。生成的假 HRT2 圖像沿 z 軸堆疊，以重建訓練集中 CET1 的 3D 數(shù)據(jù)。來自訓練集中相應 CET1 圖像的假 HRT2 圖像和相應的標簽用于訓練分割模型。

我們的結果表明，公開可用的通用深度學習框架可以在沒有新網(wǎng)絡或方法的情況下在醫(yī)學成像中實現(xiàn)一定程度的性能。由于挑戰(zhàn)的情況，這項研究涉及有限范圍的超參數(shù)。對不同預處理和數(shù)據(jù)增強的進一步實驗可能會提高性能。此外，有必要與其他開箱即用的框架進行比較。

，這項研究涉及有限范圍的超參數(shù)。對不同預處理和數(shù)據(jù)增強的進一步實驗可能會提高性能。此外，有必要與其他開箱即用的框架進行比較。

---

sensee, F., Jaeger, P.F., Kohl, S.A., Petersen, J., Maier-Hein, K.H.: nnu-net: a selfconfiguring method for deep learning-based biomedical image segmentation. Nature methods 18(2), 203–211 (2021) ??

總結

以上是生活随笔為你收集整理的Cross-Modality Domain Adaptation的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。