利用基於幾何關係的擴增技術從OCT圖像進行病理視網膜區域分割

4522 人參與      分類 : 科學  


利用基於幾何關係的擴增技術從OCT圖像進行病理視網膜區域分割

大型數據集的像素級手動注釋需要高度的專業知識,而且非常耗時。傳統的數據擴增由於不能完全代表訓練集的基本分布,因此在對不同來源的圖像進行測試時,影響了模型的魯棒性。

雖然深度學習方法展示了醫學圖像分析任務的最新成果,但其魯棒性取決於不同訓練數據集的可用性,學習不同的疾病屬性,如外觀和形狀特徵。用於分割的大規模數據集注釋需要圖像像素標記,這非常耗時,並且涉及到高度的臨床專業知識。這個問題對於病理圖像來說尤其嚴重,對於發病率較低的疾病,很難獲得不同的圖像,因此需要進行數據擴增。

傳統的擴增方法(如圖像旋轉或變形)的好處有限,因為它們不能完全代表訓練集的潛在信息分布,並且對參數選擇敏感。最近的研究提出通過使用合成數據來擴增和增加訓練樣本的多樣性來解決這個問題。然而,這些方法並沒有很好地解決一些困難。

由 Amy Zhao 等人提出的一種基於學習的配准方法,將圖像配准到圖集中,利用相應的變形場對分割掩模進行變形,得到新的圖像數據。但這種方法要面對以下問題:1)由於配准誤差會傳播到後續階段,不準確的配準會對數據生成過程產生不利影響;2)對於正常人的圖譜,由於外觀或形狀的變化,很難從病患的圖集中註冊圖像。這與視網膜光學相干斷層成像(OCT)圖像中的層分割特別相關,在 OCT 圖像中,正常和患病病例的層形狀有很大的差異。

使用生成性對抗網路(GAN)進行數據擴增的方法在醫學圖像分類方面取得了一定的成功。然而,由於它們不能模擬不同器官之間的幾何關係,而且大多數擴增方法不能區分正常和病變樣本,因此它們對分割的相關性有限。因此,需要考慮不同解剖區域之間的幾何關係的擴增方法,並為病變和正常病例生成不同的圖像。當前擴增方法的另一個局限性是它們沒有以原則性的方式納入多樣性。

文章提出了一種改進的基於 GAN 的醫學圖像合成方法,通過聯合編碼幾何和形狀的內在關係。潛在空間變數採樣可以從基本圖像中生成不同的圖像,並提高了魯棒性。基於改進的數據擴增在深度學習系統中產生更好分割性能的前提下,假設通過考慮解剖結構的形狀和幾何結構之間的內在關係,可以改進合成圖像的生成。在本文中,我們提出了一個幾何感知形狀生成對抗網路(GeoGAN),該網路學習生成所需解剖結構的可信圖像(例如視網膜 OCT 圖像),同時保留幾何和形狀之間的學習關係,作出了以下貢獻:

  1. 與標準數據擴增相比,結合幾何信息有助於生成真實和定性不同的醫學圖像和形狀。其他的方法並沒有把這種解剖部位之間的幾何關係結合起來。
  2. 在類標籤上使用不確定抽樣和條件形狀生成來引入掩碼生成過程中的多樣性。與以往的方法相比,在不同階段嘗試多樣化,並引入了輔助分類器,以提高生成圖像的質量和準確性。

本文使用的數據擴增方法:1)建立多個分割標籤之間的幾何關係;2)保留原始圖像的疾病類別標籤,以學習疾病特定的外觀和形狀特徵;3)通過不確定性採樣,在圖像生成過程中引入多樣性。利用圖像集和分割掩模對發生器進行訓練,鑒別器提供反饋以提高發生器的輸出。

此方法的主要目的是學習解剖區域的輪廓和其他特定的形狀信息,從一個基本圖像及其相應的人工掩模生成一個新的圖像和分割標籤映射。空間變換網路(STN)將基礎遮罩轉換為具有不同位置、比例和方向屬性的新形狀;發生器通過輸入和輸出掩碼的期望標記向量輸出仿射變換矩陣;鑒別器數據決定輸出圖像是否保留所需的標籤,它的任務是確保生成的掩模和圖像是真實的。

對不同數據擴增方法進行比較,實驗共分為以下步驟:1)將數據集分成訓練(60%)、驗證(20%)和測試(20%)的集合,這樣任何患者的圖像都只有一個集合。2) 使用訓練圖像來訓練圖像生成器。3) 從驗證集生成形狀,並在生成的圖像上訓練 UNet 分割網路。4) 使用訓練過的 UNet 分割測試圖像。5) 對不同的數據擴增方法重複上述步驟。

比較結果表明,當應用於視網膜 OCT 圖像的病理區域分割時,所得到的擴增數據集優於標準數據擴增和其他競爭性方法。對於形狀,分類和採樣項之間的協同作用可以改進分割,此方法可用於其他醫學成像模式,而無需對工作流程進行重大更改。

儘管這種方法有很好的性能,但是當圖像採集過程的固有特性導致基礎圖像有雜訊時,以及當流體區域與其他層有很大重疊時,會發生失效情況。雖然這種情況不太常見,但在醫學領域可能是至關重要的,因此還需要提升此方法在各種醫學成像模式上的穩健性。

致謝

本論文由 iSE 實驗室 2021 級學生葉宇暉轉述。