實驗室長期運用資訊科學技術解碼情緒神經基礎研究與輔助臨床疾病機轉探討。近年也運用深度學習來開發所需的分析技術，輔助基礎研究議題探討與臨床應用。
-
運用深度學習技術建立以MRI影像生成18F-FDG PET影像模型
不同類型醫療影像能夠提供特定之診斷訊息，如：MRI中T1權重影像(T1-weighted image, T1w image)提供高空間解析度之組織對比結構影像，可觀察到組織器官之間的空間資訊；正子斷層攝影(18F-fluorodeoxyglucose positron-emission tomography, 18F-FDG PET)能觀察葡萄糖代謝(吸收)的情況，間接觀察細胞的活動量。近年來，已有大量研究運用深度學習技術於跨類型之影像轉換(image-to-image translation)議題上，如：CT-to-MRI影像轉換以及MRI-to-PET影像轉換。然而影像轉換技術所使用之複雜的神經網路模型如同一個無法解讀之黑盒子，難以從外部去了解其中轉換原理，除此之外，兩種不同類型之醫療影像其背後之成像原理不同，以影像轉換技術所生成的目標影像是否足具代表性與正確性一直都是受醫界質疑的。因此我們將研究重點放在兩種影像進行轉換時中間的過程，藉由中間層的可視化與解讀，希望可以從中探索在醫學領域中的合理性(plausibility)。
我們的研究藉由發展可解釋之T1w-to-PET影像轉換技術(explainable AI for T1w-to-PET)，證實T1w-to-PET影像的過程可以被區分為腦組織分割(brain tissue segmentation)和腦區識別(brain region recognition)兩個階段，這樣的結果可驗證大腦解剖學中所提及之神經元本體以及突觸聚集於灰質以及皮質下(subcortical)區域，因此該區域所需之養分較高，葡萄糖吸收率也較高。我們發現深度學習模型在影像轉換過程中，内隱地提取灰質體積資訊，且部分腦區(海馬迴、杏仁核等)的內在表徵具有識別正常衰老和阿茲海默症相關的腦區方面的能力，這些特色與臨床醫學研究高度相關，同時部分地驗證了深度學習模型在醫學上的合理性。
Chia-Hsiang Kao, Yong-Sheng Chen, Li-Fen Chen*, Wei-Chen Chiu*. Demystifying T1-MRI to FDG18-PET image translation via representational similarity. 24th International Conference on Medical Image Computing & Computer Assisted Intervention (MICCAI), Strasbourg, France, Sep 27 – Oct 1, 2021
-
運用深度學習技術開發腦微出血自動分割模型
目前大腦微小出血(microbleeds)標記依舊依賴放射科醫師或神經內科醫師手動標註，相當耗費人力與時間，因此我們利用物件偵測模型，開發自動化腦微出血偵測與實體分割模型。我們使用3-dimensional (3D) Multi-Resolution RCNN模型，該模型改良於Mask R-CNN模型，不同以往2D模型，我們加入Z軸資訊並使用3D convolutional neural networks (CNNs) 學習整體微出血的特徵。同時使用multi-resolution方法，不僅保留小物件偵測之空間解析度，也增加特徵圖的多樣性，使得模型在偵測和實體分割微出血的準確率上得到明顯的提升。我們通過提出的 refinement head 迴歸、高解析度的bounding boxes和使用分支模型的mask 生成更加精準的segmentation masks，從而解決了這個問題。和過往 Retina U-Net 模型相比，我們模型在微出血偵測的準確率(APb@0.5)上提高了 41.1百分點，同時在微出血實體切割的準確率 (APm@0.5) 上提高了 13.7 百分點。
I-Chun Liu, Chien-Yao Wang, Jiun-Wei Chen, Yu-Hsien Chiu, Wei-Chi Li, Li-Fen Chen, and Hong-Yuan Mark Liao.
-
可解釋性AI模型應用於電腦輔助視網膜疾病診斷系統
視網膜病變為視覺損傷之主要成因，早期診斷與長期追蹤能幫助醫師進行診斷和決定治療方針，達到降低損傷和治療病患之目的。本研究團隊建立一電腦輔助診斷與追縱系統(Computer-Aided Diagnosis system) ，可提供多類別視網膜病變疾病分類與病程追蹤之功能。其中，我們所設計之可解釋性分類模型，不僅能夠分類多種視網膜疾病，同時以視覺化之方式提供單一病患之疑似產生病灶區域 (Suspect Pathologic Regions) 之分布圖，幫助醫師快速注意疾病相關區域繼而幫助醫師進行診斷。除此之外，藉由時序上之對位方法，我們整合時間序列資訊與前述之疑似產生病灶區域分布圖，達到長期追蹤病患之病程關訊息，繼而減少醫師對病況回溯所需時間，提昇醫師後續治療方針決策之效能 (Efficiency)。該系統能夠針對不同病患，產生單一病患之輔助診斷報告。
Yu-Hsien Chiu, Chiu-Jung Huang, Da-Wei Wang, Hong-Yuan Mark Liao, Yong-Sheng Chen, Po-Kang Lin, Li-Fen Chen*. Classification of multi-retinopathu in free field-of-view retinal fundus photographs. (in preparation)
-
基於光束成像之跨頻相位振幅耦合(beamformer-based imaging of phase-amplitude coupling, BIPAC)估測法
為了探究大腦腦區訊號的交流，我們開發出一種新穎的基於光束成像之跨頻相位振幅耦合(beamformer-based imaging of phase-amplitude coupling, BIPAC)估測法，用於量化跨腦區間之相位振幅強度，並證明了其在訊號源定位、方向及耦合強度之估測準確度。這個方法可用於估算跨頻耦合連結腦區腦造影，可用來觀察到大腦訊息傳遞。
Hui-Ling Chan+*, Intan Low+, Li-Fen Chen, Yong-Sheng Chen, Jen-Chuen Hsieh*. A novel beamformer-based imaging of phase-amplitude coupling (BIPAC) unveiling the inter-regional connectivity of emotional prosody processing in women with primary dysmenorrhea. Journal of Neural Engineering, 18:046074.