近日，第二屆圖像計算與數(shù)字醫(yī)學國際研討會（ISICDM 2018）在成都圓滿落幕。

本次大會由國際數(shù)字醫(yī)學會主辦，電子科技大學信息與通信工程學院承辦，第三軍醫(yī)大學、中國科學院深圳先進技術(shù)研究院、數(shù)學圖像聯(lián)盟協(xié)辦。

中國解剖學會理事長、國際數(shù)字醫(yī)學會主席、中華醫(yī)學會數(shù)字醫(yī)學分會主任委員、第三軍醫(yī)大學張紹祥教授（少將）擔任本次大會的名譽主席，大會主席分別由美國羅格斯大學Dimitris N. Metaxas教授、廣東省人民醫(yī)院影像醫(yī)學部主任兼放射科主任梁長虹和南方醫(yī)科大學方馳華教授擔任。

電子科技大學李純明教授作為ISICDM會議的發(fā)起人和程序主席，負責論壇形式、議程、報告主題的設(shè)計與專家邀請工作。

在大會第二天的“醫(yī)生談臨床需求與挑戰(zhàn)”專場，北京協(xié)和醫(yī)院陸菁菁教授應(yīng)李純明教授邀請，向與會者分享了題為《盆腔器官分割和建模的嘗試與挑戰(zhàn)》的精彩專題報告。

陸菁菁教授與大會程序主席李純明教授

陸菁菁教授畢業(yè)于北京協(xié)和醫(yī)學院，后進入北京協(xié)和醫(yī)院放射科工作，歷經(jīng)住院醫(yī)、住院總、主治醫(yī)、副主任醫(yī)，現(xiàn)為主任醫(yī)師、碩士生導(dǎo)師，2010年5月至2011年5月為哈佛醫(yī)學院麻省總醫(yī)院訪問學者。

以下為陸菁菁教授的演講內(nèi)容，雷鋒網(wǎng)AI掘金志經(jīng)授權(quán)，作了不改變原意的編輯：

陸菁菁教授首先介紹了男性和女性的盆腔結(jié)構(gòu)，她認為，復(fù)雜的人體盆腔結(jié)構(gòu)有著巨大的可變性，也帶來了千變?nèi)f化的臨床問題，臨床診斷和治療方案的量身定制就變得很重要。

對于盆腔，目前醫(yī)院里主流的影像學檢查主要包括超聲、CT和核磁，其中，最常見的是超聲。雖然超聲科的超聲檢查很方便也很常見，但是它給出的報告卻因操作者而異，而且不夠直觀。相比之下，放射科的CT和磁共振圖像就很直觀，比如，CT會根據(jù)組織密度的不同來成像，骨頭就是白的，像低密度的水、尿液和脂肪等就是黑的，但是CT對于盆腔軟組織、比如子宮的密度都很接近，顯示不清楚，而磁共振就很好地解決了這個問題，能夠看清楚很多器官和組織，比如上圖明亮的卵巢囊腫和分三層結(jié)構(gòu)的子宮，這一特點決定了磁共振在盆腔檢查里有很好的適用性。

核磁共振的原理很復(fù)雜，但是也可以用幾句話簡單來說明一下：磁共振沒有電離輻射傷害，是一種很好的檢查。它發(fā)出的射頻脈沖是一個波長非常長的電磁波，經(jīng)過人體的組織，質(zhì)子經(jīng)過激勵以后，會能級躍遷到一個新的狀態(tài)，經(jīng)過三維梯度場的轉(zhuǎn)換后發(fā)出信號，再被接收線圈接收以后，通過計算機進行一個變換、其中包括傅里葉變換、模數(shù)轉(zhuǎn)化等，來形成一個數(shù)字化的圖像。

通常，我們在臨床上采集的經(jīng)典圖像方位是橫軸位，矢狀位和冠狀位。最常用的是橫軸位圖像。

在磁共振領(lǐng)域，還需要了解的一個概念是T1加權(quán)像和T2加權(quán)像。所謂T1和T2加權(quán)像，簡單來說就是質(zhì)子經(jīng)過激勵以后會產(chǎn)生一個縱向弛豫和橫向弛豫，通過兩個弛豫特征的加權(quán)來提取組織不同的特點。比如說T1加權(quán)像上的尿液是“黑”的，而在T2加權(quán)像上是“白”的。為了便于科普，可以用“一青二白”來簡單的概括，就是說水在T1加權(quán)像是“青”的，T2加權(quán)像是“白”的。

上圖就是一個橫軸位圖像，我們能看到骨頭，能看到雙側(cè)卵巢，能看見卵泡，它是最常用的。中間的這個圖像是矢狀位，和之前看的解剖圖一樣，能看見子宮內(nèi)膜、結(jié)合帶、肌層和漿膜、宮頸，這張圖是女性盆腔里大家最愿意看到的一張圖。它最直觀，如果患者長了肌瘤和畸形，都可以看得特別清楚。后面這個是冠狀位，主要作為參考，這個圖像上能看到卵巢相對位置等等一般觀察女性盆腔，主要使用的是橫軸位圖像和矢狀位圖像。

做盆腔掃描的時候，一般一個序列會有二十多個層面圖像，每個層面間隔是五毫米，相互之間有時候會出現(xiàn)容積效應(yīng)，而且因為不是等像素各項同性采集，在做圖像處理的時候會產(chǎn)生一些問題，但是可以有辦法去解決。

所以放射科醫(yī)生是怎么讀片？就是一層一層地觀察圖像。舉個例子，這是一個T2加權(quán)像序列，可以看到膀胱，尿液是亮的，然后能看到子宮，然后能看到雙側(cè)卵巢，接著是宮頸，宮頸再往下一層一層延續(xù)下去就是陰道。

放射科大夫首先要了解正常的結(jié)構(gòu)，先知道正常是什么樣，然后出現(xiàn)一個異常改變的時候就會很敏感的發(fā)現(xiàn)病灶所在。

深度學習或者說AI能做的最簡單的任務(wù)就是能幫助大夫識別這些結(jié)構(gòu)。人體有639塊肌肉，如果不是相關(guān)領(lǐng)域的專家，一般醫(yī)生很難全部都分清楚哪塊是哪塊，所以基于深度學習的盆腔結(jié)構(gòu)語義分割就可以去嘗試一下。

陸菁菁教授所在的團隊首先從簡單的肌肉骨骼結(jié)構(gòu)分割開始做起，事先評價了該任務(wù)可能會遇到的挑戰(zhàn)：比如形狀多變、不同結(jié)構(gòu)信號相似度高和缺少標注數(shù)據(jù)等問題。

在數(shù)據(jù)標注環(huán)節(jié)，第一例陸菁菁教授花了一個星期的時間，一有時間就去標，后面的速度就稍微快一點，再加上團隊成員一起標注，做了15例標注以后就開始訓練算法，然后再進行結(jié)構(gòu)自動語義分割的嘗試。

訓練數(shù)據(jù)時使用的FCN（全卷積神經(jīng)網(wǎng)絡(luò)）算法，即使有了強大的數(shù)據(jù)增強功能，F(xiàn)CN也只能粗略地描述結(jié)構(gòu)的輪廓。團隊隨后提出了一種用于復(fù)雜盆腔結(jié)構(gòu)分割的注意力-金字塔網(wǎng)絡(luò)，并采用了一種圖像變形的數(shù)據(jù)增強策略，能夠把只有十幾張和幾十張圖像擴充到幾萬張，讓標注樣本更加有效。

實驗結(jié)果表明，APNet效率是最高的，對細節(jié)的把握度也是最好的，也就是說，團隊使用這個算法去把常規(guī)的盆腔圖像輸入進去，就已經(jīng)能夠自動識別肌肉和骨骼結(jié)構(gòu)了，這已經(jīng)對放射科大夫有了很大幫助，如果更進一步，把全身639塊肌肉認全，真正接地氣的應(yīng)用也許就會出現(xiàn)。

總的來說，從分割算法的角度，根據(jù)不同的挑戰(zhàn)，采取不同的策略來進行算法的修正，才能達到很好的效果。

這個是學生做的自動分割和手動分割的圖像，當然還是很初步的工作。

對肌肉的體積測量，也可以使用自動的方法，和人工測量的金標準是非常接近的?？偟膩碚f，雖然有些細節(jié)可能還沒有手動分割的那么精準，但是將來可以再做的更好。

從醫(yī)學展望的角度看，肌肉結(jié)構(gòu)的自動識別可以提高醫(yī)生的工作效率，另外肌肉的定量測量可以做一些肌肉萎縮性疾病的評價和監(jiān)測，比如肌少癥。在老齡化的大背景下，監(jiān)測老年人的肌少癥可以改善患者的生活質(zhì)量，這個還可以對患者以前做過的盆腔核磁或者是某個部位的核磁來進行動態(tài)的監(jiān)察，不需要再去專門的為患者肌肉體積的測量來做額外CT的檢查或者是其他的檢查。另外盆腔結(jié)構(gòu)的自動分割和建模可以作為盆底功能障礙、盆腔徑線測量和手術(shù)計劃擬定的一個基礎(chǔ)性的建設(shè)。

陸菁菁教授團隊也比較了一些既往的研究，比如這篇14年發(fā)表在JMRI的文章，文章著重研究了肌群而不是單塊肌肉，使用的是水脂分離的磁共振特殊掃描技術(shù)，算法則是非深度學習算法的Multi-atlas算法。

2011年在MRI雜志上發(fā)表的這個研究，做了橫截面的圖像，嘗試分割了不同的大腿肌肉，也沒有使用深度學習的算法，而使用的是特征提取的算法。

這是2017年Medical physics上的一篇文章，它做了全身的大量器官的自動識別和分割，并且通過三種算法的比較，得出結(jié)論說CNN是最好的一種算法，分割效率相對最高。

文章把人體器官分成幾大類，比如說左肺，右肺，肝臟和腎臟等等，還計算一下它們的符合度和相似度，并且總結(jié)了算法的相對優(yōu)勢和劣勢，值得學習和借鑒。

還有，這篇2018年的文章利用了深度卷積神經(jīng)網(wǎng)絡(luò)這種比較先進的算法，而且也是比較有實用性的一篇文章。

它利用了不是很大的樣本量來達到很多結(jié)構(gòu)的這些識別，比如股骨、股骨的軟骨、脛骨和髕骨、甚至是肌腱和韌帶等等。

當然還有其他各種挑戰(zhàn)，比如克服器官變形和圖像偽影的挑戰(zhàn)，這些可以個人通過經(jīng)驗提前看出來，但是機器可能需要較大量的樣本圖像去訓練它，機器才能學習到。

還有就是器官的三維重建。

這是陸菁菁教授和婦產(chǎn)科團隊合作，應(yīng)用3D打印技術(shù)手術(shù)前診斷女性生殖道畸形的一例報告。模型是手動一層一層的畫出來，勾畫平滑以后，通過結(jié)合3D打印技術(shù)做出來的。

這是學生的初級工作，在子宮畸形上，開創(chuàng)性地運用不同的顏色去標示不同的結(jié)構(gòu)，包括骨盆、子宮等等等等，能實現(xiàn)但是太費勁。

那么能不能做自動分割和重建呢，后來團隊做了識別以后就做了一個簡單初級的三維重建。

三維重建的意義是什么呢？其實婦產(chǎn)科的大夫不愿看核磁的圖像，更愿意直接去手術(shù)，如果是有一個三維模型的話，他的接受度就會提高。

自動分割和三維重建在直腸和膀胱這些變形度較高的結(jié)構(gòu)圖像上都有比較大的需求。

最后一個比較大的需求就是多模態(tài)圖像的融合和三維顯示。

比如這個患者的核磁圖像，有深部內(nèi)異癥導(dǎo)致卵巢的粘連、宮頸后壁和直腸前壁出現(xiàn)粘連帶，要用很復(fù)雜的語言才能解釋清楚，來指導(dǎo)腹腔鏡的手術(shù)。但要是跟婦科大夫去講磁共振圖像，婦科大夫接受度是比較低的。

團隊嘗試了圖像勾畫和陰道內(nèi)打藥，然后在三維圖像上直觀顯示出了病灶的位置。

并且病灶往往位于多個地方，比如不光是在宮頸發(fā)，有可能在卵巢，用一個三維的顯示方法，讓多個病灶同時發(fā)生在不同的位置和不同的形態(tài)得以立體展示，能夠更好的告訴我們的婦產(chǎn)科大夫。

還有就是核磁圖像雖然能顯示子宮、宮頸和韌帶，但很難看清楚子宮的動脈，很難看清楚坐骨結(jié)節(jié)，但是CT能看清楚，所以團隊把這兩個模態(tài)又融合起來，能夠相互參考，但是目前展現(xiàn)效果還需要進一步提高。

在將來，可以通過更加復(fù)雜多模態(tài)圖像融合和三維顯示將患者多模態(tài)影像信息數(shù)字化，患者所有的信息都在里面，這樣對臨床大夫也好、對影像科大夫也好，都可以很直觀、便捷地去提取這個信息。

謝謝大家。

作為全程參加完三天大會的醫(yī)生嘉賓，陸教授除了在“醫(yī)生談例臨床需求與挑戰(zhàn)”專場作了深度報告外，還在“醫(yī)工交流會”專場擔任分享嘉賓，向臺下的工科人展示了她們團隊當下需要解決的宮頸區(qū)域分割難題和CT、fMRI數(shù)據(jù)融合問題。會場氣氛十分活躍，眾多工科學者和業(yè)者向陸菁菁教授講述了他們的解決方法，醫(yī)工雙方均受益頗多。

陸菁菁教授與李純明教授探討圖像分割問題

當天晚上，陸菁菁教授同時作為“臨床數(shù)據(jù)分析挑戰(zhàn)賽決賽”的評委，點評決賽選手的所有圖像分割結(jié)果。決賽結(jié)束后，不少參賽選手紛紛談到陸教授的意見之寶貴，這是他們在其他地方難以學習到的。

雷鋒網(wǎng)雷鋒網(wǎng)雷鋒網(wǎng)

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。