0
| 本文作者： 楊曉凡 | 2017-11-09 10:08 |
雷鋒網(wǎng) AI 科技評論按：AI研習(xí)社公開課系列持續(xù)進行中。此次我們請到香港中文大學(xué)博士陳浩為大家介紹“人工智能在臨床醫(yī)學(xué)影像計算與分析中的應(yīng)用”這一研究熱點，主要從方法、思路、如何結(jié)合問題解決的角度介紹了醫(yī)療影像領(lǐng)域重要會議MICCAI 2017的部分收錄論文。
分享嘉賓陳浩是視見醫(yī)療的創(chuàng)始人兼首席科學(xué)家，在香港中文大學(xué)取得博士學(xué)位并獲得香港政府博士獎學(xué)金，本科畢業(yè)于北京航空航天大學(xué)并獲得金質(zhì)獎?wù)?。研究興趣包括醫(yī)學(xué)影像計算，機器學(xué)習(xí)（深度學(xué)習(xí)）, 計算機視覺等。博士期間發(fā)表數(shù)十篇頂級會議和期刊論文，包括CVPR、MICCAI、AAAI、MIA、IEEE-TMI、NeuroImage等 。擔(dān)任包括NIPS、MICCAI、IEEE-TMI、NeuroImage等國際會議和期刊審稿人。三維全卷積神經(jīng)網(wǎng)絡(luò)相關(guān)論文獲得2016 MIAR最佳論文獎。2014年以來帶領(lǐng)團隊在數(shù)十項國際性醫(yī)學(xué)影像分析和識別挑戰(zhàn)賽中獲得冠軍。
陳浩博士在學(xué)校中研究的就是醫(yī)學(xué)圖像計算方向，這次也就給大家分享MICCAI 2017中他自己感興趣的幾篇論文。
陳浩博士首先介紹了MICCAI會議的情況。MICCAI的全稱是Medical Image Computing and Computer-Assisted Intervention，是計算機影像處理計算（MIC）以及計算機輔助介入（CAI）兩個領(lǐng)域的綜合性會議。MIC中包含的課題包括配準、機器學(xué)習(xí)、圖像分割、傳統(tǒng)CAD（計算機輔助檢測）以及臨床和生物學(xué)應(yīng)用。CAI集中在在介入部分，包括追蹤和導(dǎo)航、介入式影像、醫(yī)用機器人等等。
今年MICCAI中，投MIC方向的論文居多，其余有14%的CAI和6%的MICCAI。總的論文錄取率為32%。從錄取率來看，MICCAI是醫(yī)學(xué)領(lǐng)域的會議中論文錄取比較嚴格的。（錄取率與CVPR、ICCV相當）
MICCAI 2017中，共接收了分屬15個組的255篇論文；圖中標紅的組是錄取量相對比較大的組，包括配準、腦相關(guān)研究、MRI&張肌/纖維處理、光學(xué)成像、運動和心臟圖像分析，還有一個較大的部分是特征提取和分類；論文數(shù)量最多的分組是醫(yī)學(xué)影像計算中的機器學(xué)習(xí)。
MICCAI 會議從創(chuàng)立到2017年剛好是20周年，在世界多地輪流舉辦。今年MICCAI的舉辦地點是加拿大魁北克。
MICCAI 最初是在1998年由三個小會議CVRMed、VBC、MrCAS組成的。2004年時MICCAI Society正式成立。
回顧MICCAI過去20年中被引量最高的文章，有7篇文章是分割和檢測，2015年的U-Net大家也都很熟悉了。
還有9篇文章是做registration，也都比較早了，包括共信息熵、demon算法等著名方法。
有4篇文章是CAI的方向，覆蓋到AR/VR、機器人、規(guī)劃和可視化。
下面陳浩就開始介紹本屆MICCAI上他個人比較感興趣的論文。
第一篇關(guān)于整張圖像的多實例分類學(xué)習(xí)。這項研究的背景是，各種醫(yī)學(xué)圖像中診斷病癥存在時，如果出現(xiàn)一個正例，就可以認為圖像的判定結(jié)果是“有疾病、陽性”；但“無疾病”的判定結(jié)果需要圖像中所有的區(qū)塊都沒有出現(xiàn)正例才行。那這就是多實例學(xué)習(xí)的范疇。
論文名稱是「Deep Multi-instance Networks with Sparse Label Assignment for Whole Mammogram Classification」。模型的總體框架是，首先對輸入圖像進行分割、縮放得到感興趣的區(qū)域，通過CNN提取很多區(qū)塊后，用線性回歸分類器得到可能性排序，最后根據(jù)機器學(xué)習(xí)模型得到影像的判定結(jié)果輸出。
論文中比較了模型訓(xùn)練中三種不同的損失，最大池化損失、標簽設(shè)定損失和這篇文章中提出的稀疏性損失。設(shè)計這些損失函數(shù)的原因如下。
最大池化（Max-pooling）損失是把不同區(qū)塊的可能性進行排序，選取其中最大的，損失表達式就是交叉熵的負對數(shù)似然。它的缺點是，只選擇了所有區(qū)塊中的一個。
對于有多個區(qū)塊是陽性的情況，就很自然地可以想到標簽設(shè)定（Label-assignment）損失，選取出k個正例、其余為負例，然后通過損失函數(shù)訓(xùn)練網(wǎng)絡(luò)。損失函數(shù)里同樣包含了權(quán)重的懲罰項。這種損失邏輯上似乎更合理，但具體計算時如何為不同的圖像選取適合的k值是一個問題。
稀疏性（Sparsity）損失中就規(guī)避了這樣的顯式的k值選取，提出了很好的求解方法。通過選取超參數(shù)μ，配合rn的L1范數(shù)，讓不同區(qū)塊的預(yù)測結(jié)果分別趨向于1或0，實現(xiàn)了稀疏性。
方法的比較結(jié)果如圖中下方表格，其中也包含了先用ImageNet做預(yù)訓(xùn)練再遷移到醫(yī)學(xué)圖像的模型?？梢钥吹?，在AlexNet加上三種不同損失的結(jié)果中，稀疏性損失的模型不僅取得了與預(yù)訓(xùn)練CNN+隨機森林相當?shù)臏蚀_率，AUC更是得到了巨大提升。這樣就在這個數(shù)據(jù)集上得到了很好的表現(xiàn)，而且具有不錯的魯棒性。
論文中作者也展示了模型對不同樣本圖像的響應(yīng)值。第一排圖像中紅框標出的是病灶部位的ground truth，下方是feature map中對應(yīng)位置的評分。可以看到稀疏性損失模型的預(yù)測結(jié)果最好。
第二篇是關(guān)于圖像分割的深度主動學(xué)習(xí)。醫(yī)學(xué)影像分割的ground truth是非常昂貴的，需要有多年臨床經(jīng)驗的專家標注數(shù)據(jù)；一般計算機視覺問題中通過普通人眾包標注建立大規(guī)模標注數(shù)據(jù)集訓(xùn)練模型的方法是行不通的。所以，在數(shù)據(jù)集中只選取有代表性的數(shù)據(jù)進行標注就可以降低費用。
這篇「Suggestive Annotation: A Deep Active Learning Framework for Biomedical Image Segmentation」中的亮點就是采用了主動學(xué)習(xí)的框架，選取不確定的、有代表性的樣本進行標注并訓(xùn)練模型；一直重復(fù)這個過程可以更好地指導(dǎo)模型學(xué)習(xí)，這就是模型中的建議標注suggestive annotation。
模型結(jié)構(gòu)沿用了陳浩博士團隊發(fā)表在CVPR2016的DCNN，并且加入了殘差連接。模型還抽取了1024維的特征向量作為圖像的外觀描述，用來在不同圖像之間做對比、找到有代表性的樣本。
剛才提到要找不確定性和有代表性，“有代表性”實際評估的指標就是圖像的相似度。上圖中，a圖是原始樣本，b圖是FCNN輸出的分割后feature map，c圖是圖像中不同特征預(yù)測結(jié)果的不確定性，d圖中就顯示出不確定性和預(yù)測的準確率是有關(guān)系的，越高的不確定性就對應(yīng)越低的準確率。下面的一排圖像就是根據(jù)1024維的特征向量找到的相似圖像。
模型的實驗結(jié)果如圖，幾張圖中F1分數(shù)表示檢測到腺體的準確率，Dice指分割的準確率。Part A、B是當時比賽時的兩個數(shù)據(jù)集。
圖中黑線指不計算不確定性和相似性，隨機抽取樣本訓(xùn)練的基準組；藍線是僅用不確定性抽取樣本；紅線是不確定性+有代表性的樣本抽取方法；綠色虛線是用所有數(shù)據(jù)訓(xùn)練模型之后的結(jié)果?？梢钥吹郊t線收斂得最快，而且只用50%的訓(xùn)練數(shù)據(jù)就可以接近甚至超過綠線。這就說明了主動選取樣本、引導(dǎo)模型訓(xùn)練的方法在節(jié)省成本和收斂速度方面的有效性。
第三篇是利用無標注數(shù)據(jù)的圖像分割對抗性學(xué)習(xí)，對抗性學(xué)習(xí)也是近期的熱門范式。
模型框架如圖，對于有標注的數(shù)據(jù)，首先采用傳統(tǒng)的有監(jiān)督學(xué)習(xí)方式學(xué)習(xí)分割網(wǎng)絡(luò)SN。然后加入無標注數(shù)據(jù)，當無標注和有標注數(shù)據(jù)同時存在時，通過反向傳播和更新參數(shù)訓(xùn)練評估網(wǎng)絡(luò)EN；在僅有無標注數(shù)據(jù)時，也做反向傳播，但更新的是分割網(wǎng)絡(luò)SN的參數(shù)。過程中，分割網(wǎng)絡(luò)SN和評估網(wǎng)絡(luò)EN對抗式地學(xué)習(xí)，而且也利用到了無標注的數(shù)據(jù)。
損失函數(shù)如圖，這是一個基本的對抗學(xué)習(xí)損失函數(shù)，帶有多類別的交叉熵和二分類的交叉熵。訓(xùn)練過程中分別訓(xùn)練EN和SN。藍框中圈出的部分是等價的。
兩個網(wǎng)絡(luò)的具體結(jié)構(gòu)如圖。評估網(wǎng)絡(luò)EN是一個傳統(tǒng)的CNN網(wǎng)絡(luò)；值得注意的是，它的輸入不僅有原圖像，也有分割結(jié)果的probability map，這是為了更好地利用輸入信息；最后輸出“是否是標注圖像”的評估分值。
實驗結(jié)果方面，圖像分割需要分割到實例級別，可以看到這篇論文中提出的DAN達到了很好的結(jié)果，檢測準確率F1、分割準確率Dice、形狀相似性Hausdorff距離（越小越好）都有不錯的表現(xiàn)。
第四篇文章也是用GAN做的圖像合成。
「Medical Image Synthesis with Context-Aware Generative Adversial Networks」。研究的任務(wù)就是用MRI圖像生成對應(yīng)的CT圖像，這樣做的是可行的，因為圖像中有一些信息是共享的；要這樣做的原因是，用MRI圖像合成CT圖像，就可以避免做CT時的輻射。
網(wǎng)絡(luò)結(jié)構(gòu)如圖，與前面不同的是，生成器這時的輸出就是生成的CT圖像。和一般的GAN一樣，鑒別器要嘗試區(qū)分生成的CT圖像和真實的CT圖像，引導(dǎo)生成器生成越來越真實的CT圖像。
G的損失中，除了對抗鑒別器的一項，當然也要包含“與ground truth接近”的一項；作者還加了一項Image gradient difference loss減小梯度的變化范圍。
作者還提出了一個重要思想auto-context model（圖中ACM），用一系列分類器利用上下文信息，把原始圖像和第一個分類器的分類結(jié)果聯(lián)合作為第二個分類器的輸入，這樣就有一個精細調(diào)整的過程。
可以直觀看到，模型的結(jié)果還是不錯的。
客觀數(shù)據(jù)方面，平均錯誤值MAE（越低越好）和信噪比PSNR（越高越好）都取得了不錯的結(jié)果
下一篇是體積數(shù)據(jù)的分割。
其中用到的DenseNet結(jié)構(gòu)也是今年提出的新網(wǎng)絡(luò)結(jié)構(gòu)，比之前的ResNet有更密集的連接。這種網(wǎng)絡(luò)結(jié)構(gòu)的好處在于，1，每一層都能直接接收到指導(dǎo)信息，也就是隱式的“深度監(jiān)督”；2，特征有很高的復(fù)用程度；3，能夠降低feature map對應(yīng)參數(shù)的數(shù)目
這篇論文「Automatic 3D Cardiovascular MR Segmentation with Densely-Connected Volumetric ConvNets」也就來自陳浩博士團隊，任務(wù)目標是全心臟的三維體積分割，采用了三維全卷積神經(jīng)網(wǎng)絡(luò)，并且把下采樣的路徑分成了不同的DenseBlock塊，在不同的DenseBlock中增加池化層增大感受野。
模型中還帶有輔助側(cè)路徑，是一種顯式的梯度傳播增強方法。
結(jié)果方面，分割上取得了不錯的結(jié)果
不同的網(wǎng)絡(luò)間比較，DenseVoxNet用更少的參數(shù)數(shù)量（也帶來了更快的訓(xùn)練速度）取得了更好的數(shù)據(jù)。
前面的論文中都是基于單模態(tài)的數(shù)據(jù)，這篇「Deep Correlation Learning for Survival Prediction from Multi-modality Data」就是多模態(tài)的深度相關(guān)學(xué)習(xí)。
網(wǎng)絡(luò)中有病理圖像的數(shù)據(jù)輸入，也有蛋白質(zhì)、基因等多模態(tài)數(shù)據(jù)，特征聯(lián)合之后形成輸出。
但其實在常見的網(wǎng)絡(luò)結(jié)構(gòu)之后也有新的做法，第一個是用關(guān)聯(lián)耦合系數(shù)提高數(shù)據(jù)的關(guān)聯(lián)性，更多利用共有的信息；不過這不一定會對最終目標帶來提高。然后針對論文中具體研究的生存時間問題，又設(shè)計了一個損失函數(shù)做精細調(diào)節(jié)。這樣就用無監(jiān)督方法挖掘相關(guān)信息，再用有監(jiān)督學(xué)習(xí)改進。
從結(jié)果中可以看到單獨依靠圖像數(shù)據(jù)和單獨依靠蛋白質(zhì)/CNV數(shù)據(jù)的預(yù)測方法，結(jié)果都不太高。結(jié)合起來之后，可以達到最高的結(jié)果。
還有一個方向是，人體器官的形狀是比較固定的，那么就帶有固定形狀的先驗知識進行深度學(xué)習(xí)。
這個方向里要介紹的兩篇論文中的第一篇用到PCA，經(jīng)過主成分分析后，數(shù)據(jù)點都可以由主成分的線性組合得到。這里的U就存儲了基本形狀的表征。
這篇論文中就利用了這一點，模型最后的PCA層中計算權(quán)重w和位移s，以Uw+μ+s作為任一數(shù)據(jù)點的表征。最后再降低yi的預(yù)測和ground truth之間的損失，從而得到大致的形狀，剪切出更精細的形狀進行堆積，得到更精細的結(jié)構(gòu)。
結(jié)果方面，首先做了圖像分割任務(wù)，與CNN、U-Net取得了相當?shù)木担畲笾岛妥钚≈刀际穷I(lǐng)先的；右側(cè)的分布圖中也可以看到結(jié)果比較魯棒。另一個測試是點的定位任務(wù)，誤差距離也更小。
另一篇論文也是研究點的定位，在影像中找關(guān)鍵點。文章中研究的具體問題是脊柱側(cè)彎的關(guān)鍵點檢測。
輸入X光圖像，經(jīng)過卷積層后，BoostLayer的作用是去除大于兩倍標準差σ的偏離值，再經(jīng)過帶有脊椎形狀約束的Spinal Structured層之后，就可以輸出關(guān)鍵點的定位結(jié)果。
結(jié)果方面，論文所提的方法很好地抓取到了脊柱的形狀，包括側(cè)彎/病變的情況；傳統(tǒng)CNN對有病變的情況就處理得差一些。量化結(jié)果方面也取得了很低的錯誤率。
陳浩博士還分享了一個好消息，他們團隊的論文「3D deeply supervised network for automated segmentation of volumetric medical images」就拿下了MIA-MICCAI 2017的最佳論文獎，其中也用到了深度監(jiān)督的思想，在不同的任務(wù)（肝臟或者心臟分割）中取得了不錯的效果。
論文分享后，陳浩博士根據(jù)自己的研究經(jīng)驗總結(jié)道：
首先數(shù)據(jù)是非常重要的，畢竟獲取數(shù)據(jù)的代價是非常高的；
有一些結(jié)合問題的好的先驗知識和有深度的想法也對研究有所幫助；
這次在MICCAI，陳浩博士也觀察到，深度學(xué)習(xí)不僅在計算機視覺領(lǐng)域火熱，在醫(yī)學(xué)圖像計算中也很火，不過想要從實驗室走到臨床的話，解釋性仍然是一大問題；
深度學(xué)習(xí)對計算能力的要求也非常高；
病理全切片有巨大的數(shù)據(jù)量，如何利用計算平臺、算法對其進行分析也是一個重要課題；
圖像的語意分割問題上雖然取得了很大進步，但是否已經(jīng)可以認為解決了這個問題了、臨床上是否需要這樣的分割還需要思考；
以及，在算法以及數(shù)據(jù)集的制約下，模型的泛化性往往還是較差的，這也是應(yīng)用到實際醫(yī)療診斷中還需要解決的問題。
陳浩博士分享了幾張在魁北克參加MICCAI時的照片
也歡迎大家參加在西班牙召開的MICCAI 2018和在香港召開的MICCAI 2019和IPMI（Information Processing in Medical Image）2019。
最后陳浩博士簡單介紹了一下他們的實驗室，在王平安教授帶領(lǐng)下，現(xiàn)在有二三十位PhD共同在做醫(yī)學(xué)影像分析和機器學(xué)習(xí)方面的研究。陳浩博士本人也是在今年年初創(chuàng)立了視見醫(yī)療科技，獲得了幾輪融資后也在招聘全職和實習(xí)生，歡迎發(fā)簡歷給他們，共同在人工智能醫(yī)療領(lǐng)域中做一些有意思的、能對世界產(chǎn)生影響的事情。
（完）
感謝嘉賓分享，雷鋒網(wǎng) AI 科技評論整理。更多學(xué)術(shù)消息、人工智能相關(guān)新聞報道、更多專家學(xué)者公開課，請繼續(xù)關(guān)注雷鋒網(wǎng) AI 科技評論。
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
