編者按：7月12日-7月14日，2019第四屆全球人工智能與機器人峰會（CCF-GAIR 2019）于深圳正式召開。峰會由中國計算機學會（CCF）主辦，雷鋒網(wǎng)、香港中文大學（深圳）承辦，深圳市人工智能與機器人研究院協(xié)辦，得到了深圳市政府的大力指導，是國內(nèi)人工智能和機器人學術界、工業(yè)界及投資界三大領域的頂級交流博覽盛會，旨在打造國內(nèi)人工智能領域極具實力的跨界交流合作平臺。

7月14日， 英國皇家科學院、加拿大科學院院士，計算機視覺領域的泰斗級人物Demetri Terzopoulos教授發(fā)表了主題為《The Application of AI to Medical Imaging and Healthcare》的演講。

作為AI醫(yī)療專場的開場嘉賓，Demetri Terzopoulos教授系統(tǒng)地回顧了計算機視覺的歷史：從最初模式識別的方法，到后來基于模型的方法，現(xiàn)在則是過渡到了深度學習階段。

從1978年開始，Demetri Terzopoulos教授就嘗試使用計算機對醫(yī)學圖像進行分析。上世紀80年代開始，Demetri Terzopoulos開始了基于可形變模型的醫(yī)學影像研究。

1987年，Demetri Terzopoulos與Kass等合作提出了著名的Snake模型，合作發(fā)表的論文也在IJCV 第一期Marr獎特刊中獲獎，是計算機科學中被引用次數(shù)最多的論文之一。模型提出后，各種基于主動輪廓線的圖像分割、理解和識別方法蓬勃發(fā)展。

在演講中，教授列舉了多個使用主動輪廓模型進行圖像分割與重建的案例。

Demetri Terzopoulos教授認為，計算機科學、人工智能和信息技術有巨大的潛力，可以賦能醫(yī)學事業(yè)，這對未來的創(chuàng)新是最大的源泉。但是，他也提醒，“我們有前沿的數(shù)據(jù)驅動的機器學習技術和強大的模型為基礎的方法，但是不能盲目的認為，深度學習的單兵作戰(zhàn)就可以解決所有問題?！?/p>

Demetri Terzopoulos教授提出的這一觀點，也映照了近年來深度學習漸漸呈現(xiàn)出的一些弊端，例如“需要大量數(shù)據(jù)進行訓練”、“可解釋性差”等。

在接受雷鋒網(wǎng)采訪時，Demetri教授也坦言，深度學習已經(jīng)有五六年的歷史了，在很短的時間內(nèi)影響了很多不同的領域。而現(xiàn)在深度學習面臨諸多挑戰(zhàn)，也是很正常的現(xiàn)象，任何技術的發(fā)展都不會直線上升的狀態(tài)，總會遇到低潮。

“病灶分割就是一個非常困難的問題。標記昂貴一致性差的任務上，我們在深度網(wǎng)絡上并沒有獲得非常出色的性能。另一個大問題是配準問題。你有多個數(shù)據(jù)集、多個圖像模式，必須把它們配準在一起。例如，當你在做心臟分析的時候，追蹤是很重要的，因為身體里的血管結構在泵血，就像人在運動一樣。因此，圖像的配準和分割等步驟一樣，實現(xiàn)起來難度也很大。”

因此，他透露，自己最近的興趣是把機器學習方法和此前基于模型的技術結合起來，這樣做是為了產(chǎn)生更強大的醫(yī)學圖像分析算法。

“基于模型的方法能更好地解釋分割過程中的情況。事實上，你可以和一個方法進行交互?；谀Ｐ偷募夹g有很多優(yōu)點，例如其中的一些并不需要大量的訓練數(shù)據(jù)。所以把這兩種技術結合起來，我認為是未來的發(fā)展方向。”

目前，Demetri Terzopoulos教授擔任體素科技聯(lián)合創(chuàng)始人兼首席科學家。

他表示，體素科技是一家非常年輕的公司，上海和洛杉磯是主要所在地。在洛杉磯設點的原因在于，公司離加州大學洛杉磯分校（UCLA）很近，因為UCLA有美國西部最好的兩家醫(yī)院之一（UCLA Medical Center）、醫(yī)學院以及很多優(yōu)質(zhì)的醫(yī)療項目。

當然，在具體的病種種類上，體素科技以胸部CT、眼底彩照、冠脈CTA、皮膚四項全病種解決方案作為整體的發(fā)力方向。Demetri教授表示，“到目前為止，我們是發(fā)展全病種體系的系統(tǒng)技術，我覺得這是我們最大的成就之一?！?/p>

以下為Demetri Terzopoulo教授的現(xiàn)場演講內(nèi)容，雷鋒網(wǎng)作了不改變原意的編輯及整理：   

Demetri Terzopoulos：大家好。謝謝主持人對我的介紹。我想感謝會議主辦方和所有的工作人員組織這次活動。

今天想給大家講一下人工智能在視覺計算和醫(yī)學領域的應用。

大家知道，在醫(yī)學影像這個領域有一些驅動力。首先是我們的圖像識別發(fā)展的特別快，而且我們積累的醫(yī)療數(shù)據(jù)也非常多，我們積累了很多關于病人歷史的病歷數(shù)據(jù)，有了這樣的數(shù)據(jù)和技術的支持，我們可以實現(xiàn)更多東西。

但是現(xiàn)在也有一些挑戰(zhàn)，醫(yī)學還欠缺一些技術。中國這樣人口眾多的國家，對醫(yī)療的需求量還是非常大的。這里有一些數(shù)據(jù)，每年都會有非常多的診斷量，其中多個診斷發(fā)生了錯誤，這在醫(yī)療上面是比較常見的。這些錯誤的診斷也許發(fā)生在早期，也有可能發(fā)生在后期治療過程中。

如何應對這樣一些挑戰(zhàn)呢？我們希望能夠用計算機的能力來賦能醫(yī)療。

在醫(yī)學影像方面，我們需要解決哪些具體的問題呢？比如圖像分割、配準、圖像的重構、建模、運動模型分析以及計算機輔助診斷，以及治療過程當中的跟蹤，這些是我們將會遇到的問題。

可以看一下計算機技術在醫(yī)學領域進化的歷史。

最初我們使用模式識別的方法，后來過渡到基于模型的方法，現(xiàn)在更多是研究深度學習的一些方法。

第一階段

在1970年代，我開始參與到研究中。在那個時候也有一些文章，像圖片上這篇是關于模式識別的文章。這是我做的一項研究，那時候是一個有監(jiān)督的學習模式，我們用到很多骨頭的組織圖片讓計算機進行訓練，希望它通過訓練能夠診斷出骨發(fā)育不良以及先天性骨骼缺陷的疾病。

第二階段

到1980年代，我開始從事基于模型的醫(yī)學影像研究，我們又把它叫做可形變的模型。從那時候開始就是一個新的研究方法了，我們當時用到的是計算機視覺和圖像的分析。

當時這項研究是比較成功的，因為它使用由上至下以及由下至上兩種方法的結合，同時對于我們在形態(tài)和運動方面原本的局限都有所突破，所以它是一個新的進展。在基于模型的醫(yī)學影像當中，我們同時也用到了解剖學的一些知識。

大家可以看一下，這是非常著名的主動輪廓模型，簡稱Snakes。我和我的同事在1987年的時候就開始介紹這樣的模型。這是用Snake模型做的互動實驗，可以識別物體的邊緣輪廓，并且用紅色的線來標注出這個輪廓。

這是第二個小視頻，可以把嘴唇的邊緣勾勒出來。雖然嘴唇是運動的，但是依然可以追蹤到，這也是屬于計算機視覺的一個部分，現(xiàn)在也被廣泛應用到醫(yī)學中。

這是我親自參與的一個圖像分割的3D重建，這個圖是神經(jīng)元樹突的組織，我們可以看到它的截面，它是大腦當中的一個組織。我們現(xiàn)在用Snake模型工具，同樣用不同顏色的線把神經(jīng)樹突給勾勒出來，最終會生成一個三維的神經(jīng)元樹突的重建模型。這項工作非常有力地推進了我們在神經(jīng)網(wǎng)絡方面的研究。

這是另外一個使用主動輪廓模型做的實驗，是一個視網(wǎng)膜造影的圖像。

另外一個例子，我和在另外一個地方的同事共同做的一個項目。這是一個正在說話的一個人，在圖片當中，我們用超聲波來偵查舌頭的運動情況，看說話的時候舌頭怎么樣運動，這個模型的魯棒性非常強，可以去噪，生成的圖片也是比較清晰的。

我們可以實現(xiàn)三維的圖像，像后面這個圖片是四維的，呈現(xiàn)的是我們的左心室，是左心室運動的追蹤。

這個應用是關于腺體的圖像分割，是比較典型的一個案例。

這是輪廓模型其中的一部分，首先是一個二維的圖像，我們可以看到整個變化。在左邊的簡圖當中，可以看到腺體的形狀，我們把原來的曲線細分成為更多小的曲線，最終可以進行重構，幫助我們更加精準地定位它的輪廓。這就是主動輪廓模型的一些應用案例。

再來看另外一個可形變的模型，這個模型主要是運用可訓練的數(shù)據(jù)來進行的。這里生成了一個算法模型，在這個圖像當中每一個數(shù)據(jù)都有一個點，它是一個多維的端到端的模型。

如果我們有更多的數(shù)據(jù)可以用來訓練的話，就會得到一個點云，每一個點都有具體的信息，每一個點都會有一個圖像。通過降維的方法，我們能夠更加清楚地去計算它的均值，然后對它進行數(shù)學的運算，這樣就能夠生成一些橢圓的線或者其他的數(shù)學模型，在這個Priors模型當中是非常重要的。在高維的點云模型當中有不同的方向和具體的信息。

這里有很多具體的應用。像這個是主動形狀模型，簡稱ASM，是1992年Taylor提出的。這里我們進行了數(shù)據(jù)的標注。右邊有一個動態(tài)的畫面，這個模型會進行主動的擬合。我們從那么多圖片當中獲得了一些數(shù)據(jù)，通過訓練就能夠自動實現(xiàn)這樣的擬合。

這是可形變模型最后一個案例，我們把它叫做可變的有機形態(tài)。像這個是大腦當中胼胝體的結構，它是掌管知識的結構，在大腦當中具有非常重要的作用。我們可以看到具體的胼胝體結構。它的周圍有較軟的纖維組織，跟我們的神經(jīng)科學非常相關。通過研究它，我們可以找到大腦不穩(wěn)定的一些原因。

用這個模型去定位胼胝體，可以把它的形狀勾勒出來，這樣就能夠具體看它的結構特征是怎樣的。我們可以看到，它的定位速度非?？?，并且能夠精準地進行圖像分割，這是一個完全自動的圖像分割過程。我們可以看一下慢放，它現(xiàn)在就在進行搜尋，不斷調(diào)整它的位置，直到它能夠得到一個非常精準的圖像分割結果。

剛剛介紹了幾種形態(tài)，它們都是屬于可形變模型當中的，給大家展示了全自動的圖像分割過程，具體的細節(jié)就不給大家放了，我想強調(diào)的這些過程是全自動的。

我們通過大腦和兩個心室的組織，開始良好的定義心室在這邊的位置。在這里做完以后，產(chǎn)生兩個子體，有原子核的切割，向這個子體進行反應，然后進入到這樣一個大腦的部位。這是一個器官的執(zhí)行，是采取協(xié)作的方式來進行的，可以進行有效分割，是基于人工智能模型的技術來進行醫(yī)學成像的分析。

講一下我們最新的以數(shù)據(jù)驅動的機器學習對成像技術的貢獻，也就是深層次的人工智能的算法在計算機視覺方面推動了革命性的進展。

在醫(yī)學影像方面，機器學習也是很熱的話題。這是最近的一篇論文，這個主題涌現(xiàn)出成千上萬的文章。我們以肺癌為例，每年有超過1800萬新增的肺癌病例，每年有1500萬人死于肺癌。

我們在這里進行了深層次的卷積神經(jīng)，用于肺結節(jié)探測?？梢钥吹缴窠?jīng)網(wǎng)絡的結構分析是多層次的。像圖片上這個是卷積神經(jīng)，可以看到計算單元——神經(jīng)元，低分辨率的聚集形成了子網(wǎng)絡。對之前的特征網(wǎng)絡進行分析，這就是深層次的卷積神經(jīng)網(wǎng)絡用于醫(yī)學成像的分析。

這個分析重要的方面，肺結節(jié)的分割里面有各種不同的百分比，有的是惡性腫瘤的，有的沒有惡性腫瘤，這樣一種成像分析的分割很重要，我們用了深度學習的方式，展現(xiàn)出這樣一個架構（見PPT）。

這里有一篇論文。為什么這個研究贏得了最佳論文？是因為，它是完全自動化的、立體的肺結節(jié)的分割，在這樣一個圖像上得到了很好的解讀。

我相信這是一個大趨勢，代表著未來，自動分割會有更多產(chǎn)出，使得醫(yī)學成像的效率更高。我相信，深度學習和可變形模型的組合，將通過數(shù)據(jù)驅動來賦能醫(yī)學影像分析。

在我們的實驗室當中有DLAC的主動輪廓模型。我們可以看到卷積神經(jīng)的架構，由于時間有限，無法詳細來做一個解讀，但是我們可以看到，它把深層次的神經(jīng)網(wǎng)絡和額外的層級在輪廓下部的層次進行了組合。作為一個融合的模型，作為主動輪廓模型，在當中可以進行活躍的訓練，基本上是用深度學習的框架來進行訓練的。

從這張圖片可以看到端對端的經(jīng)過訓練的醫(yī)學成像數(shù)據(jù)訓練的結果，自動化的方式比人工的方式有更好的效果，進行這些分析和分割，在時間緊迫的情況下，機器自動的方式比人工更好，可以用于不同的醫(yī)學成像分析，更好地提高病人的成活率。有的病灶的邊界形狀很難通過人工來進行預測，但是這個模型在這方面做得比人更好。

有了這樣的特性，我們的人工智能深度學習在醫(yī)學成像分析方面的作用提供了準確及時的反饋，可以提供重要的信息，幫助我們解讀醫(yī)學信息，讓我們以更低的成本、更高的效率、更少的醫(yī)療誤診來提升患者的福音。

在未來，我們以人工智能賦能的醫(yī)學系統(tǒng)通過大數(shù)據(jù)的輸入，能夠基于云來提高病理學和醫(yī)學成像技術，人工智能引擎基于Web可以自動生成醫(yī)療報告，用自然語言這種被人理解的方式出報告，幫助醫(yī)生更好的提升他們的工作效率和工作流程。

我的已畢業(yè)學生丁曉偉博士成立的公司VoxelCloud 體素科技2016年在上海啟動了，主要做從專業(yè)成像設備到家用手機，系統(tǒng)有人工智能的算法、特別是深度學習的算法，可以更好地解讀病患的醫(yī)學影像。

我們世界級的研發(fā)團隊在VoxelCloud體素科技這樣一家初創(chuàng)公司持續(xù)努力，在真實的醫(yī)學場景當中應用這些技術，與數(shù)百家醫(yī)療機構和醫(yī)院進行合作，這對人工智能賦能的醫(yī)學至關重要。我們近期會發(fā)表過往VoxelCloud AI在數(shù)萬和數(shù)十萬規(guī)模的人群上的真實世界結果，作為有力證據(jù)證明AI作為一種新興的醫(yī)療資源，在國家醫(yī)療系統(tǒng)、單體醫(yī)療機構甚至家庭中發(fā)揮的重大作用。

圖片上是我們現(xiàn)在的一些客戶和研發(fā)合作伙伴。未來部署在大型體檢機構里，我們的系統(tǒng)每天可以在3.5小時之內(nèi)反饋數(shù)萬份CT報告。

后面的圖片中是我們眼科和皮膚全病種的合作伙伴，眼科包括洛杉磯郡公立醫(yī)療系統(tǒng)、Eyepacs、中國國家標準化代謝病管理中心MMC、協(xié)和醫(yī)院、同仁醫(yī)院、廣東中山眼科中心等200余家中心、皮膚人工智能與中美知名機構比如哈佛醫(yī)學院進行合作。

這里有紅杉資本、騰訊等投資機構，我們截止2018年的融資額為8000萬美元。

做一下總結，計算機科學、人工智能和信息技術有巨大的潛力，可以賦能醫(yī)學事業(yè)，這對未來的創(chuàng)新是最大的源泉。我們有前沿的數(shù)據(jù)驅動的機器學習技術和強大的模型為基礎的方法，包括前面提到的主動式的輪廓模型的結合，但是不能盲目的認為深度學習單兵作戰(zhàn)就可以解決所有問題。

所以我們需要和其他技術結合起來，也就是和傳統(tǒng)的醫(yī)學界共同協(xié)作，才能充分用好我們的深度學習、人工智能，來促進醫(yī)學事業(yè)的發(fā)展。需要做大量研究，才能更好地實現(xiàn)它的未來，解決醫(yī)學事業(yè)實實在在的問題，并且為更多的病患造福。

再次感謝各位的耐心聆聽。

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權禁止轉載。詳情見轉載須知。