日本在线看黄a美女久草|日本动漫亚洲在线一区|日韩人妻无码免费视频|A√有码中文字幕|日韩一级片视频热久久久|一区二区三区四区精品无码在线|亚洲AV成人无码一二三app|亚洲综合图片绯色|91极品人妻在线网站|国产成人精品一区二三区四区五区

您正在使用IE低版瀏覽器,為了您的雷峰網(wǎng)賬號安全和更好的產(chǎn)品體驗,強烈建議使用更快更安全的瀏覽器
此為臨時鏈接,僅用于文章預覽,將在時失效
AI+ 正文
發(fā)私信給劉偉
發(fā)送

0

談論準確率意義不大,糖網(wǎng) AI 好不好到底誰說了算?

本文作者: 劉偉 2017-11-23 09:28
導語:“AI+眼底糖網(wǎng)篩查領域現(xiàn)在缺乏一個行業(yè)標準,單純從數(shù)字上來看,似乎大家都很好。”

談論準確率意義不大,糖網(wǎng) AI 好不好到底誰說了算?

在所有導致失明的疾病中,糖尿病性視網(wǎng)膜病變(Diabetic Retinopathy,下稱糖網(wǎng)?。┦窃鲩L最快的,人工智能有望扭轉這一局面。

國際糖尿病聯(lián)盟的統(tǒng)計結果顯示,截至2015年,我國糖尿病患者約1.1億人。另根據(jù)國家衛(wèi)生計生委辦公廳2017年3月發(fā)布的數(shù)據(jù),目前我國糖網(wǎng)病在糖尿病罹患人群中的患病率為24.7%~37.5%。按此推算,我國的糖網(wǎng)病患者已超過2700萬人。

這些患者平時在內分泌科進行控糖管理,內分泌科的醫(yī)生不具備閱片能力,而眼科醫(yī)生數(shù)量又嚴重不足(2012年僅有3.14萬名眼科醫(yī)生),無暇顧及糖網(wǎng)篩查。

近兩年高速發(fā)展的人工智能技術有望打破這一僵局。由于借助眼底圖像就能較好地確診,而且眼底圖像獲取條件相對寬松,糖網(wǎng)篩查成了人工智能落地醫(yī)療領域的絕佳土壤。目前國內嘗試用人工智能進行糖網(wǎng)篩查的企業(yè)不在少數(shù),而且看起來效果不錯,準確率都達到了90%多。

不過正如北京致遠慧圖科技有限公司創(chuàng)始人孫宇輝所言,“AI+眼底糖網(wǎng)篩查領域現(xiàn)在缺乏一個行業(yè)標準,單純從數(shù)字上來看,似乎大家都很好。這是這因為各家都有自己的數(shù)據(jù)庫,各自的算法都是按照自己的數(shù)據(jù)進行訓練的,然后以自己的數(shù)據(jù)來驗證準確性,或者和大的三甲醫(yī)院合作進行臨床測試?!睋Q言之,企業(yè)既是選手又是裁判。

這樣測試出來的準確率可靠性有多高?AI篩查糖網(wǎng)的準確率到底該由誰來界定?醫(yī)院是否認可這樣的產(chǎn)品?企業(yè)又該如何說服醫(yī)院?帶著這些疑問,雷鋒網(wǎng)采訪了數(shù)家從事糖網(wǎng)篩查的AI領軍企業(yè)、高校教授,以及眼科專家。

談論準確率到底有沒有意義?

“準確率不是衡量算法是否優(yōu)秀的唯一指標?!彪姆e木CEO柏文潔認為,在正負樣本不平均的前提下,用準確率衡量算法有很大的缺陷,甚至不具備參考意義。

她以互聯(lián)網(wǎng)廣告為例,“廣告的點擊數(shù)量是很少的,假設在千分之幾這個量級,如果用acc(準確率)來衡量,即使最終全部預測成負類,也就是預測都沒有點擊,acc 也有 99% 以上?!?/p>

柏文潔認為,衡量算法是否優(yōu)秀要綜合考量Precision(精確度),Sensitivity(靈敏度),F(xiàn)值以及AUC等多個指標。考慮到臨床應用還要兼顧算法的計算速度,魯棒性等多方面性能指標。再細化到具體應用場景,還要根據(jù)是到基層現(xiàn)場篩查還是到醫(yī)院散瞳進行精細診斷,決定算法該更關注召回率還是精確度等等。

“脫離具體場景只談準確度是不科學的,也是不現(xiàn)實的”,柏文潔說道。

北京大恒普信醫(yī)療技術有限公司(以下簡稱“大恒普信”),作為深耕眼科疾病市場十余年的老牌玩家,在AI浪潮興起之后也積極依托其深厚的數(shù)據(jù)積淀,開始了對新技術的探索和嘗試。

據(jù)大恒普信總經(jīng)理趙雷介紹,在智能診斷算法的臨床測試過程中,大恒普信評估的不僅僅是準確率,還包括正預測值、召回率等等多個指標。趙雷認為,只有將這些指標綜合起來,才能評估一種算法的優(yōu)劣和好壞。

他說道:“評估一種方法或算法的準確性有很多科學標準,僅僅依靠上述幾個指標恐怕還不夠。生成算法所使用的數(shù)據(jù)庫、采用的方法,再加上上述幾個指標,綜合起來也許才能真正反映該算法的實際應用效果,三者缺一不可?!?/p>

上工醫(yī)信CEO季鑫也表示,基于標準或特定數(shù)據(jù)集的實驗室結果,在沒有得到真正臨床驗證前,企業(yè)對外宣傳的敏感性或特異性,沒有多大的意義。因為在實際臨床應用場景中,要面臨非常復雜的情況。

蘇州大學特聘教授、醫(yī)學影像處理與分析實驗室主任、973(青年)項目首席科學家陳新建教授,站在一名學者的角度,發(fā)表了自己的見解。

他認為,現(xiàn)階段醫(yī)療AI不能獨立于人單獨做診斷。AI企業(yè)測試的準確率與實際臨床之間存在一定的差距。這個差距需要通過長時間積累更大樣本的臨床數(shù)據(jù),和不斷完善算法來一步步彌補。

不過我們也不能就此抹殺醫(yī)療AI的價值。陳教授表示:“醫(yī)療AI的意義依然十分重大?,F(xiàn)階段AI的主要作用是輔助醫(yī)生進行診斷,幫助醫(yī)生提高效率,降低誤診率,能夠實現(xiàn)不錯的效果?!?/p>

陳教授還指出,糖網(wǎng)篩查現(xiàn)階段最大的瓶頸在于影像質量難以保障。由于技術原理問題,瞳孔較小、晶狀體渾濁等人群的免散瞳眼底彩照,圖像質量往往達不到篩查的要求。而且出于成本考量,目前基層使用的大多是手持眼底相機,成像質量堪憂。

“除了AI算法的準確率,圖像采集設備的性能和可操作性也有待提升。采用三維OCT采集設備是一種解決方案。”陳教授說道。

Airdoc副總裁張京雷認為,與其糾結算法的準確率是多少,不如打造一款綜合性的產(chǎn)品,覆蓋盡可能多種類的眼底疾病。

因為眼底病變可能對應的眼部疾病多達幾十種,即使排除了糖網(wǎng)病,病人也可能患有其他眼部疾病。AI和人類醫(yī)生的不同之處在于,一位眼科醫(yī)生能夠同時識別多種眼部疾病,即使有些疾病無法確診,至少他知道是不正常的,并能帶著疑問查找資料或請教其他醫(yī)生,最終解決問題。而對于AI來說,理論上一種算法只能識別一種疾病,因為每一種疾病的特征都是不一樣的。

“只能識別單一疾病的軟件產(chǎn)品臨床意義并不大。就拿糖網(wǎng)篩查來說,就算確認病人沒有得糖網(wǎng)病,那他有沒有可能患了其他眼底疾病呢?醫(yī)生還是要把所有眼部片子都看一遍,效率提升并不大。Airdoc做的并不僅僅是糖網(wǎng)篩查,而是多病種的院外慢病篩查和管理,糖網(wǎng)只是其中的技術手段之一。目前,Airdoc已經(jīng)將多種算法融合在一起,覆蓋了人類常見的十幾種眼底疾病。我相信這比單一算法的準確率提升1%更有價值?!睆埦├渍f道。

產(chǎn)品好不好誰說了算?

既然企業(yè)在實驗室環(huán)境中測試出來的準確率缺乏足夠的說服力,那么一款糖網(wǎng)篩查產(chǎn)品到底好不好究竟該由誰說了算呢?

經(jīng)過多個糖網(wǎng)篩查真實項目的探索和總結后,大恒普信總經(jīng)理趙雷對于糖網(wǎng)篩查的行業(yè)標準問題深有感觸。他表示,目前臨床糖網(wǎng)診斷的標準非常明確,國內有82年分期法,國際有國際糖網(wǎng)分期法。雖然這兩個標準略有不同,但總體都很清晰明了。

而市面上提供人工智能輔助診斷的產(chǎn)品,標準卻各不相同。大家都知道人工智能很厲害,但要使算法模型更加精準,首先需要建立關鍵醫(yī)療數(shù)據(jù)庫和有質量的病患數(shù)據(jù)庫,還要對統(tǒng)計數(shù)據(jù)和圖像處理有清醒的理解。

目前絕大多數(shù)從事糖網(wǎng)人工智能診斷的公司要么是創(chuàng)業(yè)公司,要么就是互聯(lián)網(wǎng)公司,很難有多年的豐富醫(yī)療信息和影像資料的積淀,真正能自己構建數(shù)據(jù)庫的公司更是少之又少。

他表示,數(shù)據(jù)庫是否足夠大,是否足夠涵蓋所有的病例;醫(yī)生的標注是否權威詳盡;所采用的方法是否先進科學,都是評估一個算法的關鍵因素。但最終判斷算法是否有足夠說服力,還是要落地到實際應用場景中去看醫(yī)生的認可程度,要看輔助診斷方法究竟能在多大程度上替代醫(yī)生的工作,能不能幫助醫(yī)生提高診斷效率,降低工作量等。

孫宇輝則認為,行業(yè)內需要建立一個標準的數(shù)據(jù)庫,這個數(shù)據(jù)庫包含各種各樣質量的眼底圖像數(shù)據(jù),由專家進行標注,然后用這個統(tǒng)一的標準數(shù)據(jù)庫去驗證企業(yè)做的系統(tǒng),這樣才更有說服力。

柏文潔表示,行業(yè)標準的制定需要從業(yè)者的共同努力。一種疾病的診療標準也是由業(yè)內的頂尖醫(yī)生共同協(xié)商制定,并在臨床的實踐中不斷更新修正的。肽積木正在整理和擴大自身的數(shù)據(jù)庫,并與國內頂尖專家共同探討標記標準。

她說道:“希望能盡早一步公開我們的自有數(shù)據(jù)庫,也希望各位從業(yè)伙伴批評指正,共同推進人工智能糖網(wǎng)篩查的發(fā)展?!?/p>

Airdoc副總裁張京雷認為,產(chǎn)品到底好不好用最終還是需要到臨床中來驗證。而通往臨床又有一條必經(jīng)之路,那就是CFDA認證。

他說道:“AI是基于醫(yī)生提供和標注的數(shù)據(jù)訓練出來的。在疾病診斷方面,醫(yī)生也做不到100%準確,因此要求AI算法做到100%準確是不現(xiàn)實的。而且實驗室環(huán)境下的準確率和真實場景中的也存在一定差異。”

張京雷認為,企業(yè)的AI算法在實驗室環(huán)境中達到一定的準確率之后即可申報CFDA認證。CFDA有一套自己的評判標準,會根據(jù)企業(yè)提交的各種材料判斷其是否具備了臨床應用的資格。有了準入資格之后,企業(yè)的AI產(chǎn)品即可在真實的臨床場景中接觸各種各樣的眼底圖像,并與醫(yī)生的診斷結果進行對照,不斷提高其準確率。

糖網(wǎng)AI目前成熟度如何?

誠如張京雷所言,CFDA認證是醫(yī)療AI企業(yè)必須面對的一道硬性門檻。

今年9月4日,CFDA剛剛發(fā)布了最新版的《醫(yī)療器械分類目錄》?!赌夸洝芬?guī)定,若診斷軟件通過算法,提供診斷建議,僅有輔助診斷功能,不直接給出診斷結論,則申報二類醫(yī)療器械,如果對病變部位進行自動識別,并提供明確診斷提示,則按照第三類醫(yī)療器械管理。《目錄》指出,第三類醫(yī)療器械必須做臨床試驗,第二類器械則有臨床試驗豁免目錄。

目前,不少糖網(wǎng)AI企業(yè)都卡在了CFDA認證環(huán)節(jié)。在這方面,上工醫(yī)信可以說是走在了行業(yè)前列。上工醫(yī)信從2014年7月就開始了行業(yè)布局,如今已順利通過了二類醫(yī)療器械認證。

上工醫(yī)信CEO季鑫表示,“上工目前算法的敏感性非常高,如果病人已經(jīng)出現(xiàn)了病征,通過系統(tǒng)和人工的雙重檢測,可以實現(xiàn)絕對不會漏掉一個有病的病人 。對于一些質量很差,甚至根本看不清的眼底圖像,系統(tǒng)會自動轉到質控環(huán)節(jié),由三甲醫(yī)院專家組成的專家小組對其進行評判。”

柏文潔也結合肽積木自身的發(fā)展,向雷鋒網(wǎng)介紹了目前糖網(wǎng)AI的發(fā)展程度。她說道:“我們在特定數(shù)據(jù)集的準確度達到94.3%,精確度達到98.1%,靈敏度達到92%,AUC達到0.9997。通過一張眼底照片,肽積木可以給出糖網(wǎng)診斷分級,劃分視盤黃斑血管等解剖結構,標記出血滲出等病灶區(qū)域,自動編寫病例完善病情描述,并給出最終的治療方案建議。整個過程耗時僅需1秒。”

趙雷告訴雷鋒網(wǎng),在現(xiàn)有的技術條件和法律法規(guī)下,人工智能軟件是對醫(yī)療資源的補充,是對醫(yī)務人員的輔助。

目前大恒普信的人工智能診斷軟件在實際應用中,也主要是起到減少醫(yī)生工作量的作用。大恒普信的智能篩查系統(tǒng),會對篩查上來的病人數(shù)據(jù)進行智能分析,并將有問題和無問題的患者進行分組,讓醫(yī)生對沒問題的病人采用快速瀏覽的處理方式,減少醫(yī)務人員的工作量。而對于有問題的病人,系統(tǒng)會在分期的基礎上對病變位置進行標注,降低我們醫(yī)務人員的閱片強度和難度。

如何說服醫(yī)院使用?

除了已經(jīng)拿到二類證的上工醫(yī)信,Airdoc等幾家企業(yè)預計也將很快陸續(xù)邁過CFDA這道門檻。未來幾家企業(yè)在接受臨床檢驗的同時也將展開正面競爭。值得所有企業(yè)深思的是,目前大多數(shù)醫(yī)務工作者仍對醫(yī)療AI持保守態(tài)度,那么該如何說服他們使用自己的產(chǎn)品呢?

肽積木CEO柏文潔表示,目前肽積木已經(jīng)聯(lián)合了二十余家基層醫(yī)院開展眼底篩查工作。在人工智能出現(xiàn)之前,基層醫(yī)院由于人力資源及效率的問題,沒有辦法開展眼底篩查工作。正是由于肽積木的糖網(wǎng)篩查平臺,更多的基層醫(yī)院能完成篩查,更多的患者能夠獲得更早了解病情控制病情的機會。

她說道:“針對于保守一些的醫(yī)院,我們仍然秉承著開放的態(tài)度,樂于同醫(yī)院分享我們最新的科研進展及行業(yè)動態(tài)?,F(xiàn)在從政策趨勢來看,國家食品藥品監(jiān)督管理總局組織修訂了《醫(yī)療器械分類目錄》,新增決策軟件類目??萍疾恳舱匍_《新一代人工智能發(fā)展規(guī)劃》項目啟動會,整體都是利好消息。隨著相關政策的完善,肽積木也會早日完成相關類目的申請審批,讓更多的醫(yī)院能夠放心地使用我們的產(chǎn)品。”

大恒普信總經(jīng)理趙雷認為,在當前醫(yī)療資源緊張、患者醫(yī)療意識提升的社會大環(huán)境下,對糖網(wǎng)篩查人工智能輔助診斷的需求會越來越強烈。因此并不是企業(yè)“教育”醫(yī)生使用AI系統(tǒng),而是醫(yī)院和醫(yī)生迫切的需求驅動企業(yè)不斷改進和完善系統(tǒng),以更好地為他們服務。

他表示,現(xiàn)在各大公司的關注重點可能有所偏頗。糖網(wǎng)篩查應該重在篩查和后續(xù)管理,這不是臨床醫(yī)院而是各級CDC等公共衛(wèi)生部門的工作。只有各級公共衛(wèi)生部門承擔起防盲、防低視力等工作后,糖網(wǎng)篩查AI才有可能大規(guī)模應用。

“不過打鐵還需自身硬,一款好的產(chǎn)品是關鍵”,趙雷說道。

Airdoc副總裁張京雷對于商業(yè)推廣問題,也有著非常清晰的認識。他表示,醫(yī)療AI的推廣必然會面臨阻力,任何新技術的推廣都是如此。近兩年隨著AlphaGo連續(xù)戰(zhàn)勝國內外圍棋高手,大多數(shù)醫(yī)生對AI的態(tài)度已經(jīng)有所改觀,但這并不意味著醫(yī)生就愿意接受醫(yī)療AI產(chǎn)品。

張京雷認為,在漫長的職業(yè)生涯中,很多醫(yī)生已經(jīng)熟悉了自己勞動強度和工作流程。AI技術的引入必然會改變他們原有的工作流程,增加學習成本,這是醫(yī)生所不愿意看到的。打動醫(yī)生的關鍵在于,要讓他們先接觸和熟悉AI,認識到這個產(chǎn)品是對他們有益的。

為此,Airdoc采取了兩大策略:一是在部分醫(yī)院開展試點,免費為試點醫(yī)院提供設備和軟件,讓他們先體驗,其他醫(yī)院在和試點醫(yī)院交流的過程中也能建立起一定的認知;二是在中高級醫(yī)生云集的醫(yī)療學術會議上布置展臺,供醫(yī)生前來體驗。

“但這樣覆蓋到的醫(yī)生數(shù)量還是極為有限?!睆埦├渍f道:“醫(yī)療領域非常相信‘大腕’的意見,如果能讓這些‘大腕’先接觸并慢慢接受——至少不排斥AI,對于AI的推廣應用是大有裨益的?!?/p>

但說到底,打鐵還需自身硬,醫(yī)療AI能否被醫(yī)生接受主要取決于兩點:一、是否安全;二、能否真正給醫(yī)生帶來幫助。安全性的問題相對容易解決,只要產(chǎn)品通過了CFDA認證就能免除醫(yī)生的后顧之憂。“實用”二字則不大容易實現(xiàn),因為對醫(yī)生來說“錦上添花”是不夠的,必須“雪中送炭”。

張京雷認為糖網(wǎng)AI的最佳落地場景并非大醫(yī)院,而是基層社區(qū)。雖然糖網(wǎng)AI也能幫助大醫(yī)院的醫(yī)生提高效率,但一方面要改變醫(yī)生原有的工作流程,另一方面無法給醫(yī)院帶來患者“增量”。大醫(yī)院沒有足夠的動力花費大量的資金和人力引進新技術。

基層的糖網(wǎng)篩查市場則相對空白。近年來國內正在大力推廣基層社區(qū)的糖網(wǎng)篩查工作,但苦于眼科醫(yī)生人手不足,即使從基層采集了大量的眼底圖像,也沒有人來閱片。企業(yè)通過和政府、衛(wèi)生部門、醫(yī)院合作,免費為基層社區(qū)提供糖網(wǎng)篩查服務從而切入市場,既解決了政府和衛(wèi)生部門的燃眉之急,又能給醫(yī)院精準導流,帶來病人“增量”。無論站在任何一方的角度來說,都是樂見其成的。

張京雷表示,Airdoc正在把絕大多數(shù)眼底病,和可以通過眼底照片及其他無創(chuàng)數(shù)據(jù)采集手段獲取數(shù)據(jù)并進行有效管理的慢病,都通過院外篩查的方式早期發(fā)現(xiàn)并導入規(guī)范治療。

他說道:“這是我們獨特的商業(yè)模式,也是Airdoc和其他公司最大的不同?!?/p>

陳新建教授除了是知名學者,也是蘇州比格威醫(yī)療科技有限公司的創(chuàng)始人和首席科學家。站在企業(yè)家的角度,陳教授認為,眼科人工智能落地的前提是醫(yī)生或者篩查終端要對AI有足夠強的需求。相比較而言基層醫(yī)院比三甲醫(yī)院更需要AI輔助診斷。

對于基層眼科醫(yī)生來說,AI自動診斷用于OCT意義要比用于眼底彩照更大,原因在于二維眼底彩照的診斷難度較低,看一張照片也只需要幾秒鐘;而三維OCT的學習曲線要長的多,很多基層醫(yī)院醫(yī)生很難很好地掌握,讀一個片子所需的時間也長得多,AI對于醫(yī)生降低誤診率、提高效率的幫助更為顯著。

從篩查角度來說,OCT除糖網(wǎng)外,還能篩查青光眼、老年黃斑變性等幾乎所有眼底疾病,篩查范圍比眼底彩照大的多;適用人群除糖尿病人群外,還包括高度近視眼、“三高”人群、中老年人群等,適用范圍也大的多,更適合應用于基層醫(yī)院或體檢機構。目前蘇州比格威醫(yī)療科技有限公司的AI已經(jīng)在多個體檢機構和基層醫(yī)院得到應用,取得了很好的效果。

雷鋒網(wǎng)總結

綜合幾位嘉賓的觀點來看,雖然目前糖網(wǎng)AI還缺少統(tǒng)一的評估標準,但其價值是毋庸置疑的。未來AI完全能夠勝任“醫(yī)生助手”的角色。

隨著相關政策逐漸明晰,糖網(wǎng)AI產(chǎn)品將逐漸走出實驗室,接受實際臨床的檢驗。大量臨床數(shù)據(jù)的驗證又將反過來進一步推動糖網(wǎng)AI產(chǎn)品的進步。

商業(yè)層面,企業(yè)對于自己的“變現(xiàn)之路”也有了更加成熟、深入的思考。我們完全有理由對糖網(wǎng)AI的未來充滿信心。

雷峰網(wǎng)原創(chuàng)文章,未經(jīng)授權禁止轉載。詳情見轉載須知。

分享:
相關文章

主編

關注智能硬件+出海。
當月熱門文章
最新文章
請?zhí)顚懮暾埲速Y料
姓名
電話
郵箱
微信號
作品鏈接
個人簡介
為了您的賬戶安全,請驗證郵箱
您的郵箱還未驗證,完成可獲20積分喲!
請驗證您的郵箱
立即驗證
完善賬號信息
您的賬號已經(jīng)綁定,現(xiàn)在您可以設置密碼以方便用郵箱登錄
立即設置 以后再說