0
| 本文作者： 黃錦 | 2018-11-23 11:42 |
雷鋒網(wǎng)按：本文譯自The Stanford AI Lab Blog，作者為Albert Haque和Michelle Guo。文章主要介紹了斯坦福AI實(shí)驗(yàn)室如何通過(guò)計(jì)算機(jī)視覺(jué)技術(shù)監(jiān)測(cè)醫(yī)院內(nèi)的手部清潔工作來(lái)改善醫(yī)院衛(wèi)生條件。
每年死于院內(nèi)感染的人數(shù)比車禍死亡人數(shù)還多，這意味著你被送進(jìn)醫(yī)院的時(shí)候，有三十分之一的概率健康狀況會(huì)變得更加糟糕，這很值得警惕。
好在醫(yī)院可以通過(guò)改善衛(wèi)生條件來(lái)扭轉(zhuǎn)這一局面。無(wú)論在醫(yī)院、機(jī)場(chǎng)還是餐館之類的公共場(chǎng)合，手部衛(wèi)生都是預(yù)防傳染病傳播的第一道防線，這是一個(gè)簡(jiǎn)單的常識(shí)。問(wèn)題的關(guān)鍵不在于人們無(wú)知，而在于缺乏警惕心，他們需要自動(dòng)檢測(cè)技術(shù)來(lái)檢查手部清潔情況。實(shí)際上，很多技術(shù)都可以解決這個(gè)問(wèn)題，最簡(jiǎn)單也最常用的就是用計(jì)算機(jī)視覺(jué)技術(shù)來(lái)檢測(cè)人們有沒(méi)有洗手。
斯坦福PAC（The Stanford Partnership in AI-Assisted Care）中心和眾多來(lái)自世界各地的合作伙伴多年來(lái)一直在開(kāi)發(fā)這項(xiàng)技術(shù)，雖然還有很多工作要做，但是我們希望這項(xiàng)技術(shù)能幫助醫(yī)院降低感染率并改善病人的健康。
醫(yī)院們會(huì)通過(guò)醫(yī)學(xué)院課程、布告欄海報(bào)和員工周會(huì)等方式來(lái)加強(qiáng)手部衛(wèi)生教育。世界衛(wèi)生組織甚至提出“手部衛(wèi)生五大時(shí)刻”，明確規(guī)定了醫(yī)療衛(wèi)生工作者的洗手時(shí)間。為了核查手部衛(wèi)生落實(shí)情況，醫(yī)院使用RFID卡或員工徽章來(lái)跟蹤手部衛(wèi)生工作。在某種程度上，這些工具真的有用，但是也會(huì)碰到工作流程中斷的情況，比如當(dāng)員工進(jìn)入新房間時(shí)，肥皂盒會(huì)刷到RFID卡。這其實(shí)是技術(shù)問(wèn)題：一般的RFID技術(shù)覆蓋距離短，而較長(zhǎng)距離的“主動(dòng)型”RFID也受到定向天線的限制，而且需要電池。很明顯，需要一種沒(méi)有RFID技術(shù)缺陷的新解決方案。
我們?cè)谒固垢４髮W(xué)與Lucile Packard兒童醫(yī)院合作，開(kāi)發(fā)了一種全新的先進(jìn)方案來(lái)追蹤手部衛(wèi)生工作：它使用前沿的計(jì)算機(jī)視覺(jué)技術(shù)，不需要臨床醫(yī)生來(lái)干預(yù)日常工作。雖然計(jì)算機(jī)視覺(jué)已被用到醫(yī)學(xué)成像領(lǐng)域，但在醫(yī)院的物理空間中還沒(méi)有太多用武之地。幸運(yùn)的是，計(jì)算機(jī)視覺(jué)已經(jīng)用到了物理空間的另一個(gè)問(wèn)題里：自動(dòng)駕駛汽車，自動(dòng)駕駛汽車使用大量傳感器來(lái)了解環(huán)境，以此類推，我們能在醫(yī)院內(nèi)使用這些傳感器來(lái)更好地了解醫(yī)療環(huán)境嗎？
深度傳感器（比如Xbox Kinect）類似常見(jiàn)的相機(jī)，不過(guò)它不記錄顏色，而是記錄距離。在正常的彩色圖像中，每一個(gè)像素表示一個(gè)顏色；在深度圖像中，每一個(gè)像素表示真實(shí)世界中該像素到傳感器之間的“距離”，它通常是一個(gè)浮點(diǎn)數(shù)，比如1.337米。
（左）醫(yī)院的彩色照片，用手機(jī)拍攝。（右）天花板上傳感器拍攝的深度圖像。顏色越暗，物體越接近深度傳感器。
在上面的深度圖像中，你雖然看不到人們的臉，仍然可以知道他們?cè)谧鍪裁?。這保護(hù)了我們用戶的隱私，這在醫(yī)院里很重要。為了證明和發(fā)展我們的計(jì)算機(jī)視覺(jué)技術(shù)，我們?cè)趦杉裔t(yī)院的天花板上安裝了深度傳感器，一個(gè)是兒童心血管病房，另一個(gè)是成人重癥監(jiān)護(hù)室（ICU）。
我們的深度傳感器安裝在一家兒童醫(yī)院的天花板上。
通過(guò)兩個(gè)不同的醫(yī)院里安裝的深度傳感器，我們可以使用3D計(jì)算機(jī)視覺(jué)工具自動(dòng)監(jiān)測(cè)手部衛(wèi)生工作。這涉及三個(gè)步驟：
1.監(jiān)測(cè)醫(yī)護(hù)人員。
2.追蹤在病房周圍走動(dòng)的員工。
3.分類員工的手部衛(wèi)生行為。
行人監(jiān)測(cè)
繼續(xù)自動(dòng)駕駛汽車的類比：為了了解環(huán)境，首先要做的就是檢測(cè)人?，F(xiàn)在有很多物體檢測(cè)方法，但是大多數(shù)都是面向彩色RGB圖像開(kāi)發(fā)的。相反，我們選擇使用一個(gè)更古老的方法，該方法可以通過(guò)解決兩個(gè)方面的問(wèn)題而在任何類型的圖像上運(yùn)行：通常，人們?cè)诮o定的一個(gè)房間的圖像中只占據(jù)少量的空間；而且，在深度圖像中，人們通常看起來(lái)像“水滴”，和地板背景差別明顯。
詞典的條目。每個(gè)詞典條目都包含一個(gè)合成圖像，反應(yīng)一個(gè)人站在某個(gè)位置時(shí)的樣子。
檢測(cè)人的一種方法是確定一個(gè)地面上的占用網(wǎng)格圖，該占用網(wǎng)格圖是二進(jìn)制矩陣，用來(lái)表示一個(gè)人是否占用地面上的某個(gè)特定位置。通過(guò)將地面（比如，房間的地板）轉(zhuǎn)換為離散網(wǎng)格，我們就可以通過(guò)網(wǎng)格內(nèi)的每一個(gè)與人大致等高的水滴“想象”出處于該位置的人。我們可以在地面上的每個(gè)點(diǎn)上都創(chuàng)建一個(gè)包含水滴的詞典（記?。阂?yàn)槲覀內(nèi)斯ず铣闪诉@些水滴，我們知道它們準(zhǔn)確的2D和3D位置）。對(duì)于多人情景，我們可以在場(chǎng)景中渲染出多個(gè)水滴。在測(cè)試期間，我們需要的是一個(gè)“水滴”圖像，這可以用任何前景/背景減法或物體分割算法來(lái)完成?，F(xiàn)在，給出測(cè)試時(shí)的水滴圖像，我們就可以在這個(gè)詞典中執(zhí)行K-nearest搜索來(lái)查找每個(gè)水滴的位置。
跨病房追蹤
為了建立一個(gè)真正的智能醫(yī)院，我們需要使用遍布整個(gè)醫(yī)院病房的傳感器。因?yàn)椴皇撬械氖虑槎及l(fā)生在一個(gè)傳感器前面，所以我們也需要算法來(lái)追蹤不同傳感器前面的人。這不僅可以提供手部衛(wèi)生落實(shí)情況的細(xì)節(jié)，它也可以被用來(lái)改善工作流程和空間分析。一般的，我們希望找到一系列軌跡集合X，其中x∈X中的每條軌跡x都代表一個(gè)檢測(cè)序列集合，L_x=(l_x^{(1)},...,l_x^{(n)})，代表檢測(cè)到的行人坐標(biāo)。該問(wèn)題可以歸為最大后驗(yàn)（MAP）估計(jì)問(wèn)題。
接下來(lái)，我們假設(shè)一個(gè)馬爾可夫鏈模型，它將軌跡X中的每個(gè)中間檢測(cè)l_x^{(i)}與后續(xù)檢測(cè)l_x^{(i+1)}以給出的概率P(l_x^{(i+1)}|l_x^{i})連接?，F(xiàn)在我們可以通過(guò)尋找能最小化成本C的流量f來(lái)將MAP任務(wù)作為一個(gè)線性整數(shù)規(guī)劃來(lái)解決：
其中，f_i是表明相應(yīng)檢測(cè)是否為真的流量變量，f_ij表示相應(yīng)檢測(cè)是否鏈接到了一起。變量β_ij表示logP(l_i|l_j)為檢測(cè)l_i,l_j∈L而給出的轉(zhuǎn)移成本。局部成本α_i是一個(gè)中間檢測(cè)為真的對(duì)數(shù)概率。為了簡(jiǎn)單起見(jiàn)，我們假設(shè)所有的檢測(cè)都具有相同的概率。這相當(dāng)于流程優(yōu)化問(wèn)題，可以用k-shortest路徑實(shí)時(shí)求解。
手部衛(wèi)行為分類
到現(xiàn)在為止，我們已經(jīng)確定了病房里所有行人的軌跡（比如，在全球醫(yī)院病房地面上的位置）。最后一步是檢測(cè)手部衛(wèi)生行為并將其鏈接到一個(gè)特定的軌道上。當(dāng)一個(gè)人使用洗手液時(shí)，手衛(wèi)生行為被定義為正，然后我們?cè)賹⒚總€(gè)行人的軌跡標(biāo)記為干凈或不干凈。
在實(shí)際環(huán)境中，部署傳感器往往容易受到安裝約束。無(wú)論是有意還是無(wú)意，施工和維護(hù)的技術(shù)人員安裝的傳感器角度和位置都各不相同，這意味著我們的模型必須對(duì)這些變化具有魯棒性，以便它可以與任何傳感器視角一起工作。由于傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)（CNN）一般都不是視角不變的，所以我們使用空間變換網(wǎng)絡(luò)（STN）代替。
（左）一個(gè)人體分割的數(shù)據(jù)擴(kuò)張階段.（右）手部衛(wèi)生行為分類：一個(gè)空間變換再加上一個(gè)密集的卷積神經(jīng)網(wǎng)絡(luò)。
STN的輸入是一個(gè)隨機(jī)圖像，輸出是一個(gè)扭曲的圖像。為了幫助我們的模型更快地學(xué)習(xí)，我們還提供了一個(gè)人體分割比如，體膜）到STN。這個(gè)體膜可以使用經(jīng)典的前景-背景技術(shù)或深度學(xué)習(xí)方法來(lái)提取。STN將圖像扭曲成學(xué)習(xí)的“視角不變”形式。從這個(gè)扭曲的圖像看，我們使用一個(gè)標(biāo)準(zhǔn)的CNN（比如，DenseNet）來(lái)執(zhí)行是否有人使用洗手液的二進(jìn)制分類。
時(shí)間和空間的匹配
在這一點(diǎn)上，我們?nèi)匀恍枰獙⑽覀兊能壽E集合和單獨(dú)的手部衛(wèi)生檢測(cè)集合結(jié)合起來(lái)，這就引入了兩個(gè)新變量：空間和時(shí)間。對(duì)于每一個(gè)手部衛(wèi)生分類器檢測(cè)（比如，洗手液正在被使用），我們就必須匹配它到一個(gè)單一的軌道上。當(dāng)軌道T滿足兩個(gè)條件時(shí)，分類器和追蹤器之間就會(huì)發(fā)生匹配：
1.在一定的容忍水平里，軌跡T包含了(x,y)，點(diǎn)P和手部衛(wèi)生檢測(cè)事件E同時(shí)發(fā)生。
2.至少有一個(gè)點(diǎn)p∈P物理上接近負(fù)責(zé)檢測(cè)事件E的傳感器，這個(gè)閾值定義在病房門口附近。
如果存在多條軌跡滿足這些要求，則通過(guò)選擇與門最近的(x,y)位置來(lái)中斷聯(lián)系。我們模型的最終輸出是一個(gè)軌跡的列表T，其中每一條軌跡由(t,x,y,a)元數(shù)組的一個(gè)有序列表組成，其中t表示時(shí)間標(biāo)記，x，y表示2D地面平面坐標(biāo)，a表示最新的動(dòng)作或事件標(biāo)簽。通過(guò)T，我們可以計(jì)算達(dá)標(biāo)率或用金標(biāo)準(zhǔn)的評(píng)價(jià)指標(biāo)來(lái)進(jìn)行比較。
人類審計(jì)師與RFID的比較
現(xiàn)在，許多醫(yī)院通過(guò)“神秘訪客”來(lái)衡量手部衛(wèi)生的落實(shí)情況，訓(xùn)練有素的個(gè)人在醫(yī)院病房四處走動(dòng)，觀察工作人員私下是否在洗手。這種“神秘訪客”可以是護(hù)士，醫(yī)生，甚至是一個(gè)參觀者。我們稱之為秘密觀察，不同于為審計(jì)而進(jìn)行的公開(kāi)觀察。隱性觀察的目的是最小化Hawthorne效應(yīng)（比如，因?yàn)橛腥嗽诳茨?，你改變了你的行為）。就像上文所討論的一樣，我們將?jì)算機(jī)視覺(jué)，駐留在病房固定位置的多個(gè)審計(jì)員，在病房周圍走動(dòng)的單個(gè)審計(jì)員和RFID標(biāo)簽的使用進(jìn)行了比較。
結(jié)果
對(duì)比結(jié)果顯示，RFID產(chǎn)生了大量的誤報(bào)，它只在18%的時(shí)間里正確預(yù)測(cè)了干凈或骯臟軌跡。
人類審計(jì)師的效果要好得多，準(zhǔn)確率為63%，三個(gè)人的效果則更好，準(zhǔn)確率可以達(dá)到72%。然而，我們的算法甚至超過(guò)了人類審計(jì)員，具有75%的準(zhǔn)確度。這并不讓人吃驚，因?yàn)閷徲?jì)師正在與具有“全球視野”的計(jì)算機(jī)視覺(jué)系統(tǒng)競(jìng)爭(zhēng)。既然真實(shí)標(biāo)簽是人類標(biāo)注的，為何人類觀察員比算法表現(xiàn)更差呢？原因是我們的真實(shí)標(biāo)簽只是被遠(yuǎn)程標(biāo)記，而不是實(shí)時(shí)標(biāo)記。遠(yuǎn)程標(biāo)注者可以訪問(wèn)所有的傳感器，并且可以及時(shí)向前向后地播放視頻以確保它們的注釋是正確的?，F(xiàn)場(chǎng)的審計(jì)員則無(wú)法“訪問(wèn)”所有傳感器，他們不能及時(shí)地回放事件。
不同時(shí)段的手部衛(wèi)生檢測(cè)圖像。藍(lán)色方塊表示有人在使用洗手液。深藍(lán)色表示有更多同時(shí)發(fā)生的事件。底部顯示了真實(shí)標(biāo)簽。一般來(lái)說(shuō)，空白越多，結(jié)果越差。
除了數(shù)字之外，一個(gè)更有趣的結(jié)果是視覺(jué)效果。上面的圖片顯示了現(xiàn)場(chǎng)審計(jì)員很少檢測(cè)手部衛(wèi)生行為。注意到所有的空白部分了嗎？如果你查看真實(shí)標(biāo)簽?zāi)且恍?，通常是沒(méi)有空白的。這意味著觀察員錯(cuò)過(guò)了大量的手部衛(wèi)生事件。這通常是因?yàn)橛^察員分心了：他們可能在打瞌睡，在病房的其他地方看無(wú)關(guān)的活動(dòng)，或者只是沒(méi)有看到手部衛(wèi)生事件的發(fā)生。
ICU內(nèi)人員走動(dòng)的時(shí)空熱圖，黃色/紅色意味著更多的人在那里站/走。
最后，我們用一個(gè)動(dòng)畫(huà)來(lái)做結(jié)論。上面的動(dòng)畫(huà)展示了醫(yī)院病房的俯視視角。因?yàn)槲覀兛梢宰粉櫾谡麄€(gè)醫(yī)院的人，所以我們一直了解他們的特定的（x,y,z）位置。我們繪制了每個(gè)點(diǎn)并創(chuàng)造了隨時(shí)間變化的熱圖。這種類型的空間分析對(duì)識(shí)別交通模式和跟蹤潛在的疾病傳播都很有效。這些總是黃色/紅色的區(qū)域表示擁擠的空間。這些空間通常在走廊的交叉口或者就在病人的病房外。如果你仔細(xì)看，你會(huì)發(fā)現(xiàn)靜止的審計(jì)師被標(biāo)紅了。
我們展示了如何使用計(jì)算機(jī)視覺(jué)和深度學(xué)習(xí)來(lái)自動(dòng)監(jiān)控醫(yī)院的手部衛(wèi)生工作。在斯坦福PAC，手部衛(wèi)生僅僅是一個(gè)計(jì)算機(jī)視覺(jué)在醫(yī)療行業(yè)中的應(yīng)用案例。我們還在開(kāi)發(fā)計(jì)算機(jī)視覺(jué)系統(tǒng)來(lái)監(jiān)測(cè)患者的移動(dòng)情況，分析外科手術(shù)的質(zhì)量，以及檢查老年人的異常情況等內(nèi)容。
我們希望這項(xiàng)工作能夠激發(fā)醫(yī)療人工智能的潛力并擴(kuò)大它的影響。
Viewpoint Invariant Convolutional Networks for Identifying Risky Hand Hygiene Scenarios. M. Guo, A. Haque, S. Yeung, J. Jopling, L. Downing, A. Alahi, B. Campbell, K. Deru, W. Beninati, A. Milstein, L. Fei-Fei. Workshop on Machine Learning for Health (ML4H), Neural Information Processing Systems (NIPS), Long Beach, CA, December 2017.
Towards Vision-Based Smart Hospitals: A System for Tracking and Monitoring Hand Hygiene Compliance. A. Haque, M. Guo, A. Alahi, S. Yeung, Z. Luo, A. Rege, A. Singh, J. Jopling, L. Downing, W. Beninati, T. Platchek, A. Milstein, L. Fei-Fei. Machine Learning in Healthcare Conference (MLHC), Boston, MA, USA, August 2017.
Vision-Based Hand Hygiene Monitoring in Hospitals. S. Yeung, A. Alahi, Z. Luo, B. Peng, A. Haque, A. Singh, T. Platchek, A. Milstein, L. Fei-Fei. American Medical Informatics Association (AMIA) Annual Symposium, Washington, DC, USA, November 2016.雷鋒網(wǎng)雷鋒網(wǎng)
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
