雷鋒網(wǎng)編者按：如果說(shuō)一場(chǎng)安全大會(huì)能召集五湖四海的白帽子們前來(lái)朝圣，看雪學(xué)院的安全開(kāi)發(fā)者峰會(huì)必然算是一場(chǎng)。不久前，第二屆安全開(kāi)發(fā)者峰會(huì)在北京國(guó)家會(huì)議中心落幕，峰會(huì)現(xiàn)場(chǎng)有近1000位來(lái)自全國(guó)各地的安全和開(kāi)發(fā)人員參加。

本次峰會(huì)以“萬(wàn)物互聯(lián)，安全開(kāi)發(fā)”為主題，聚焦物聯(lián)網(wǎng)及區(qū)塊鏈的開(kāi)發(fā)安全，10大議題覆蓋物聯(lián)網(wǎng)、智能設(shè)備、區(qū)塊鏈、機(jī)器學(xué)習(xí)、WEB安全、逆向、安卓、iOS等前沿領(lǐng)域。

在本次峰會(huì)上，吳鶴意從AI在自然語(yǔ)言處理領(lǐng)域NLP的實(shí)際應(yīng)用出發(fā)，通過(guò)實(shí)例介紹AI問(wèn)答機(jī)器人產(chǎn)品的業(yè)務(wù)安全問(wèn)題，試圖打破AI和業(yè)務(wù)安全之間的壁壘，推進(jìn)AI在行業(yè)中的落地應(yīng)用。

吳鶴意，網(wǎng)絡(luò)安全愛(ài)好者，擁有大型政企單位安全應(yīng)急與運(yùn)維經(jīng)驗(yàn)，多次參與中央部委安全事件解析工作，研究領(lǐng)域現(xiàn)集中于AI+SDN。

以下為演講實(shí)錄：

大家上午好！我今天這個(gè)議題主要來(lái)自于一個(gè)聊天機(jī)器人在工程實(shí)踐中遇到的一些問(wèn)題。我自己是一個(gè)安全研究愛(ài)好者，平時(shí)更多聚焦在AI、在工程方面的落地內(nèi)容。

現(xiàn)在機(jī)器學(xué)習(xí)的安全問(wèn)題在國(guó)內(nèi)安全會(huì)議上已經(jīng)討論得不少了，其中主要集中在三類：一類是對(duì)抗性輸入，專門(mén)設(shè)計(jì)的輸入，往往是主要用來(lái)讓AI的分類器進(jìn)行誤分類以躲避檢測(cè)，比如惡意軟件的檢測(cè)和惡意流量的檢測(cè)。第二類是數(shù)據(jù)中毒攻擊，攻擊者主要是用來(lái)污染訓(xùn)練數(shù)據(jù)，因?yàn)楹芏鄼C(jī)器學(xué)習(xí)模型需要在訓(xùn)練數(shù)據(jù)的基礎(chǔ)上進(jìn)行訓(xùn)練，一旦污染了數(shù)據(jù)之后，訓(xùn)練出來(lái)的模型也會(huì)產(chǎn)生很大的影響。第三類是模型竊取技術(shù)，通過(guò)探測(cè)把一些看不到具體代碼的模型，可以把模型分類曲線、分類決策面復(fù)現(xiàn)出來(lái)。

現(xiàn)在機(jī)器學(xué)習(xí)已經(jīng)有很多落地的攻擊方法，比如：

第一，圖片類機(jī)器學(xué)習(xí)的攻擊。這是我自己分類的，第一類是代碼級(jí)的攻擊，它主要用的是代碼方面的漏洞，第二類是算法級(jí)的攻擊，它更多是基于圖像擾動(dòng)方面的原理：

第一類是代碼攻擊，我參考的是這個(gè)文章，這類攻擊主要利用的是代碼方面，比如依賴的包上面代碼問(wèn)題，比如內(nèi)存訪問(wèn)越界、除零異常、空指針引用、整數(shù)溢出等等?？梢赃_(dá)到什么效果？可以運(yùn)行機(jī)器學(xué)習(xí)的進(jìn)程掛掉，導(dǎo)致應(yīng)用無(wú)法去應(yīng)用了。像這類攻擊主要基于的是開(kāi)源代碼，對(duì)代碼進(jìn)行漏洞分析，它比較底層，所以適用性很好。要去修復(fù)它的話，主要依賴于打補(bǔ)丁。影響的是可用性，它會(huì)讓這個(gè)模型的進(jìn)程直接掛掉，讓運(yùn)行機(jī)器學(xué)習(xí)的進(jìn)程直接掛掉。

第二類是算法攻擊。這是我引用的一篇文章，它的原理是對(duì)圖片樣本加上輕微的擾動(dòng)，可能是一個(gè)很小的擾動(dòng)，人眼是看不出來(lái)的，但機(jī)器學(xué)習(xí)算法的原理是基于對(duì)每一個(gè)像素的檢測(cè)，每一個(gè)像素產(chǎn)生微小的變化，人看不出來(lái)，但機(jī)器學(xué)習(xí)模型會(huì)產(chǎn)生很大的變化。如果大家參加過(guò)這兩年安全會(huì)議，只要有類似的會(huì)議都會(huì)放上面這張圖，因?yàn)檫@張圖是對(duì)機(jī)器學(xué)習(xí)攻擊論文上最經(jīng)典的圖。一張熊貓的照片加上微小的擾動(dòng)，就可以讓它識(shí)別長(zhǎng)臂猿。它攻擊的是算法原理，對(duì)模型原理和算法進(jìn)行研究。但這種方式對(duì)機(jī)器學(xué)習(xí)、圖像分類或識(shí)別算法是各不相同的，因?yàn)楣舴绞奖仨毟鶕?jù)模型進(jìn)行改變。修復(fù)一直屬于螺旋式上升過(guò)程當(dāng)中，這篇文章是今年3月份總結(jié)了類似的攻擊方式，比較知名的有12種，防御方式達(dá)到了15種，這類攻擊是通過(guò)首先影響機(jī)器學(xué)習(xí)分類模型的準(zhǔn)確性，造成模型分類準(zhǔn)確性迅速降低，最后導(dǎo)致它不可用，影響的是它的可用性問(wèn)題。

第二，針對(duì)音頻類的。也大體分為兩類：

一類是頻率攻擊，比較知名的是海豚音那個(gè)攻擊，利用手機(jī)上麥克風(fēng)和人耳對(duì)于聲音接受頻率不同，除了海豚音攻擊以外，手機(jī)上也存在類似的攻擊，例如智能助手會(huì)利用語(yǔ)音進(jìn)行操作，但手機(jī)麥克風(fēng)對(duì)于聲音識(shí)別的范圍頻率和人耳不一樣，比如人耳聽(tīng)不見(jiàn)，但手機(jī)麥克風(fēng)卻能識(shí)別為聲音，然后進(jìn)行操作。跟剛才的圖片類似，人眼看不出，人耳聽(tīng)不出，但機(jī)器卻可以識(shí)別出來(lái)。這類攻擊是基于聲音，它的適用性也非常好，因?yàn)樗舻氖躯溈孙L(fēng)硬件的模組，以及它上面很底層的比如用軟件或者硬件實(shí)現(xiàn)的濾波器，所以它的修復(fù)需要從底層硬件方面，或者很底層的濾波器的軟件代碼進(jìn)行修復(fù)。它的影響也是影響可用性，會(huì)造成讓手機(jī)進(jìn)行誤操作、個(gè)人助理進(jìn)行誤操作。

從算法方面，這里引用了一篇文章，在你音頻樣本之上進(jìn)行一個(gè)疊加，讓你關(guān)于音頻方面的機(jī)器學(xué)習(xí)模型造成誤判或者準(zhǔn)確率降低，這個(gè)原理是一樣的。像這一類的特性和剛才圖片的擾動(dòng)一樣，依賴于具體音頻AI識(shí)別的算法，根據(jù)不同的算法，很多攻擊方式并不能做到很好的共用性。像它的修復(fù)方式，只能對(duì)你的算法來(lái)進(jìn)行升級(jí)，除了升級(jí)以外，還有一些其他的，比如數(shù)據(jù)增強(qiáng)的方式來(lái)進(jìn)行，在這個(gè)文章里也有提到。它最后通過(guò)影響你模型的準(zhǔn)確性，來(lái)影響應(yīng)用的可用性。

我之前有一個(gè)工程應(yīng)用上遇到的問(wèn)題，今天借此機(jī)會(huì)與大家交流一下。NLP的應(yīng)用有很多，這是我從百度AI平臺(tái)上截下來(lái)的圖，就是NLP現(xiàn)在的應(yīng)用有非常多場(chǎng)合，其中一個(gè)場(chǎng)合是問(wèn)答機(jī)器人。大家對(duì)于問(wèn)答機(jī)器人的分類不一定那么清楚，它大體分為兩類，一類是問(wèn)答機(jī)器人，一類是聊天機(jī)器人，聊天機(jī)器人是你可以跟它一直聊天聊下去，但問(wèn)答機(jī)器人的目標(biāo)是在3-4個(gè)與你的交互環(huán)節(jié)之內(nèi)給你一個(gè)你滿意的答案。問(wèn)答機(jī)器人在國(guó)內(nèi)的落地方案中采用的方式大概可以分成幾類：

一開(kāi)始是對(duì)于用戶的輸入做字符分割，然后把分割出來(lái)的字符提取關(guān)鍵詞，把提取出來(lái)的關(guān)鍵詞轉(zhuǎn)變成一個(gè)向量，然后和問(wèn)答庫(kù)當(dāng)中原來(lái)已經(jīng)存的答案進(jìn)行匹配，比如4000個(gè)問(wèn)題和4000個(gè)答案的關(guān)鍵詞進(jìn)行相似度匹配，把匹配出來(lái)的前3個(gè)或者前5個(gè)問(wèn)題返給用戶，然后讓用戶自己來(lái)選擇哪個(gè)問(wèn)題是你想問(wèn)的問(wèn)題，點(diǎn)擊進(jìn)去可以看到這個(gè)問(wèn)題的答案。topK的匹配度很低，比如當(dāng)?shù)陀?0%的時(shí)候，有些廠商提供的方案是采用知識(shí)圖譜的方式，或者把這個(gè)問(wèn)題直接輸?shù)剿阉饕胬锶?，把搜索引擎top3的答案返還給你，或者它覺(jué)得你的問(wèn)題問(wèn)得不太清楚時(shí)，它會(huì)引導(dǎo)你更加精確的描述你的問(wèn)題?？赡芫唧w實(shí)現(xiàn)的細(xì)節(jié)有所不同，但大概的方案就是這兩幾類。

在我們實(shí)際測(cè)試過(guò)程中，發(fā)現(xiàn)很多問(wèn)答機(jī)器人是存在詞槽設(shè)置不完善、敏感詞沒(méi)有過(guò)濾、搜索引擎答案直接相互返回以及匹配度閾值的設(shè)定。我主要跟大家討論敏感詞的過(guò)濾問(wèn)題，大家能夠在網(wǎng)上看到真實(shí)案例的新聞，比如亞馬遜的音箱去年年底說(shuō)出一些不恰當(dāng)?shù)脑?，最后被迫下線一個(gè)月?？赡苓@些問(wèn)題不是那么傳統(tǒng)意義上的安全問(wèn)題，但它可以直接導(dǎo)致我們的AI系統(tǒng)達(dá)到被下線的程度。

最近某地政府官方微信引用了智能機(jī)器人，因?yàn)橛幸恍┎磺‘?dāng)?shù)幕貜?fù)，把新華社點(diǎn)名了。大家看看這個(gè)截圖，很明顯這個(gè)機(jī)器人是一個(gè)聊天機(jī)器人，并不是問(wèn)答機(jī)器人，把用戶的輸入變成閑聊對(duì)話，匹配度又不是很高，導(dǎo)致它產(chǎn)生了這樣的回答。發(fā)生這樣的問(wèn)題，國(guó)內(nèi)很多公司都在做智能音箱，這個(gè)問(wèn)題和智能音箱背后的問(wèn)題是一樣的，因?yàn)橹悄芤粝鋸脑砑夹g(shù)上也是這樣實(shí)現(xiàn)的。遇到這樣的問(wèn)題，用戶是非常生氣的，研發(fā)卻很痛苦。從技術(shù)角度來(lái)說(shuō)，現(xiàn)在并沒(méi)有很好的解決方案來(lái)解決這樣的問(wèn)題，比如這個(gè)應(yīng)用直接就下線了，導(dǎo)致比較嚴(yán)重的后果。

這是我實(shí)際測(cè)試的案例，這是一個(gè)云端的智能客服，它對(duì)用戶的輸入和自己的輸出根本沒(méi)有做任何過(guò)濾，用戶有很多輸入，這種話完全不應(yīng)該輸出，但它直接輸出了。

這是一個(gè)政務(wù)方面的應(yīng)用，也嵌入了聊天機(jī)器人，但是對(duì)于用戶的輸入也沒(méi)有做完全的過(guò)濾，通過(guò)聊天的方式把不太恰當(dāng)?shù)脑捴苯虞敵隽恕＿@種問(wèn)題是普遍性存在的。

這個(gè)例子是跟剛才同樣的應(yīng)用，我提出問(wèn)題之后，廠商說(shuō)“該公眾號(hào)提供的服務(wù)出現(xiàn)故障，請(qǐng)稍后再試。”直接把這個(gè)應(yīng)用關(guān)掉了，大家覺(jué)得這種修復(fù)方式很粗暴，其實(shí)這種問(wèn)題修復(fù)起來(lái)是很難的。前不久大家在安全方面看到了，在一個(gè)操作系統(tǒng)，它通過(guò)語(yǔ)音直接激活智能助手，然后進(jìn)行代碼的執(zhí)行，那個(gè)廠商提出的安全就是直接把這個(gè)功能禁掉了，它也沒(méi)有做什么修復(fù)。

這都是國(guó)內(nèi)大廠智能客服的問(wèn)題，像這個(gè)大廠已經(jīng)做了過(guò)濾，對(duì)用戶輸入的中文已經(jīng)做了過(guò)濾，但我可以用英文、韓文、日文。

有些案例對(duì)敏感詞沒(méi)有過(guò)濾好，有的是閾值設(shè)置有問(wèn)題，有的是答非所問(wèn)，直接影響客戶的滿意度以及這個(gè)產(chǎn)品會(huì)不會(huì)在線上應(yīng)用。導(dǎo)致這些問(wèn)題的原因是機(jī)器學(xué)習(xí)的模型具有不可解釋性，它在可解釋性上很差，比如剛才我舉的被新華社點(diǎn)名的那個(gè)例子，為什么模型會(huì)做出那個(gè)回復(fù)？即使是研發(fā)工程師，他也是很難解釋的，因?yàn)锳I模型特別是深度學(xué)習(xí)模型有幾百層，很難解釋怎么產(chǎn)生了這個(gè)回復(fù)。用戶很生氣，研發(fā)又不知道該怎么進(jìn)行修復(fù)。

我們也嘗試考慮做規(guī)則過(guò)濾、敏感詞過(guò)濾等等，但繞過(guò)的方式太多，因?yàn)闈h語(yǔ)博大精深。我們也考慮過(guò)Fuzz，第一，它效率低，第二，又是文字游戲，效果不理想。剛才我舉的例子和大廠AI安全實(shí)驗(yàn)室的工程師進(jìn)行了探討，他們沒(méi)有好的解決方案，我自己也沒(méi)有好的解決方案，大家有好的解決方案可以告訴我。

我原來(lái)是做AI的，現(xiàn)在安全會(huì)議上也有關(guān)于AI的問(wèn)題，安全和AI的結(jié)合有更大的含義。比如敏感詞過(guò)濾的功能在國(guó)內(nèi)很多平臺(tái)根本沒(méi)有，如果把這個(gè)問(wèn)題提交給安全中心，它不認(rèn)為這是傳統(tǒng)意義上的安全問(wèn)題。這個(gè)覺(jué)得這跟安全不是很緊密，但是類似的原理如果利用在人臉識(shí)別，可以繞過(guò)很多廠商人臉識(shí)別。攻擊不一定從代碼層面，也可以從AI的應(yīng)用層面，應(yīng)用邏輯和程序中的問(wèn)題都可以拿來(lái)作為攻擊點(diǎn)。

AI的數(shù)據(jù)污染也需要防御，在第一個(gè)案例的截圖，它會(huì)把top3的問(wèn)題返還給用戶，用戶覺(jué)得好可以點(diǎn)贊，覺(jué)得不好可以不點(diǎn)贊。但也可以惡意給你不停的點(diǎn)贊，讓你這個(gè)模型慢慢畸變，變到最后讓模型覺(jué)得應(yīng)該推送錯(cuò)誤的答案。像問(wèn)題在國(guó)內(nèi)有一些專家已經(jīng)意識(shí)到了，這里也引用了一個(gè)網(wǎng)上的文章，它里面提到了類似的問(wèn)題，像這個(gè)問(wèn)題不一定針對(duì)的是代碼層面，也不一定針對(duì)的是算法層面，但AI可以說(shuō)臟話和不恰當(dāng)?shù)脑?，它最后?huì)直接影響到AI的落地問(wèn)題。但國(guó)內(nèi)在AI應(yīng)用過(guò)程中的這個(gè)安全點(diǎn)討論得并不是很多，希望大家以后有計(jì)劃可以加強(qiáng)溝通和交流。

像數(shù)據(jù)污染問(wèn)題，這是我們自己做的一個(gè)實(shí)驗(yàn)，左邊這張圖是被污染過(guò)的圖，右邊這張圖是沒(méi)有被污染過(guò)的圖，橘黃色的曲線是訓(xùn)練過(guò)的曲線，藍(lán)色曲線是預(yù)測(cè)曲線，預(yù)測(cè)數(shù)據(jù)應(yīng)該是應(yīng)該跟真實(shí)數(shù)據(jù)進(jìn)行對(duì)比的。同樣一個(gè)模型，對(duì)一些數(shù)據(jù)點(diǎn)進(jìn)行污染之后，可以讓它的預(yù)測(cè)產(chǎn)生不一樣的效果，右邊這個(gè)模型大概能夠預(yù)測(cè)出后面的峰值，左邊的模型已經(jīng)和真實(shí)的點(diǎn)千差萬(wàn)別。

對(duì)于AI模型在應(yīng)用中的有些安全點(diǎn)，蘋(píng)果自己也寫(xiě)過(guò)文章，比如蘋(píng)果因?yàn)镾iri總是發(fā)出“笨拙”、“尷尬”的詞，直接放棄了音箱產(chǎn)品。Uber在3月發(fā)生了安全問(wèn)題，AI的安全有時(shí)不一定是算法、代碼，可能是在應(yīng)用方面。

著眼于國(guó)內(nèi)的政企應(yīng)用，聊天機(jī)器人的不恰當(dāng)回復(fù)，會(huì)給單位帶來(lái)很大的壓力和困擾，也會(huì)影響AI在這個(gè)領(lǐng)域的發(fā)展。但可喜的是，經(jīng)過(guò)我跟廠商的交流和溝通，發(fā)現(xiàn)有些廠商已經(jīng)開(kāi)始著手解決這個(gè)問(wèn)題，但這個(gè)問(wèn)題的確不是那么容易來(lái)解決。

很多國(guó)內(nèi)外大牛們也在往這方面進(jìn)行思考，擺脫傳統(tǒng)代碼級(jí)別、算法級(jí)別的問(wèn)題，來(lái)研究AI在其他領(lǐng)域的安全問(wèn)題，比如Google工程師提到了，還有阿里的大牛提到了數(shù)據(jù)中毒，騰訊大牛也提到了AI非傳統(tǒng)安全方面的問(wèn)題。 

雷鋒網(wǎng)雷鋒網(wǎng)

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。