4月29日，第八屆數(shù)字中國建設峰會數(shù)字經(jīng)濟分論壇在福州舉行。論壇由國家數(shù)據(jù)局主辦，國家數(shù)據(jù)發(fā)展研究院、國家發(fā)展改革委城市和小城鎮(zhèn)改革發(fā)展中心、中國信息通信研究院、福建省數(shù)據(jù)管理局承辦，以“從新出發(fā) 向智而行 推動數(shù)字經(jīng)濟高質(zhì)量發(fā)展”為主題。國家發(fā)展改革委黨組成員，國家數(shù)據(jù)局黨組書記、局長劉烈宏，福建省委常委、常務副省長王永禮出席并發(fā)表講話。中國工程院院士鄔賀銓，中國科學院院士黃維，全國政協(xié)委員、全國工商聯(lián)副主席、奇安信集團董事長齊向東等嘉賓做主題演講，圍繞人工智能引領數(shù)字經(jīng)濟發(fā)展新潮流、人工智能加速賦能社會治理水平提升、行業(yè)智能化創(chuàng)新促進數(shù)字經(jīng)濟高質(zhì)量發(fā)展等方向展開深度討論。齊向東在演講中表示，新技術是把雙刃劍，大模型應用一端連著機遇，一端連著挑戰(zhàn)，面對大模型應用的三重挑戰(zhàn)，需抓住“接入放心用”“權限強管控”“嚴把內(nèi)容關”“杜絕新隱患”“運營可閉環(huán)”五個關鍵，筑牢人工智能的安全底線，為千行百業(yè)抓住人工智能新機遇，吃下一顆“定心丸”。

 

發(fā)展是硬道理，安全也是硬道理

當前，人工智能大模型應用迎來大爆發(fā)，從直接部署的基本應用、特定場景的增強應用、垂直領域的專業(yè)應用，再到特定領域的深度應用，政企機構正在大模型的驅動下，煥發(fā)出更澎湃的生產(chǎn)力、創(chuàng)造力。然而，新技術猶如一把雙刃劍，在帶來機遇的同時，也面臨著諸多挑戰(zhàn)。齊向東總結大模型應用面對的安全挑戰(zhàn)有三重。

第一重挑戰(zhàn)是，“小數(shù)據(jù)”一失萬無，“小數(shù)據(jù)安全”成為數(shù)字經(jīng)濟時代的核心關切。在數(shù)字經(jīng)濟時代，數(shù)據(jù)如同驅動發(fā)展的“石油”，人工智能則是“發(fā)動機”。過去，人們談及數(shù)據(jù)多是大數(shù)據(jù)，規(guī)模龐大但質(zhì)量參差不齊，價值挖掘困難。如今，借助人工智能大模型，企業(yè)通過對設計、生產(chǎn)等數(shù)據(jù)進行加工處理，形成精華“小數(shù)據(jù)”，這些“小數(shù)據(jù)”成為企業(yè)核心競爭力所在。但一旦“小數(shù)據(jù)”被竊取、泄露或篡改，企業(yè)多年積累的優(yōu)勢將瞬間崩塌。

第二重挑戰(zhàn)是，大模型融通百業(yè)，“裸奔”上線極有可能引發(fā)業(yè)務停擺的鏈式危機。當大模型深度融入智慧城市、工控系統(tǒng)、智慧政務等關鍵領域時，會將風險串聯(lián)成網(wǎng)。奇安信資產(chǎn)測繪鷹圖平臺監(jiān)測發(fā)現(xiàn)，8971個Ollama大模型服務器中有6449個活躍服務器，其中近九成都在“裸奔”，任何人無需認證即可隨意調(diào)用、訪問服務，甚至能刪除重要模型文件，進而導致與大模型關聯(lián)的應用業(yè)務中斷。

第三重挑戰(zhàn)是，對AI過度依賴，善惡真?zhèn)坞y辨別，一旦大模型決策失準會引發(fā)“蝴蝶效應”。隨著人工智能的深入應用，人們對人工智能輔助決策依賴日益加深，這給了不法分子可乘之機。從外部攻擊視角看，黑客可以通過漏洞利用、數(shù)據(jù)投毒等方式，干擾大模型的決策，披著大模型的外衣作惡；從內(nèi)部運營視角看，如果內(nèi)部員工在更新知識庫時，引入錯誤信息會污染模型學習環(huán)境，使其輸出錯誤結論。

筑牢AI安全底線，共建發(fā)展新生態(tài)。

面對這些挑戰(zhàn)，齊向東提出了筑牢AI安全的“五個關鍵”。

首先是接入放心用，構建大模型安全“紅域”形成多維度邊界隔離。奇安信創(chuàng)新提出了安全“紅域”概念，將大模型應用涉及的數(shù)據(jù)、算力、平臺、應用以及域內(nèi)管理的終端及人員劃歸到專屬安全空間中進行防護，并在每個與大模型交互的接入點設置安全空間控制單元，通過多維度的邊界隔離，為大模型應用落地“強基礎、控權限、審數(shù)據(jù)、攔攻擊、清風險”。

其次是權限強管控，以用戶身份為新邊界開展網(wǎng)絡和數(shù)據(jù)安全防護。通過堡壘機、“零信任”等技術措施，對開發(fā)、訓練等相關特殊人員和終端進行增強式安全管控。其中，“零信任”架構能在認證主體角色基礎上，疊加IP、設備、安全環(huán)境和時間、位置及其上網(wǎng)行為基線等屬性，確保合適的人在合適的時間、以合適的方式，訪問合適的數(shù)據(jù)，杜絕“內(nèi)鬼”隱患。

三是嚴把內(nèi)容關，構建貫穿大模型全生命周期的內(nèi)容安全治理機制。通過強化監(jiān)測審計，實現(xiàn)對大模型的核心數(shù)據(jù)管控。包括對用戶使用大模型過程中的不良內(nèi)容、異常訪問行為進行監(jiān)測、審計、攔截和預警，及時優(yōu)化管控策略。

四是杜絕新隱患，以實戰(zhàn)為導向加強大模型應用安全評估。通過實戰(zhàn)化評估方法，對大模型安全、大模型內(nèi)容安全、智能體安全、大模型組件安全以及大模型運行環(huán)境安全等方向進行全面檢測評估，驗證安全策略有效性。并構建縱深防御與監(jiān)測技術能力，降低大模型應用的數(shù)據(jù)泄露風險與業(yè)務中斷風險。

五是運營可閉環(huán)，做到對安全威脅的實時監(jiān)測和應急處置。齊向東表示，“未來網(wǎng)絡安全得AI者得天下?！逼姘残怕氏忍岢觥癆I驅動安全”理念，推出AISOC，把AI的能力嵌入到研判、調(diào)查、響應、報告、狩獵、策略創(chuàng)建等安全運營工作，實現(xiàn)了大運營與AI的有機結合。面對人工智能落地應用帶來的多重安全挑戰(zhàn)，要用AI對抗AI，增補面向大模型攻擊及異常行為的檢測手段，實時監(jiān)測針對大模型的攻擊行為，并實現(xiàn)高效攔截，形成安全運營的閉環(huán)。

“我相信，把握好這五個關鍵，一定能夠確保人工智能大模型應用安全落地，發(fā)揮出驅動數(shù)字經(jīng)濟發(fā)展的正向價值?！饼R向東表示，奇安信將深挖優(yōu)勢，“以AI驅動安全”，助力構建數(shù)字經(jīng)濟安全新生態(tài)。

雷峰網(wǎng)版權文章，未經(jīng)授權禁止轉載。詳情見轉載須知。