0
| 本文作者： 嘉嘉 | 2022-03-11 10:58 |
近日，為了更好地推動安全可靠AI模型相關(guān)領(lǐng)域的技術(shù)研究與人才培養(yǎng)，鼓勵研究者打造更安全、更可靠的AI，商湯科技聯(lián)合北京航空航天大學共同發(fā)布，面向技術(shù)開發(fā)者和在校學生的科技類競賽活動“面向復雜場景的魯棒機器學習大賽Robust Models towards Open-world Classification”（大賽官網(wǎng)： aisafety.sensetime.com）。
大賽以CVPR2022 Workshop：The Art of Robustness: Devil and Angel in Adversarial Machine Learning 為依托，該Workshop將匯聚來自全球計算機視覺、機器學習與智能安全領(lǐng)域的專家學者，圍繞對抗機器學習的最新進展和發(fā)展展開研討與分享，以推動安全可信人工智能技術(shù)進步。比賽2022年3月正式開賽，希望參與者發(fā)揮創(chuàng)新思維與創(chuàng)新能力，開發(fā)以數(shù)據(jù)為中心的新算法，例如數(shù)據(jù)增強、標簽細化、制作對抗性數(shù)據(jù)，甚至設(shè)計來自其他領(lǐng)域的知識融合算法、數(shù)據(jù)集，加速圖像分類中的對抗性魯棒性技術(shù)研究，以達到更好地訓練高效穩(wěn)定的機器學習模型的目標。
隨著人工智能技術(shù)發(fā)展，如今AI模型已廣泛應(yīng)用于智慧城市、智能工廠、自動駕駛等公共、生活和生產(chǎn)領(lǐng)域，人工智能已經(jīng)成為信息基礎(chǔ)設(shè)施的重要組成。但在這個過程中，人工智能也暴露出一些風險隱患，例如用戶和業(yè)界對于對抗安全、模型魯棒性等問題的關(guān)注度持續(xù)提升。商湯科技很早就啟動了相關(guān)研究和布局，針對對抗安全、模型魯棒性以及隱私保護等問題，建立和完善了AI安全平臺技術(shù)體系，打造覆蓋全行業(yè)云邊端平臺更安全的“盾”，推動人工智能更安全、更公平、更可持續(xù)性地發(fā)展，以提升人的福祉，推動人類社會進步。
此次大賽由商湯科技和北京航空航天大學劉祥龍教授團隊合作舉辦，希望通過比賽吸引更多研究者共同參與到，推動安全、可靠的人工智能技術(shù)發(fā)展中來。劉祥龍教授團隊多年來深耕人工智能安全領(lǐng)域，不斷探索可信賴人工智能前沿技術(shù)，在對抗攻防、模型評測和可解釋理論方面成果豐碩，在國內(nèi)外均具有一定影響力。比賽還得到了OpenI啟智新一代人工智能開源開放平臺的資源協(xié)助和大力支持。
當前的機器學習競賽大多在封閉數(shù)據(jù)集下尋找魯棒的機器學習模型，然而在開放世界場景中，噪聲數(shù)據(jù)的多樣性（如對抗擾動、自然噪聲、對抗補丁、對抗光線）以及分類類別的不確定性將會給魯棒模型帶來極大的挑戰(zhàn)。
因此，本次比賽的目的是加速開放世界場景下的魯棒模型研究。希望通過比賽，鼓勵研究者開發(fā)面向開放世界的對抗防御算法。面對多種多樣的對抗攻擊算法和真實世界中的各種各樣的場景，在測試類別不確定等因素下，探究魯棒模型的生產(chǎn)方式，促進魯棒防御模型的發(fā)展。
本次比賽共有兩條賽道。
第一賽道的目標是獲得魯棒性好的模型，可以適應(yīng)各種各樣的攻擊樣本。
第一賽道分為初賽和復賽兩個階段。初賽階段，比賽會分別釋放訓練集和測試集，參賽者僅能使用該階段釋放的訓練集訓練魯棒模型。訓練集為正常的分類數(shù)據(jù)，測試集包含正常分類數(shù)據(jù)和攻擊樣本。第一賽道的攻擊樣本包括但不限于通過對抗攻擊產(chǎn)生的對抗樣本。選手需要得到足夠魯棒的防御模型，能夠?qū)Ω蓛魳颖竞蛯箻颖具M行正確分類。初賽階段選手需要將給定測試集的預(yù)測結(jié)果提交。復賽階段，參賽者同樣僅能使用該階段釋放的訓練集訓練魯棒模型。但與初賽不同的是，參賽者需要提交訓練好的原始模型，平臺將對提交的模型進行評測。數(shù)據(jù)集的構(gòu)成上，初賽為20類，復賽為100類。
第二賽道的目標是對對抗攻擊產(chǎn)生的對抗樣本做區(qū)分。在第二個賽道中測試集為開放類別，即和訓練集合的類別沒有交集。
第二賽道同樣分為初賽和復賽兩個階段。初賽階段，比賽會分別釋放訓練集和測試集，參賽者僅能使用該階段釋放訓練接做訓練，得到可以區(qū)分正常樣本和對抗樣本的模型。 在復賽階段，選手同樣需要提交模型到平臺進行驗證。
比賽規(guī)則
本次比賽的提交評測，在主辦方提供的評測平臺上進行。比賽采用初賽、初賽和復賽階段的評估指標均采用識別準確率。初賽成績排名前20名晉級復賽，最終成績按照干凈樣本下的準確率得分占比40%，噪聲樣本下的準確率得分占比60%進行加權(quán)得到總分進行排名。
l 在比賽中只允許使用各個階段提供的訓練數(shù)據(jù)集進行訓練，其他數(shù)據(jù)集不允許用于模型的訓練。
l 復賽提交ONNX模型，模型需要為FP32模型，模型體積不大于120M，計算量不大于 5GFLOPs。輸入圖片的格式為3x224x224，每個像素歸一化到[0,1]。
l 不允許為訓練集合提供任何外部數(shù)據(jù)。
l 禁止模型融合。簡單來說，單獨訓練多個模型然后對結(jié)果融合是禁止的，主辦方會對最終提交的代碼進行審核。
l 禁止在模型提交環(huán)節(jié)使用超過提交規(guī)定規(guī)模（包括FLOPs和體積）的模型對提交模型進行蒸餾。
l 禁止對測試集樣本手工標記。
l 參與者必須在每個賽道的第二階段提交中附帶一份技術(shù)報告，其中包括對其提交的詳細消融研究（建議長度1-4頁）。報告將會在競賽官網(wǎng)進行公開。
本次比賽總獎池1.5萬美元。其中賽道1總獎金池8000美元，取前6名，前六名獎金分別為3000、2000、1500、800、500、200美元；賽道2總獎金池7000美元，取前3名，前三名獎金分別為4000、2000、1000美元。比賽時間為3月11日-5月21日，并將在6月發(fā)布及公示獲獎結(jié)果，獲獎隊伍還將受邀參加CVPR 2022的相關(guān)主題Workshop進行分享。
如今推動可信人工智能技術(shù)發(fā)展，實現(xiàn)人工智能的技術(shù)可控已成為全球共識。對于任何新興技術(shù)的應(yīng)用，都必須保證其安全性與可靠性，必須齊備可驗證、可審查、可信任、負責任等關(guān)鍵屬性。與歷史上其他重要技術(shù)發(fā)展普遍會經(jīng)歷的一樣，人工智能也正在經(jīng)歷從技術(shù)研發(fā)到大量應(yīng)用的關(guān)鍵階段。
商湯科技一直秉持平衡發(fā)展的 AI 倫理觀，希望在技術(shù)可控、以人為本和可持續(xù)三條核心原則的基礎(chǔ)上，尋求均衡發(fā)展，希望用人工智能技術(shù)推動社會的進步。近年來，商湯科技建立和完善了AI安全平臺技術(shù)體系。在數(shù)據(jù)安全及保護方面，商湯科技成為第一家獲得全部三項 ISO/IEC 隱私信息管理系統(tǒng)、信息安全管理和個人身份信息保護認證的人工智能公司。同時，商湯科技還通過基于真實場景下的數(shù)據(jù)集的算法驗證與評測，圍繞“AI 算法的數(shù)據(jù)隱私保護”、“AI 算法的魯棒性”、“AI 算法的公平性”等多個方面進行，從產(chǎn)品源頭確保人工智能算法的可信品質(zhì)。
依托深厚的技術(shù)累積、人才儲備、行業(yè)經(jīng)驗等，未來商湯科技在為用戶提供在行業(yè)內(nèi)廣泛驗證使用、具備行業(yè)影響力的可信任AI解決方案的同時，還將引領(lǐng)人工智能行業(yè)產(chǎn)品安全標準體系的建立，全方位為AI行業(yè)的健康持續(xù)發(fā)展保駕護航。
雷峰網(wǎng)(公眾號：雷峰網(wǎng))
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
