機(jī)器學(xué)習(xí)算法的應(yīng)用越來越廣泛，比如信用卡申請(qǐng)，醫(yī)療診斷，個(gè)性化推薦，廣告和求職等領(lǐng)域，但究竟如何使用機(jī)器算法，對(duì)大多數(shù)人來說依然是個(gè)迷。不過，這個(gè)謎底可能即將揭曉，來自卡耐基·梅隆大學(xué)的研究人員開發(fā)了全新的評(píng)估方法，能夠充分了解機(jī)器算法流程。

在做決策的時(shí)候，一個(gè)人的年齡、性別、或是受教育水平是否起到關(guān)鍵作用？某些因素的特別組合是否也會(huì)影響決策？根據(jù)卡納基·梅隆大學(xué)的計(jì)算機(jī)科學(xué)和電子計(jì)算機(jī)工程專業(yè)助理教授Anupam Datta表示，該校開發(fā)的量化輸入影響（Quantitative Input Influence,QII）系統(tǒng)能夠?qū)τ绊懽罱K決策的每一個(gè)因素進(jìn)行權(quán)重評(píng)估。

“隨著算法決策系統(tǒng)的使用增多，對(duì)算法透明度的需求也有所增加，當(dāng)人們意識(shí)到這些系統(tǒng)有可能會(huì)引起一些種族主義問題，性別歧視問題，或是其他對(duì)社會(huì)產(chǎn)生危害的問題?！盌atta說道。

“一些公司已經(jīng)開始提供透明度報(bào)告，但是，支持這些報(bào)告形成的計(jì)算基礎(chǔ)似乎還非常落后，”他補(bǔ)充說，“我們的目標(biāo)，就是要開發(fā)一套評(píng)估方法，針對(duì)每一個(gè)對(duì)系統(tǒng)產(chǎn)生影響的因素，評(píng)估它們的影響程度，使之能夠幫助企業(yè)生成透明度報(bào)告?！?/p>

之所以要生成這些透明度報(bào)告，是因?yàn)橐獙?duì)某些特殊事件作出回應(yīng)，比如為什么你的個(gè)人貸款會(huì)被銀行拒絕，或者為什么警察會(huì)對(duì)某個(gè)人進(jìn)行詳細(xì)審查，又或醫(yī)生需要對(duì)某個(gè)病人給出特殊診斷或治療。當(dāng)然啦，也有些組織會(huì)前瞻性地使用這種方式去評(píng)估人工智能系統(tǒng)是否按照預(yù)期執(zhí)行相關(guān)操作；甚至政府監(jiān)管機(jī)構(gòu)可以利用它來判斷某個(gè)決策制定系統(tǒng)是否不恰當(dāng)?shù)仄缫暳艘徊糠秩后w。

本月23-25日，Datta和計(jì)算機(jī)科學(xué)專業(yè)博士生Shayak Sen，計(jì)算機(jī)科學(xué)學(xué)院博士后研究員Yair Zick在加州圣何塞市舉辦的IEEE安全與隱私會(huì)議上展示了他們?cè)赒II系統(tǒng)上的報(bào)告。

據(jù)Datta透露，生成這些QII系統(tǒng)評(píng)估報(bào)告，需要QII系統(tǒng)訪問相關(guān)機(jī)器學(xué)習(xí)系統(tǒng)，但是QII系統(tǒng)不會(huì)分析評(píng)估對(duì)象系統(tǒng)的內(nèi)部代碼和其他內(nèi)部運(yùn)作情況。此外，它還需要對(duì)最先訓(xùn)練機(jī)器學(xué)習(xí)系統(tǒng)的輸入數(shù)據(jù)集有一定了解。

QII評(píng)估系統(tǒng)的一個(gè)突出功能，就是它可以解釋很大一類機(jī)器學(xué)習(xí)系統(tǒng)做出的決策。在這個(gè)過程中，之前的工作成為了一個(gè)重要主體，采用了一個(gè)互補(bǔ)的解決方案，重新設(shè)計(jì)的機(jī)器學(xué)習(xí)系統(tǒng)會(huì)做更多解釋，有時(shí)也會(huì)失去預(yù)測(cè)精準(zhǔn)度。

在評(píng)估機(jī)器學(xué)習(xí)系統(tǒng)影響時(shí)，QII會(huì)仔細(xì)考慮相關(guān)輸入項(xiàng)。舉個(gè)例子，假設(shè)一個(gè)幫助搬家公司做出招聘決策的機(jī)器學(xué)習(xí)系統(tǒng)，那么兩個(gè)輸入項(xiàng)是和招聘決策正相關(guān)的，一個(gè)是應(yīng)聘者的性別，另一個(gè)是舉起重物的能力。此時(shí)，透明度評(píng)估會(huì)去看這個(gè)機(jī)器學(xué)習(xí)系統(tǒng)在判斷舉重能力和性別做招聘決策時(shí)，是否會(huì)有實(shí)質(zhì)性影響，并且在整個(gè)過程中，是否會(huì)有歧視應(yīng)聘者的成分存在。

“這就是為什么我們?cè)诙xQII的時(shí)候要考慮因果關(guān)系評(píng)估，”Sen說道，“粗略來看，在上面舉的例子中，評(píng)估某個(gè)特定個(gè)體性別的影響，我們會(huì)保持舉重能力為一個(gè)固定值，然后再通過改變性別來看機(jī)器學(xué)習(xí)系統(tǒng)做出的最終決策是否會(huì)發(fā)生變化?！?/p>

在評(píng)估機(jī)器學(xué)習(xí)系統(tǒng)是否會(huì)有高影響力的時(shí)候，觀察單個(gè)因素可能會(huì)比較片面，QII系統(tǒng)評(píng)估還可以量化一組輸入，綜合考慮這些因素帶來的共同影響，比如年齡和收入，然后看集合中的每個(gè)輸入產(chǎn)生的邊際影響。一個(gè)獨(dú)立輸入項(xiàng)可能會(huì)成為多重影響集合的一部分，之前應(yīng)用在收入分配和投票的原則博弈倫聚合影響力評(píng)估方法，將用來計(jì)算輸入項(xiàng)的平均邊際影響。

“為了獲得這些影響力評(píng)估的一種感覺，不妨可以考慮下美國(guó)總統(tǒng)選舉，”Zick說道，“加利福尼亞州和德克薩斯州在選舉中影響力很大，因?yàn)樗麄兊倪x民很多，但賓夕法尼亞州和俄亥俄州卻是最有權(quán)力的兩個(gè)州，因?yàn)樗麄円恢倍际沁x舉搖擺州。我們的影響力聚合評(píng)估就是同時(shí)考慮到這兩種類似的力量?！?/p>

針對(duì)一些標(biāo)準(zhǔn)機(jī)器學(xué)習(xí)算法，研究人員測(cè)試了他們的評(píng)估方法，這些機(jī)器學(xué)習(xí)算法都是應(yīng)用于訓(xùn)練決策系統(tǒng)的，上面運(yùn)行的都是真實(shí)的數(shù)據(jù)集。他們發(fā)現(xiàn)，相比于許多場(chǎng)景下的標(biāo)準(zhǔn)關(guān)聯(lián)評(píng)估，比如預(yù)測(cè)策略和預(yù)測(cè)收入的示例應(yīng)用程序，QII評(píng)估系統(tǒng)在許多情況下能提供更好的解釋。

現(xiàn)在，他們正在尋求與工業(yè)伙伴合作，這樣他們可以在機(jī)器學(xué)習(xí)系統(tǒng)上大范圍部署QII評(píng)估系統(tǒng)。

VIA SCS

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。