0
| 本文作者： 我在思考中 | 2022-05-06 09:58 |
解讀 | Antonio
近期，一家以色列NLP研究機(jī)構(gòu)AI21 Labs開(kāi)發(fā)了一個(gè)名叫Jurassic-X的算法系統(tǒng)，它基于該實(shí)驗(yàn)室提出來(lái)的MRKL（它與miracle諧音）系統(tǒng)。Jurassic-X的前身是對(duì)標(biāo)GPT-3的Jurassic-1，然而卻克服了它們不擅于推理、更新昂貴、不能有效處理時(shí)序數(shù)據(jù)等缺點(diǎn)。
論文地址：https://arxiv.org/pdf/2204.10019.pdf
MRKL的全稱是模塊化推理、知識(shí)和語(yǔ)言系統(tǒng)（Modular Reasoning, Knowledge and Language），它試圖將現(xiàn)有的神經(jīng)網(wǎng)絡(luò)模型，如大規(guī)模語(yǔ)言模型LLM，和外部知識(shí)庫(kù)，以及過(guò)去流行的符號(hào)專家系統(tǒng)結(jié)合在一起，從而來(lái)兼顧神經(jīng)模型和符號(hào)推理能力。
這一系統(tǒng)是針對(duì)現(xiàn)有的大規(guī)模語(yǔ)言模型的諸多缺點(diǎn)進(jìn)行的改進(jìn)。在GPT-3以及Jurassic-1等大規(guī)模語(yǔ)言模型進(jìn)行預(yù)訓(xùn)練，之后應(yīng)用在多個(gè)下游任務(wù)，常常有兩種極端的方式：
（1）多個(gè)任務(wù)直接通過(guò)零樣本學(xué)習(xí)的方式進(jìn)行。這種方式無(wú)需更新任何參數(shù)，從而保證了多功能性（versatility）；
（2）在每個(gè)任務(wù)上都對(duì)于大規(guī)模語(yǔ)言模型進(jìn)行微調(diào)。這種方式不僅需要大量的資源，具有很差的遷移性，還會(huì)經(jīng)常導(dǎo)致在一個(gè)任務(wù)微調(diào)完之后，其余任務(wù)表現(xiàn)得很差——災(zāi)難性遺忘（catastrophic forgetting）的困境。
基于MRKL系統(tǒng)的Jurassic-X則主要借鑒了類似于prompt learning的方式，來(lái)凍結(jié)大部分模型原有的參數(shù)，僅更新一部分任務(wù)相關(guān)的參數(shù)來(lái)避免上述問(wèn)題。之后會(huì)對(duì)這塊的方法有一個(gè)初步的介紹。
同時(shí)，僅僅依賴神經(jīng)語(yǔ)言模型，也會(huì)有很多本質(zhì)上的問(wèn)題：它們對(duì)于外部知識(shí)無(wú)法高效利用，尤其對(duì)于一些時(shí)序更新的數(shù)據(jù)，例如新冠疫情最新的數(shù)據(jù)以及貨幣匯率等信息，它們的推理能力很弱，例如最簡(jiǎn)單的算術(shù)題（自然語(yǔ)言給出的）有時(shí)候都會(huì)犯錯(cuò)。
舉例來(lái)說(shuō)：
問(wèn)題：在最近的一個(gè)月里，哪一家清潔能源公司有最大的份額增長(zhǎng)？
這是一個(gè)組合的“多專家”問(wèn)題：首先模型會(huì)從例如百科庫(kù)WIKI接口中獲取有哪些清潔能源公司，之后它會(huì)從日歷中獲取上個(gè)月指的是什么時(shí)候，以及從數(shù)據(jù)庫(kù)中獲取相應(yīng)的份額增長(zhǎng)；之后在匯總了上述信息后，它可以通過(guò)一個(gè)計(jì)算器去計(jì)算“最大的增長(zhǎng)”，最后通過(guò)語(yǔ)言模型來(lái)給出答案。
要完成這些目標(biāo)需要訓(xùn)練離散的專家系統(tǒng)，將他們的接口和神經(jīng)網(wǎng)絡(luò)之間進(jìn)行平滑，并在不同的模塊之間去選擇等等。一些技術(shù)細(xì)節(jié)可以參考介紹MRKL的文章，之后會(huì)針對(duì)其中在下游任務(wù)上的訓(xùn)練方式做一個(gè)簡(jiǎn)要的介紹，更詳細(xì)的技術(shù)細(xì)節(jié)可以參考論文。
財(cái)富雜志從商業(yè)角度分析了MRKL以及Jurassic-X反映了當(dāng)代AI的四個(gè)趨勢(shì)：通用性、基于LLM、混合系統(tǒng)、減少權(quán)重訓(xùn)練。
MRKL致力于僅使用單一模型解決各種各樣的自然語(yǔ)言任務(wù)，而并不是像現(xiàn)階段很多模型只能解決特定的單一任務(wù)，這是朝著通用人工智能的必經(jīng)之路。例如，一個(gè)流暢的機(jī)器人對(duì)話系統(tǒng)不僅僅能順暢地完成對(duì)話，還可以同時(shí)對(duì)某些話語(yǔ)進(jìn)行情感分析。事實(shí)上，GPT-3等大規(guī)模模型已經(jīng)顯示出它的在多個(gè)任務(wù)上零樣本學(xué)習(xí)的巨大潛力了，而大規(guī)模語(yǔ)言模型預(yù)訓(xùn)練，多個(gè)任務(wù)共享該模型進(jìn)行微調(diào)早已成為研究界熟悉的訓(xùn)練范式了，商業(yè)上緊跟其后，也是預(yù)料之中。
對(duì)標(biāo)GPT-3的LLM：Jurassic-1
盡管基于神經(jīng)模型的方式獲得了令人印象深刻的性能，不過(guò)GPT-3在涉及到一些哪怕是很簡(jiǎn)單的推理時(shí)也會(huì)犯一些低級(jí)錯(cuò)誤，尤其涉及到比較復(fù)雜的語(yǔ)言描述，例如多個(gè)數(shù)相加；涉及到最新的消息，例如紐約現(xiàn)在的天氣。它僅僅從過(guò)去訓(xùn)練好的數(shù)據(jù)中進(jìn)行推斷天氣情況，難以遷移到新的場(chǎng)景下，而如果用更新的數(shù)據(jù)，則需要重新訓(xùn)練模型，而這需要巨大的代價(jià)。
不同專家系統(tǒng)之間的連接
因此MRKL使用了代表當(dāng)代AI在商業(yè)角度下的第三個(gè)趨勢(shì)——使用神經(jīng)和符號(hào)結(jié)合的混合系統(tǒng)。MRKL融合了不同的模塊，有些模塊使用了深度學(xué)習(xí)，有些則使用符號(hào)推理模式的專家系統(tǒng)，例如直接從某些數(shù)據(jù)知識(shí)庫(kù)中進(jìn)行檢索等模塊，來(lái)獲取更新的信息。
MRKL中一個(gè)出色的設(shè)計(jì)被稱作是路由（router）的模塊，它可以根據(jù)用戶的問(wèn)題匹配一個(gè)專家系統(tǒng)：例如如果問(wèn)題涉及到數(shù)學(xué)，它會(huì)轉(zhuǎn)向一個(gè)計(jì)算器，如果問(wèn)題涉及到匯率，它會(huì)路由到一個(gè)匯率轉(zhuǎn)換器，如果是天氣的話，它會(huì)轉(zhuǎn)到一個(gè)天氣網(wǎng)站等等；如果路由對(duì)于問(wèn)題不確定，它會(huì)先通過(guò)Jurassic-1等語(yǔ)言模型利用上下文推斷出應(yīng)該轉(zhuǎn)向哪個(gè)專家模塊。
MRKL還采用了prompt tuning的方式對(duì)于模型的下游任務(wù)進(jìn)行更新，如上述，這種方式避免了災(zāi)難性遺忘的微調(diào)模式以及零樣本學(xué)習(xí)的低性能。與傳統(tǒng)的prompt tuning方式相比，Jurassic-X使用了更加精細(xì)的設(shè)計(jì):（1）依賴于模型輸入的prompt學(xué)習(xí)方式。（2）檢索增強(qiáng)的prompt生成方式。（3）遞歸式地應(yīng)用凍結(jié)了的LM模型。論文中做了更加詳細(xì)的技術(shù)介紹，感興趣的讀者可以直接閱讀論文。
MRKL中采用遞歸方式涉及prompt learning
博客中介紹了幾種MRKL的應(yīng)用場(chǎng)景舉例，都是一些值得關(guān)注和實(shí)用的一些話題，涉及到方方面面可能出現(xiàn)在日常場(chǎng)景中的問(wèn)題。
用人類語(yǔ)言去閱讀和更新數(shù)據(jù)庫(kù)
問(wèn)題：買玫瑰味的洗發(fā)水
Jurassic-X會(huì)從人類語(yǔ)言中提取中關(guān)鍵信息，并從商店清單中去檢索產(chǎn)品，加入到購(gòu)物車的數(shù)據(jù)庫(kù)中。這在智能助理，電子商務(wù)等都有應(yīng)用前景。
對(duì)于當(dāng)下問(wèn)題的文本生成
問(wèn)題：誰(shuí)是當(dāng)下的美國(guó)總統(tǒng)
Jurassic-X會(huì)融合當(dāng)下及時(shí)更新的外部數(shù)據(jù)庫(kù)，例如維基百科去產(chǎn)生更及時(shí)的數(shù)據(jù)。
數(shù)學(xué)操作
問(wèn)題：公司的655400份份額被94個(gè)員工平均分配，每個(gè)員工得到多少？
Jurassic-X會(huì)通過(guò)語(yǔ)言模型提出去關(guān)鍵信息，并且應(yīng)該去尋找一個(gè)“數(shù)學(xué)專家”，也就是計(jì)算器，從而得出正確結(jié)果。
組合型問(wèn)題
問(wèn)題：更多的人住在Tel Aviv還是Berlin？
Jurassic會(huì)將組合型問(wèn)題分解為若干子問(wèn)題：Tel Aviv的人口是多少？Berlin人口是多少？哪個(gè)數(shù)字更大？等，解決了每個(gè)子問(wèn)題后再把它們匯總在一起。更重要的是，這樣也增加了可解釋性，說(shuō)明了模型給出答案的依據(jù)。
天氣、匯率等動(dòng)態(tài)信息
問(wèn)題：100美元可以換多少摩洛哥幣？
Jurassic會(huì)把語(yǔ)言模型和一些及時(shí)更新的知識(shí)庫(kù)融合在一起，從而容易獲取到實(shí)踐性敏感的動(dòng)態(tài)信息。
透明性和可信性
問(wèn)題：克林頓是否曾經(jīng)當(dāng)選過(guò)美國(guó)總統(tǒng)
這里涉及到Clinton的歧義問(wèn)題，問(wèn)題的答案取決于哪個(gè)Clinton，是Bill Clinton還是他的妻子。Jurassic-X可以做出更加明確、透明的回答，而其他神經(jīng)模型則不行。
AI21實(shí)驗(yàn)室位于以色列的一家自然語(yǔ)言處理的研究機(jī)構(gòu)；它同時(shí)也是一個(gè)商業(yè)機(jī)構(gòu)，旨在將現(xiàn)有的NLP技術(shù)快速部署到商業(yè)應(yīng)用中。創(chuàng)始人包括從斯坦福大學(xué)退休了的人工智能教授Yoav Shoham；一家自動(dòng)駕駛公司Mobileye的創(chuàng)始人Amnon Shashua，以及眾包平臺(tái)CrowdX創(chuàng)始人Ori Goshen。這家公司的口號(hào)是“重構(gòu)人們的讀寫方式，朝向更美好的未來(lái)”（reimaging the way people read and write, for the better）。
https://fortune.com/2022/04/19/ai21-labs-mrkl-ultra-large-language-models-jurassic/
https://storage.cloud.google.com/ai21-public-data/publications/MRKL_paper.pdf
https://arxiv.org/pdf/2204.10019.pdf
雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))雷峰網(wǎng)
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。
