0
| 本文作者： 我在思考中 | 2022-05-18 10:27 | 專題：ACL 2019 |
作者 | 劉冰一
近日，自然語(yǔ)言處理國(guó)際頂會(huì) ACL 2022 公布了今年的獲獎(jiǎng)工作，華人學(xué)者表現(xiàn)突出：今年的 ACL 一共選出八篇杰出論文，其中，四篇由中國(guó)機(jī)構(gòu)或海外知名華人學(xué)者獲得，占了一半！
獲獎(jiǎng)企業(yè)包括阿里達(dá)摩院、華為諾亞方舟實(shí)驗(yàn)室等，而獲獎(jiǎng)工作的華人作者有陳丹琦、楊笛一、金榕等知名學(xué)者。
ACL 2022是CCF A類會(huì)議，人工智能領(lǐng)域自然語(yǔ)言處理（Natural Language Processing，NLP）方向最權(quán)威的國(guó)際會(huì)議之一。它由國(guó)際計(jì)算語(yǔ)言學(xué)協(xié)會(huì)組織，每年籌辦一次。第 60 屆 ACL 大會(huì)，將于 2022 年 5 月 22 日至 27 日在愛爾蘭都柏林召開。
本屆大會(huì)主會(huì)議共接收了 604 篇長(zhǎng)論文和 97 篇短論文。
最佳論文
本屆最佳論文（Best Paper）來(lái)自加州大學(xué)伯克利分校研究團(tuán)隊(duì)，該研究提出了一種增量句法表示。
鏈接：https://aclanthology.org/2022.acl-long.220.pdf
論文摘要：該研究提出了一種增量句法表示，該表示包括為句子中的每個(gè)單詞分配一個(gè)離散標(biāo)簽，其中標(biāo)簽是使用句子前綴的嚴(yán)格增量處理來(lái)預(yù)測(cè)的，并且句子標(biāo)簽序列完全確定了解析樹，這種表示方法區(qū)別于標(biāo)準(zhǔn)表示。
該研究使用更強(qiáng)大的預(yù)訓(xùn)練模型和額外監(jiān)督，將相同的預(yù)訓(xùn)練編碼器與深度雙向處理相結(jié)合，結(jié)合所有因素，達(dá)到96.38 F1。這表明該研究可以誘導(dǎo)出具有競(jìng)爭(zhēng)性精度的解析樹。該研究還對(duì)系統(tǒng)學(xué)習(xí)到的表示進(jìn)行了分析，他們研究了系統(tǒng)捕獲的可解釋句法特征等屬性，以及句法歧義的延遲解決機(jī)制。但是這些技術(shù)由于它們側(cè)重于深入的雙向神經(jīng)處理而不能被借用到增量設(shè)置中。
1998年，Klein 在康奈爾大學(xué)拿到數(shù)學(xué)、計(jì)算機(jī)科學(xué)、語(yǔ)言學(xué)3個(gè)學(xué)士學(xué)位。同年他去了牛津大學(xué)，在語(yǔ)言學(xué)專業(yè)上獲取本碩博學(xué)位。1999年博士畢業(yè)他再次進(jìn)入斯坦福攻讀計(jì)算機(jī)科學(xué)博士學(xué)位，后進(jìn)入伯克利人工智能實(shí)驗(yàn)室（BAIR）。
得益于多年的語(yǔ)言學(xué)和計(jì)算機(jī)學(xué)科的學(xué)科背景，他在自然語(yǔ)言處理的研究上成績(jī)斐然。Klein 教授的研究包括無(wú)監(jiān)督學(xué)習(xí)方法、句法解析、信息提取和機(jī)器翻譯。
Daniel Klein曾獲得ACM 的 Grace Murray Hopper 獎(jiǎng)、斯隆研究獎(jiǎng)學(xué)金、美國(guó)國(guó)家科學(xué)基金會(huì)CAREER獎(jiǎng)和微軟新教師獎(jiǎng)學(xué)金。多次在ACL、NAACL、EMNLP獲得最佳論文獎(jiǎng)。
Dan培養(yǎng)了許多優(yōu)秀學(xué)生，如Aria Haghighi、John DeNero 和 Percy Liang。
杰出論文
Learning to Generalize to More: Continuous Semantic Augmentation for Neural Machine Translation
論文地址：https://arxiv.org/pdf/2204.06812v1.pdf
論文摘要：監(jiān)督神經(jīng)機(jī)器翻譯（NMT）在學(xué)習(xí)生成以來(lái)自一組并行句子對(duì)的源輸入為條件的目標(biāo)句子時(shí)，通常觀察到模型的泛化性受訓(xùn)練中使用的并行數(shù)據(jù)量的影響很大。因此，研究者提出了一種新的數(shù)據(jù)增強(qiáng)范式——連續(xù)語(yǔ)義增強(qiáng)（Continuous Semantic Augmentation, CsaNMT），為每個(gè)訓(xùn)練實(shí)例增加了一個(gè)鄰接語(yǔ)義區(qū)域。
金榕
金榕現(xiàn)任阿里巴巴集團(tuán)副總裁、達(dá)摩院副院長(zhǎng)。他曾是密歇根州立大學(xué)終身教授，曾任NIPS、SIGIR等頂級(jí)國(guó)際學(xué)術(shù)會(huì)議的主席，獲得過(guò)美國(guó)國(guó)家科學(xué)基金會(huì)NSF Career Award。2014年7月，42歲的金榕決定加入阿里巴巴，成為達(dá)摩院機(jī)器智能實(shí)驗(yàn)室負(fù)責(zé)人。終身教授、海歸科學(xué)家、不是學(xué)霸、浪漫絕緣體等標(biāo)簽齊聚在金榕身上，他被同事稱為“隨和得最不像科學(xué)家的科學(xué)家”。
Inducing Positive Perspectives with Text Reframing
論文地址：https://arxiv.org/pdf/2204.02952v1.pdf
論文摘要：該研究引入了積極重構(gòu)任務(wù)，在該任務(wù)中，該研究為作者生成更積極的觀點(diǎn)，并且不易與原始含義產(chǎn)生矛盾。該研究引入了一個(gè)大規(guī)模的基準(zhǔn)，積極心理學(xué)框架（POSITIVE PSYCHOLOGY FRAMES），其具有 8349 個(gè)句子對(duì)和 12755 個(gè)結(jié)構(gòu)化注釋，以根據(jù)六種理論動(dòng)機(jī)的重構(gòu)策略來(lái)解釋積極重構(gòu)。
她曾就讀陜西省興平市西郊高級(jí)中學(xué)，2009年，高考中以優(yōu)異的成績(jī)考入上海交通大學(xué)，在俞勇老師的感染下加入聚集各路競(jìng)賽大神的ACM班。本科期間發(fā)表4篇頂會(huì)論文，一作2篇，獲得2012年谷歌Anita Borg 計(jì)算機(jī)學(xué)科女性獎(jiǎng)學(xué)金、2013年上海交大致遠(yuǎn)杰出學(xué)生獎(jiǎng)學(xué)金。
2013年，楊笛一從上海交大ACM班畢業(yè)，赴卡內(nèi)基梅隆大學(xué)語(yǔ)言技術(shù)研究所攻讀碩士、博士，28歲成為佐治亞理工學(xué)院的助理教授。后因楊笛一在NLP領(lǐng)域的卓越成就，入選2020年“福布斯30位30歲以下科學(xué)精英榜”（Forbes 30 Under 30 list in Science）。
AI科技評(píng)論曾對(duì)楊笛一進(jìn)行過(guò)專訪，有興趣讀者點(diǎn)擊鏈接可見全文。
Ditch the Gold Standard: Re-evaluating Conversational Question Answering
論文地址：https://arxiv.org/pdf/2112.08812v2.pdf
論文摘要：在這項(xiàng)工作中，該研究對(duì) SOTA 對(duì)話式 QA 系統(tǒng)進(jìn)行了首次大規(guī)模人類評(píng)估，通過(guò)人類與模型對(duì)話判斷答案正確性。研究發(fā)現(xiàn)人機(jī)對(duì)話的分布與人-人對(duì)話的分布有很大的不同。人類評(píng)估和黃金歷史（goldhistory）評(píng)估存在分歧，該研究進(jìn)一步改進(jìn)自動(dòng)評(píng)估，并提出了預(yù)測(cè)歷史重寫機(jī)制，以便和人類判斷更好地關(guān)聯(lián)。最后，該研究分析了各種建模策略的影響，并討論了構(gòu)建更好的對(duì)話式問(wèn)答系統(tǒng)的未來(lái)方向。、
2008年畢業(yè)于長(zhǎng)沙市雅禮中學(xué)，同年8月赴埃及開羅參加第20屆國(guó)際信息學(xué)奧林匹克競(jìng)賽獲得金牌，之后免試錄取進(jìn)入清華大學(xué)，2012年畢業(yè)于清華大學(xué)計(jì)算機(jī)科學(xué)實(shí)驗(yàn)室（姚班），同年赴美留學(xué)。曾經(jīng)是Facebook人工智能訪問(wèn)科學(xué)家，2018年憑借博士論文《Neural Reading Comprehension and Beyond》獲得斯坦福大學(xué)博士，師從Christopher Manning，丈夫是清華大學(xué)同班同學(xué)，計(jì)算機(jī)科學(xué)家俞華程。
2019年擔(dān)任普林斯頓大學(xué)計(jì)算機(jī)科學(xué)系助理教授。2021年入選Google人工智能2021研究學(xué)者計(jì)劃。
本文一作高天宇師從陳丹琦，目前是普林斯頓大學(xué)的二年級(jí)博士生，本科畢業(yè)于清華大學(xué)，曾經(jīng)獲得清華本科特等獎(jiǎng)學(xué)金。
Compression of Generative Pre-trained Language Models via Quantization
論文摘要：本文采用量化方法對(duì)生成式 PLM（Pre-trained Language Models）進(jìn)行壓縮，提出了一種 token 級(jí)的對(duì)比蒸餾方法來(lái)學(xué)習(xí)可區(qū)分的詞嵌入，此外，研究還提出了一種模塊級(jí)的動(dòng)態(tài)擴(kuò)展來(lái)使量化器適應(yīng)不同的模塊，在各種任務(wù)的經(jīng)驗(yàn)結(jié)果表明，該研究提出的方法在生成 PLM 上明顯優(yōu)于 SOTA 壓縮方法。在 GPT-2 和 BART 上分別實(shí)現(xiàn)了 14.4 倍和 13.4 倍的壓縮率。
第一作者陶超凡，香港大學(xué)（HKU）博士研究生，師從香港大學(xué)的黃毅和羅萍。研究興趣是高性能機(jī)器學(xué)習(xí)（網(wǎng)絡(luò)壓縮和加速），并應(yīng)用于視覺和語(yǔ)言任務(wù)，論文發(fā)表在ACL/ECCV/CIKM/AAAI等。
參考鏈接：
https://www.2022.aclweb.org/best-paper-awards
https://www2.eecs.berkeley.edu/Faculty/Homepages/klein.html
https://chaofantao.top/
雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))
雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
專題
