雷鋒網(wǎng) AI 科技評論按：由中國中文信息學會社會媒體處理專委會主辦、哈爾濱工業(yè)大學承辦的第七屆全國社會媒體處理大會（SMP 2018）于 2018 年 8 月 2 日- 4 日在哈爾濱召開。雷鋒網(wǎng)作為獨家戰(zhàn)略媒體帶來專題報道。

對話是人機交互最為流暢且自然的一種形式，因此人機對話成為自然語言處理的一個重要研究方向。以微軟小冰、Siri 為代表的人機對話產(chǎn)品也作為產(chǎn)業(yè)界的代表應(yīng)用迅速發(fā)展。與之相應(yīng)地，人機對話的技術(shù)評測也成為了高校及企業(yè)技術(shù)的「練兵場」。

圖片來源：哈工大 SCIR 李家琦

8 月 4 日下午，SMP 2018 第二屆中文人機對話技術(shù)評測（The Second Evaluation of Chinese Human-Computer Dialogue Technology，SMP-ECDT) 的頒獎儀式及技術(shù)報告論壇順利召開。

本屆 SMP-ECDT 由中國中文信息學會社會媒體處理專委會主辦，承辦方包括哈爾濱工業(yè)大學和提供數(shù)據(jù)支持的科大訊飛股份有限公司，此外華為公司提供獎金支持。SMP 2018 技術(shù)評測委員會組織架構(gòu)包括主席張偉男（哈爾濱工業(yè)大學），委員陳志剛（科大訊飛股份有限公司）、車萬翔（哈爾濱工業(yè)大學）及張軼博（華為公司）。

本屆 SMP-ECDT 技術(shù)評測沿襲上一年的賽制，分為用戶意圖領(lǐng)域分類及任務(wù)型人機對話在線評測兩個任務(wù)。

用戶意圖領(lǐng)域分類（任務(wù)一）針對閑聊類和任務(wù)類兩大類領(lǐng)域（domain），要求系統(tǒng)將用戶在單輪對話的輸入分類對應(yīng)到相應(yīng)的領(lǐng)域中；其中，任務(wù)類又細分為 30 個垂直領(lǐng)域。

在人機對話的應(yīng)用過程中，只有正確判斷用戶的意圖，并正確進行劃分，才能進一步返回正確的回復結(jié)果。在本任務(wù)中，參賽者可以開放地獲取除主辦方提供的數(shù)據(jù)之外的訓練及開發(fā)數(shù)據(jù)；主辦方提供給定測試集，并運行參賽系統(tǒng)，在測試集上面得出評測結(jié)果。評價標準包括準確率（P）、召回率（R）及 F 值。

任務(wù)型人機對話在線評測（任務(wù)二）則涵蓋機票類、火車票類、酒店類 3 個垂直領(lǐng)域，系統(tǒng)通過與測試人員實時在線對話完成相應(yīng)的預定或查詢?nèi)蝿?wù)。

整個評測過程對不同的參賽系統(tǒng)均給定相同的首輪對話輸入，評測員根據(jù)給定的完整意圖描述與參賽系統(tǒng)進行交互直至對話結(jié)束；系統(tǒng)返回所有任務(wù)（單任務(wù)或多任務(wù)）的執(zhí)行結(jié)果，此外，如果單個任務(wù)在 30 個對話輪數(shù)之后仍未返回測試員所需的結(jié)果，則對話測試結(jié)束。評價指標包括任務(wù)完成率、對話輪數(shù)、用戶滿意度、回復語言的自然度及資源未覆蓋情況的引導能力等五大領(lǐng)域。

SMP-ECDT 技術(shù)評測從 2018 年 4 月 1 日啟動，歷經(jīng)近五個月的賽程，最終吸引了 80 支隊伍共 248 位參賽者報名，相較去年第一屆技術(shù)評測有了一定程度的提升。值得一提的是，來自工業(yè)界的隊伍比重相比去年有所增加，SMP 2018 技術(shù)評測委員會主席、哈爾濱工業(yè)大學張偉男博士表示，這從一個側(cè)面上反映了工業(yè)界對人機對話技術(shù)的關(guān)注度在不斷提高，技術(shù)水平也在不斷進步。

SMP-ECDT 技術(shù)評測于 7 月 23 日公布評測結(jié)果，詳情如下：

圖片來源：哈工大 張偉男

盡管評測主題相比去年并沒有明顯變化，但張偉男博士向雷鋒網(wǎng) AI 科技評論介紹，兩個任務(wù)都采用了新的數(shù)據(jù)集，且任務(wù)一的測試集規(guī)模更大，提升了技術(shù)評測的任務(wù)難度。

與之相應(yīng)地，任務(wù)一參賽隊伍的整體指標相比去年有所下降。不過，技術(shù)評測委員會也從中看到了參賽團隊的進步。

「我們看到了最近比較火的基于 T2T 的 Transformer 模型應(yīng)用在了任務(wù)一的參賽系統(tǒng)中，并且取得了第一名的成績，相比于 LSTM，Transformer 僅利用 multihead 的 attention 技術(shù)，模型整體更加簡單高效，同時我們還看到了 FastText 在數(shù)據(jù)預訓練及獲取詞匯 embedding 上的應(yīng)用及取得的成績?！?/p>

而任務(wù)二除了采用全新數(shù)據(jù)集外，也參考去年所遇到的一些測試問題做出了修正。令評測委員會感到欣喜的是，今年任務(wù)二的任務(wù)完成率和平均話輪數(shù)兩個主要指標有了明顯的提升，張偉男博士表示，「這無疑標志著人機對話技術(shù)在過去的一年中，起碼在我們這個任務(wù)中，有了較大的進步，讓我們對后續(xù)的進展充滿了信心和期待。」

圖片來源：哈工大 張偉男

從去年開始，SMP 技術(shù)評測委員會在劉挺老師和蔣盛益老師的支持下，于 SMP 大會上連續(xù)舉辦兩屆中文人機對話技術(shù)評測，開創(chuàng)先河。張偉男博士介紹道，在制定評測內(nèi)容的過程中，委員會認為不僅要考慮人機對話研究上的熱點，更應(yīng)該考慮人機對話在實際應(yīng)用中的關(guān)鍵核心問題?！附?jīng)過多次討論我們確定了兩個評測任務(wù)，即用戶意圖分類和在線人機對話實時評測。經(jīng)過兩屆的評測，我們欣喜地看到了人機對話技術(shù)在這兩個任務(wù)上的進步，同時也發(fā)現(xiàn)了一些問題，如模型的領(lǐng)域遷移問題?！?/p>

結(jié)合各個團隊在比賽過程中暴露的共同問題，評測委員會在未來調(diào)整評測重點及后續(xù)方案的制定。張偉男博士也表示，在未來，他們也將規(guī)劃與真實應(yīng)用場景的結(jié)合，如手機助手、智能音箱等，讓參賽隊伍能在實踐中及時獲得反饋并做出調(diào)整，這也有益于推動人機對話技術(shù)的進步與落地。

SMP2018中文人機對話技術(shù)評測（ECDT）：http://smp2018.cips-smp.org/ecdt_index.html

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。