0
| 本文作者： 奕欣 | 2018-02-22 12:15 |
雷鋒網 AI 科技評論消息，2 月 21 日，百度 NLP 團隊提交的 V-Net 模型以 46.15 的 Rouge-L 得分位列微軟的 MS MARCO 機器閱讀理解測試第一名。目前人類評測 Rouge-L 得分為 47；BLEU-1 得分為 46。
據了解，百度提交的 V-NET 模型使用了一種新的多候選文檔聯合建模表示方法，通過注意力機制使不同文檔產生的答案之間能夠產生交換信息，互相印證，從而更好的預測答案。
雷鋒網 AI 科技評論了解到，除了百度位列第一外，憑借 Microsoft AI and Research 提交的 S-Net、R-Net、ReasoNet，二、三、四名均由微軟摘得。此外，新加坡管理大學與德國人工智能研究中心也緊隨其后。
MS MARCO 全稱為 Microsoft MAchine Reading Comprehension，即「微軟機器閱讀理解」，官網資料顯示其正式發(fā)布于 NIPS 2016。這是一套由 10 萬個問答和 20 萬篇不重復的文檔組成的數據集。
在機器閱讀理解領域，想必大家更為熟悉的是斯坦福大學發(fā)起的 SQuAD（Stanford Question Answering Dataset），雷鋒網 AI 科技評論此前也有過不少相關報道。SQuAD 是行業(yè)內公認的機器閱讀理解領域的頂級水平測試，它構建了一個包含十萬個問題的大規(guī)模機器閱讀理解數據集，選取超過 500 篇的維基百科文章。在閱讀數據集內的文章后，機器需要回答若干與文章內容相關的問題，并通過與標準答案的比對，得到 EM（精確匹配）和 F1（模糊匹配）的結果。訊飛與哈工大聯合實驗室、微軟、阿里巴巴、騰訊等國內外知名研究企業(yè)及機構都是 SQuAD 榜單上的?？汀?/p>
與 SQuAD 的最大不同之處在于，MARCO 數據集中的問題全都基于來自微軟必應搜索（BING）引擎和微軟小娜人工智能助手（Cortana）的已匿名處理的真實查詢。此外，相關回答是由真人參考真實網頁編寫的，并對其準確性進行了驗證?？梢哉f，數據集的建立完全是根據用戶在 BING 中輸入的真實問題模擬搜索引擎中的真實應用場景，其研發(fā)團隊也曾表示，「MS MARCO 是目前同類型中最有用的數據集，因為它建立在經過匿名處理的真實世界數據基礎之上?！?/p>
目前搜索引擎只能針對用戶的提問回答一些簡單問題，可以回答復雜問題的系統(tǒng)仍然處于起步階段，而普通人日常想獲取一些瑣碎復雜問題的答案，則需要在搜索引擎提供的結果中再次進行篩選、分析和整理。這些并無明確答案或存在多個可能答案的查詢，是微軟發(fā)布這一數據集希望攻克的閱讀理解高堡。
在每一個問題中，MARCO 提供多篇來自搜索結果的網頁文檔，系統(tǒng)需要根據這些文檔來回答給定的問題。就像人類在搜索引擎給定的結果中自行篩選信息一樣，這些文檔中是否有對應的答案、在哪一篇文章中，都需要系統(tǒng)自行判斷，甚至還需要結合多篇文章做出提煉與總結，而這也對機器的閱讀理解能力提出了更高的要求。
「此次在 MARCO 的測試中取得第一，只是百度機器閱讀理解技術經歷的一次小考，」百度自然語言處理首席科學家兼百度技術委員會主席吳華表示，「我們希望能夠與領域內的其他同行者一起，推進機器閱讀理解技術和應用的研究，使 AI 能夠理解人類的語言、用自然語言與人類交流，讓 AI 更『懂』人類?！?/p>
雷峰網原創(chuàng)文章，未經授權禁止轉載。詳情見轉載須知。
