作者 | 朱軍楠、張家俊

多模態(tài)自動文摘是指利用計算機實現(xiàn)從含有兩種或兩種以上模態(tài)（如圖片、文本等）的信息中生成圖文式摘要的過程。該技術可以廣泛應用于新聞推送、跨境電商、產品描述自動生成等多個領域，具有重要的研究價值和豐富的應用場景。

近年來，隨著計算機視覺以及自然語言處理技術的發(fā)展，多模態(tài)自動文摘技術逐漸成為學術界和工業(yè)界研究的熱點。當前的多模態(tài)自動文摘受限于數(shù)據(jù)集本身的原因只能采用文本模態(tài)的負對數(shù)似然損失作為目標函數(shù)訓練整個網(wǎng)絡，同時利用注意力機制來輔助挑選圖片。

這種做法容易帶來模態(tài)偏差的問題，即整個網(wǎng)絡會傾向于優(yōu)化文本生成的質量而忽視了圖片的挑選過程，如圖1所示。若只考慮文本模態(tài)的損失，B摘要是要優(yōu)于A摘要的，但是很顯然B摘要中的圖片的人物對應關系不對；而當我們引入圖片選擇的損失時，我們可以明顯的判斷出A摘要是優(yōu)于B摘要的，并且這也符合基本事實。

圖 1 模態(tài)偏差的示例

論文方法

針對于上述問題，中科院自動化所自然語言處理組博士生朱軍楠、周玉研究員、張家俊研究員、宗成慶研究員等提出了多模態(tài)基準指導的多模態(tài)自動文摘方法?；鞠敕ㄊ莾?yōu)化多模態(tài)摘要訓練的目標函數(shù)，即在文本損失的基礎上增加圖片選擇的損失函數(shù)。

如圖2所示，該方法由三部分組成：

• （1）首先利用數(shù)據(jù)集本身的特征將只有文本基準的訓練數(shù)據(jù)擴展至多模態(tài)基準，主要采用兩種方式，即直接使用輸入圖片的順序對圖片進行排序或者使用圖片的文字描述與標準文本摘要參考答案之間的ROUGE值大小對輸入圖片進行排序；

• （2）在模型上添加圖片判別器用于訓練圖片挑選的過程，模型的損失函數(shù)也由文本的損失函數(shù)及圖片挑選的損失函數(shù)加權求和而成；

• （3）通過數(shù)據(jù)集中的圖片和文本描述構造文本-圖片對齊片段從而用來訓練能夠更好地評價多模態(tài)片段的評價模型，具體而言我們將兩對圖片-描述的文本部分（或圖像部分）進行交換去構造兩個匹配的多模態(tài)片段，如圖3所示。

圖 2 多模態(tài)基準指導的多模態(tài)自動文摘框架圖

圖 3 多模態(tài)匹配片段構造示意圖

 實驗結果

目前多模態(tài)自動文摘的數(shù)據(jù)集還比較匱乏，我們之前發(fā)布了一個公開數(shù)據(jù)集MSMO，這項工作也在該數(shù)據(jù)集上進行實驗驗證。在對比摘要方法的性能之前，我們首先需要明確應該采用哪種評價指標。在之前的工作中，圖文式摘要的評價關注三個方面的指標：圖片準確率(IP)、文本摘要的ROUGE值(ROUGE-L)以及系統(tǒng)輸出中圖片文本的相關度(Msim)。在我們的方法中，我們引入一個新的自動評價指標MRmax用來直接度量兩個多模態(tài)信息之間的相似度（輸出和參考答案的最大相似度）。MMAE是對IP、ROUGE和Msim的組合，MMAE++是IP、ROUGE、Msim和MRmax四個自動評價指標的組合。我們利用與人工打分之間的相關度來對比不同的自動評價指標。

表 1 不同評價指標與人工打分之間的相關度（分值越高、性能越好）

表1給出了不同的自動評價指標與人工打分的相關度，可以看出融入了直接測量多模態(tài)片段的評價指標MR之后，新的自動評價模型MMAE++相比于MMAE在與人工打分的相關度上有一個顯著的提升。為了衡量我們提出的多模態(tài)基準指導的模型，我們同多個強基線模型進行了對比，包括融入全局或者局部視覺特征的多模態(tài)注意力機制的生成式自動文摘模型（ATG、ATL）、層次化的多模態(tài)自動文摘模型（HAN）以及基于圖模型的抽取式自動文摘模型（GR）。

表 2 不同模型生成的圖文式摘要的質量對比（MOF表示多模態(tài)基準指導的方法、RR表示通過ROUGE值對圖片排序，OR表示通過輸入圖片的順序對圖片排序，enc表示利用編碼器隱層狀態(tài)選擇圖片，dec表示利用解碼器隱層狀態(tài)選擇圖片）

表2給出了不同模型生成的圖文式摘要的質量對比?？梢钥闯鲈谝攵嗄B(tài)基準指導后，模型的圖片挑選質量（IP）得到了顯著的改善，并且文本生成質量也有略微改進，從而生成更高質量的圖文摘要。相對于使用編碼器隱層狀態(tài)而言，采用解碼器隱層狀態(tài)去進行圖片選擇效果會更好。另一方面，使用圖片描述與文本摘要之間ROUGE值的大小對圖片排序獲得的多模態(tài)基準對于模型的指導作用更加明顯。

表 3 圖片選擇的損失函數(shù)的權重大小

我們也對比了不同的圖片選擇損失函數(shù)權重對于模型性能的影響，可以看到當圖片和文本的損失函數(shù)的權重都相同時，圖文摘要的質量是最好的。

表 4 計算圖片損失中考慮的圖片的數(shù)量的影響

我們對比了在計算圖片損失中考慮的圖片數(shù)量（即top-K圖片作為gold standard）所帶來的影響，并且發(fā)現(xiàn)當 K=3的時候，模型取得了最好的效果。

相關細節(jié)可參考發(fā)表于人工智能頂級學術會議AAAI 2020的論文：

Junnan Zhu, Yu Zhou, Jiajun Zhang, Haoran Li, Chengqing Zong, Changliang Li. Multimodal Summarization with Guidance of Multimodal Reference. AAAI-2020.

雷鋒網(wǎng) AI 科技評論報道。雷鋒網(wǎng)雷鋒網(wǎng)

雷峰網(wǎng)原創(chuàng)文章，未經授權禁止轉載。詳情見轉載須知。