0
作者 |蔣寶尚
編輯 | 叢 末
今日，神經(jīng)信息處理系統(tǒng)大會NeurIPS在Medium官方賬號發(fā)布了文章《Reviewing is Underway!》，對今年的投稿情況和審稿流程進行了說明。
文章中提到，今年的NeurIPS投稿數(shù)量比2019年增長了38%，這又是AI研究蓬勃發(fā)展的一年。具體而言，一共收到了12115份摘要，但隨后提交完整的只有9467份。另外還有184篇論文有違規(guī)行為：被作者撤回、非匿名提交以及論文篇幅超過最大頁數(shù)等。
其它“遵守紀律”的論文都已經(jīng)分配給了領(lǐng)域主席以及Senior領(lǐng)域主席，這兩類主席在對這些論文簡單的瀏覽之后，進行了初步判斷：占總數(shù) 11% 的論文被直接拒掉，其他89%的論文分配給了合適的審稿人。值得一提的是，這89%對應的具體數(shù)字8186。另外，文章中還強調(diào)，這直接被拒掉的11%的論文，將不會再次接受審閱。
今年NeurIPS的論文提交流程主要有三個日期節(jié)點，它們期間間隔兩周多。三個節(jié)點分別是：1、提交摘要；2、完整的論文和完整的作者名單；3、補充材料。在這三個節(jié)點中，同行評審平臺CMT都很給力，作者在提交的過程中幾乎沒有遇到任何技術(shù)困難，當然，也不能如此絕對，例如要求合著者在CMT上注冊，要求提交“更廣泛的影響”，要求單獨上傳補充材料，這些都產(chǎn)生了一些小問題。但總的來說，提交過程進行的非常順利。
今年的論文主題分布也有所變化，算法占比29%，深度學習占比19%，應用占比18%，強化學習和規(guī)劃（planning）占比9%，理論占比7%，概率方法占比5%，機器學習的社會方面（ Social aspects of machine learning）占比5%，優(yōu)化占比5%，神經(jīng)科學和認知科學占比3%。與2019年相比，深度學習和應用領(lǐng)域的論文略有下降(均下降了2%)，而機器學習的社會方面有所增加（增加了3%）。
找到足夠數(shù)量的合格審稿人非常重要，今年在這方面的政策有兩個變化：1、審稿人可以推薦和提名；2、直接從論文的作者以及論文的聯(lián)合作者中選擇審稿人。最后根據(jù)論文發(fā)表情況、審稿經(jīng)驗、學科領(lǐng)域等信息，組委會“選拔”了7800名合格的審稿人名單，其中2400人來自今年的投稿作者。7800名審稿人看似極大的增強了論文審閱能力，但許多審稿人只分配了2篇或者3篇的額度，還有一些審稿人只有一個領(lǐng)域的專業(yè)知識，這兩種情況的都限制了分配審閱論文的能力。每一篇論文都會經(jīng)過三位審稿人，一位領(lǐng)域主席的“批改”。為了提升分配質(zhì)量，需靠考慮的因素包括學科領(lǐng)域相似度、出版物的相似度、審稿人的偏好。但是同時也考慮審稿人和領(lǐng)域主席是否存在利益沖突。因此，組委會努力確保每個人在論文匹配系統(tǒng)(TPMS)和OpenReview上都有最新的賬戶，完整地記錄了他們的利益沖突信息。另外。組委會還設法自動為審稿人分配論文，今年平均親和度得分(綜合考慮TPMS和OpenReview的指標)為0.74，比2019年高出近10%。
在過去的三周中，組委會指派領(lǐng)域主席和Senior 領(lǐng)域主席承擔“直接拒絕”的任務。其中領(lǐng)域主席識別可能被拒絕的論文，Senior 領(lǐng)域主席反復核對這些論文。因此，每一篇被直接拒絕的論文，都有兩位資深的專家“簽字”。值得一提的是，為了降低偏見，這兩位專家是看不到論文作者的信息?？傮w而言，領(lǐng)域主席和Senior領(lǐng)域主席做的非常出色，他們在不到三周的時間里審閱了9000多份論文，另外，領(lǐng)域主席和Senior領(lǐng)域主席還為作者提供了一套標準化的拒絕原因(例如，不清晰、超出范圍)等。此外，在收到的“拒絕建議”中，超過一半還提供了簡短的特別反饋，進一步解釋了拒絕的原因。直接拒絕有利有弊，有很多地方可以改進。
“直接拒絕”除了減輕了審稿者的負擔外，還能夠讓領(lǐng)域主席和Senior領(lǐng)域主席更加熟悉分配給他們的論文，為他們隨后“領(lǐng)導”審稿人提供幫助。
此外，直接拒絕的壞處是，這些論文的作者幾乎沒有得到什么建設性的反饋來改進他們的論文。另外，需要注意接下來的幾個時間點：1、在2020年8月7日之前將審查結(jié)果通知作者；2、這之后，程序委員之間將有個討論期，8月底由領(lǐng)域主席提出初步建議；9月，開啟校準階段（calibration phase），先對每個學科領(lǐng)域進行一次校準，最后的校準將審查所有領(lǐng)域的整體論文情況。預計將在9月底之前將是否錄用的結(jié)果通知作者。
（雷鋒網(wǎng)）、（雷鋒網(wǎng)）、（雷鋒網(wǎng)）
雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。
