前天,，一篇 ICLR 2019 的接收論文引發(fā)了熱烈討論。該論文的匿名評審結(jié)果是 4,，4,，3，三位評審全都給出了 rejection 的決定,。然而,，領(lǐng)域主席「力排眾議」，對這篇論文給出了 Accept (Poster) 的決定……網(wǎng)友對這件事的不滿主要集中在這三個方面：作者泄露了個人信息,，違反了雙盲規(guī)定,；論文寫作風格草率；作者對匿名評審人員的回復(fù)言論語氣惡劣,。

剛剛,，ICLR 2019 大會官方回復(fù)了這一事件。

我們說明一下評審過程中的內(nèi)部信息,。rebuttal and discussion period 持續(xù)了 3 周,，期間我們通過電子郵件與大約 80 位領(lǐng)域主席討論 ICLR 2019 的論文接收決定。這些討論旨在確保論文接收與否的決定能夠真正基于領(lǐng)域?qū)＜业囊庖姟?/p>

就本案例而言,，作為該領(lǐng)域公認專家的領(lǐng)域主席（AC）認為這項研究被嚴重低估了,，因此為其做出了辯護。理想情況下,，領(lǐng)域主席應(yīng)該與審稿人進行充分討論,；但這里，討論沒有得到充分進行,。

鑒于審稿人人數(shù)眾多,、水平各異，因此在領(lǐng)域主席認為有必要進行干預(yù)時,，我們將采用遵從領(lǐng)域主席意見的方式,。大多數(shù)情況下，這會讓討論更充分且最終能達成共識,。不過這里我們看到了私下討論的一個失敗案例,。

就文章匿名問題,，我們務(wù)實地決定不直接將沒有匿名的論文自動拒絕,，而是在被舉報時讓作者盡早修改,。從本案例來看，這種機制顯然存在問題,；但據(jù)我們所知,，本案例中沒有證據(jù)表明 AC 受此影響。

從這個回復(fù)中我們可以看到,，ICLR 評審制度存在以下幾點問題：1）評審人員水平參差不齊,；2）由此導(dǎo)致 AC 權(quán)力過大；3）「私下討論」因人而異,，并未制度化,，可能帶來隱患；4）未嚴格執(zhí)行「匿名性」,。

近期各大機器學習頂會論文投遞數(shù)量暴漲,，導(dǎo)致論文數(shù)量增多與合格論文評審人員數(shù)量不足之間的矛盾。ICLR 的評審制度對此采取的措施是「優(yōu)先遵從領(lǐng)域主席意見」,，在匿名評審與領(lǐng)域主席觀點不一致時,，允許私下討論。在這一案例中,，我們可以清楚地看到私下討論未必都能成功,。在之前的 reddit 討論中，一位 ICLR 2019 評審人表示：「是有私下討論的,，不過不是必須,。作者/評審/主席可以選擇是否公開信息?！?/p>

我們目前對 ICLR 的「私下討論」環(huán)節(jié)并不了解,，由誰發(fā)起、討論記錄是否公開或至少提交給 ICLR 程序委員會,、討論過程中是否有可能出現(xiàn)「學術(shù)欺凌」,，這些都是值得關(guān)注的問題。

之前曾有多位學術(shù)大牛表示：junior 會比較嚴格,，因為某些細節(jié)不足而打低分,，有可能忽視某項工作的真正創(chuàng)造性；而 senior 會比較寬松,，看到真正的閃光點,。這種情況是會存在的，但遵從某一個人的意見也有可能出現(xiàn)偏差,。因此在意見不統(tǒng)一的時候,，充分的討論是必要的，而如何保證討論的公平公開,，從而保證論文接收決定的公平性,，這值得我們思考,。

此外，ICLR 官方回復(fù)稱」在本案例中沒有證據(jù)表明 AC 受匿名問題影響」,，但這似乎并不代表」匿名問題」在其他案例中不存在問題,。「雙盲評審」卻不能保證嚴格的「雙盲」,，這事實上是對「學術(shù)不誠實」行為開放的一個秘密通道,。

我們期望學術(shù)界出現(xiàn)更多創(chuàng)新性研究，期望論文評審制度更加完備,，期望學術(shù)公平,。