今日,ICML 2019 程序主席之一 Ruslan Salakhutdinov 教授在 Twitter 上表示為了鼓勵可復(fù)現(xiàn)性和高質(zhì)量的論文提交,,今年 ICML 的程序委員會在論文提交上作出了三項改變。希望機器之心計劃提交 ICML 2019 論文的讀者們注意,。
隨著人工智能的火熱,,當(dāng)前 AI 領(lǐng)域的學(xué)術(shù)會議也受到越來越多的關(guān)注,而這些學(xué)術(shù)會議的投稿規(guī)模也不斷超越往屆,,據(jù)網(wǎng)友統(tǒng)計,,近期 AI/ML/NLP/CV 頂會投稿規(guī)模分別為:EMNLP2018: 2137 篇,;NIPS2018: 4900 篇;AAAI2019: 7700 篇,;CVPR2019: 5100 篇,。
在投稿規(guī)模激增的背后,也存在一系列的問題:例如評審人員不夠,、評審質(zhì)量的降低等,。例如 AAAI 2019 程序主席、南京大學(xué)周志華教授在談到 AAAI 2019 7700 多篇論文提交量的時候,,就評論說:
當(dāng)前主要矛盾是夠水平的審稿人數(shù)遠不足以應(yīng)付快速增長的巨量投稿數(shù),。隨便什么高水平會議,幾千個投稿涌過去足以沖垮防線,。除非不公開征文,,否則似乎無解。這是會議機制本身的問題,。CS 重視會議的傳統(tǒng)形成于 CS 還是小學(xué)科的時候,,從業(yè)者多了之后問題就顯現(xiàn)出來了,相對較大的子領(lǐng)域先遭殃,。
今年的 ICML 大會將于 6 月 10-15 日在美國加州長灘舉行,,大會主席為 Petuum 創(chuàng)始人兼 CEO 邢波教授,程序主席為 Kamalika Chaudhuri,、Ruslan Salakhutdinov,。為了鼓勵論文的可復(fù)現(xiàn)性和高質(zhì)量的論文提交,今年 ICML 的程序委員會在論文提交上作出了三項改變,。希望機器之心的讀者們能夠及時獲知,,以免錯過:
1. 設(shè)置了論文摘要的提交 deadline,2019 年 1 月 18 日,。只有提交了合適摘要的論文才能被允許提交 full paper,,并且占坑性質(zhì)的摘要將會被移除,,重點提一下,,標題和摘要都不能有 test、xyz 這樣的占位符,。提交的摘要不合格的話就不能提交 full paper 了,。full paper 的提交 deadline 是 2019 年 1 月 23 日。
2. 今年,,在 full paper 提交的 deadline 之后,,不會再有修改的機會了。
3. 最后,,為了促進可復(fù)現(xiàn)性,,委員會鼓勵提交的論文附帶代碼,。他們設(shè)置的提交形式包含了兩種可選的補充文件:常規(guī)的附錄和代碼。結(jié)果的可復(fù)現(xiàn)性和代碼的易用性將作為論文接收和進一步?jīng)Q策的考慮因素,。
詳細信息如下表格所示(倒計時中):
論文提交的開始時間,,論文摘要的提交 deadline,full paper 的提交 deadline,,以及教程提交 deadline,。注意這里顯示的是太平洋時間,太平洋時間 2019 年 1 月 7 日 12:00 對應(yīng)北京時間 2019 年 1 月 8 日 4:00,。
ICML 2019 的官網(wǎng)中還給出了更多的論文提交要求:
不包括 reference 時,,論文長度上限為 8 頁;包括 reference 和 acknowledgment 時,,上限為 12 頁,。不合要求的論文自動拒絕。作者可以自行考慮要不要提交附錄和代碼,,評審可以全權(quán)決定要不要參考這些信息,。
所有的論文提交必須是電子版的、匿名的,,必須遵循模板(尚未放出)中的格式說明,,否則自動拒絕。
雙重提交政策
這三種情況下提交的論文是不合適的(不是自動拒絕):和之前發(fā)表的論文版本十分雷同,,或已經(jīng)發(fā)表,,或同時提交到其它大會。這些論文違反了 ICML 2019 的雙重提交政策,,組織者有權(quán)拒絕這類論文,,并在論文集中移除。但有幾個例外(詳情參見官網(wǎng)),。
評審標準
接收的論文必須包含顯著新穎的結(jié)果,,無論是理論的或者實驗的。對結(jié)果的評判將基于客觀性和/或科學(xué)價值,,以及技術(shù)影響力,。結(jié)果的可復(fù)現(xiàn)性和代碼的易用性也是重要的參考因素。