文 | Sheryc_王蘇

從5月初開始，CV圈似乎開始了一陣MLP“文藝復(fù)興”的熱潮：在短短4天時(shí)間里，來自谷歌、清華、牛津、Facebook四個(gè)頂級(jí)研究機(jī)構(gòu)的研究者分別獨(dú)立發(fā)布了4篇關(guān)于MLP結(jié)構(gòu)在圖像任務(wù)上取得不錯(cuò)效果的論文。雖然研究本身令人興奮，但發(fā)表的過程卻讓人一言難盡：來自牛津的小哥Luke就在reddit上抱怨到他正在進(jìn)行的實(shí)驗(yàn)被谷歌的MLP-Mixer搶先發(fā)表（scoop）了，所以他正在撰寫的實(shí)驗(yàn)總結(jié)也只能以實(shí)驗(yàn)報(bào)告的方式盡快掛在arXiv上。

做研究的過程中，同樣的想法被其他研究者搶先發(fā)表是家常便飯。或許我們已經(jīng)對(duì)此習(xí)以為常，但這真的沒有辦法解決嗎？在NAACL 2021上，就有研究者從心理學(xué)、藥學(xué)等其他學(xué)科研究中被普遍使用的“預(yù)注冊(cè)”機(jī)制（Pre-registration）出發(fā)，為NLP領(lǐng)域量身定做了一套預(yù)注冊(cè)機(jī)制，希望能用一套新的研究和投稿流程讓作者不再擔(dān)心被搶先發(fā)表，不再擔(dān)心好的研究因?yàn)闆]有SOTA被拒，不再擔(dān)心慢研究趕不上快節(jié)奏…根據(jù)作者在文中繪制的藍(lán)圖，這種機(jī)制雖然簡(jiǎn)單卻好處多多，它究竟能夠?yàn)槲磥淼腘LP研究帶來什么樣的改變呢？

論文題目：
Preregistering NLP Research

論文鏈接：
https://arxiv.org/abs/2103.06944

Arxiv訪問慢的小伙伴也可以在 【夕小瑤的賣萌屋】訂閱號(hào)后臺(tái)回復(fù)關(guān)鍵詞 【0525】 下載論文PDF~

什么是預(yù)注冊(cè)？

預(yù)注冊(cè)

所謂預(yù)注冊(cè)，指的是在進(jìn)行一項(xiàng)研究之前，將自己的詳細(xì)研究計(jì)劃在預(yù)注冊(cè)網(wǎng)站[1]上進(jìn)行注冊(cè)。預(yù)注冊(cè)的內(nèi)容反映了在研究開始之前需要考慮的所有事項(xiàng)，例如自己的研究假設(shè)、模型設(shè)計(jì)和實(shí)驗(yàn)方案。

在內(nèi)容上，預(yù)注冊(cè)很像是在申請(qǐng)項(xiàng)目資金時(shí)撰寫的申請(qǐng)材料，或是研究開始前導(dǎo)師要求撰寫的研究計(jì)劃，不過雖然內(nèi)容類似，預(yù)注冊(cè)的不同之處在于“注冊(cè)”二字：這些內(nèi)容會(huì)被提交至網(wǎng)站上，并打上提交之時(shí)的時(shí)間戳，證明作者在某個(gè)時(shí)刻已經(jīng)完成了實(shí)驗(yàn)設(shè)計(jì)。在網(wǎng)站上預(yù)注冊(cè)的內(nèi)容可以作為實(shí)驗(yàn)的初始設(shè)計(jì)記錄、作為實(shí)驗(yàn)取得進(jìn)展或發(fā)生變化后記錄進(jìn)度的倉庫，甚至可以直接作為“注冊(cè)報(bào)告”（Registered reports）向期刊或會(huì)議直接投稿。這種機(jī)制早在2018年就已在Science上發(fā)文[2]進(jìn)行過相關(guān)討論，但目前在AI領(lǐng)域還并不常見。

注冊(cè)報(bào)告投稿制度

上文中提到的“注冊(cè)報(bào)告”投稿制度正是線上預(yù)注冊(cè)制度的主要副產(chǎn)物。在這種審稿制度下，同行評(píng)議過程被分為兩個(gè)階段：

在研究開始前，作者給審稿人提交一份預(yù)注冊(cè)的研究計(jì)劃。隨后，審稿人根據(jù)研究計(jì)劃進(jìn)行評(píng)審，經(jīng)過多輪修改，決定是否接收該研究計(jì)劃。

在研究計(jì)劃被接受后，開始根據(jù)已提交的研究計(jì)劃進(jìn)行相關(guān)實(shí)驗(yàn)，撰寫論文，隨后向?qū)徃迦诉M(jìn)行第二輪提交。隨后，審稿人根據(jù)論文進(jìn)行評(píng)審，經(jīng)過多輪修改，決定是否接收該論文。

對(duì)于注冊(cè)報(bào)告投稿制度，一般在第一階段的研究計(jì)劃被接受后，作者便得到了來自主辦方的保證，即只要按照研究計(jì)劃完成的論文即可被接收，無論實(shí)驗(yàn)效果好壞。因此，如果實(shí)驗(yàn)計(jì)劃被認(rèn)為有意義，即使最終被證明方法無效也可以被接收。

在進(jìn)行實(shí)驗(yàn)時(shí)，作者可以隨時(shí)對(duì)研究計(jì)劃進(jìn)行修改，但對(duì)研究計(jì)劃的任何修改都需要在最終報(bào)告中體現(xiàn)。目前，注冊(cè)報(bào)告投稿制度已經(jīng)被包括Nature子刊在內(nèi)的數(shù)百種期刊采用。

預(yù)注冊(cè)有哪些好處？

看起來，預(yù)注冊(cè)似乎只是將自己的詳細(xì)研究方案在開始著手試驗(yàn)之前掛在網(wǎng)站上。但是，這樣簡(jiǎn)單的操作卻能帶來新的研究范式，改變現(xiàn)有研究中的諸多問題：

讓自己提前完整設(shè)計(jì)研究方案。在進(jìn)行研究之前，通過預(yù)注冊(cè)網(wǎng)站上提供的一系列問題列表讓自己在動(dòng)手之前就可以從多個(gè)維度仔細(xì)思考研究的細(xì)節(jié)和意義，避免進(jìn)行無意義的探索。同時(shí)，正如NLP大牛Jason Eisner所建議的[3]，預(yù)注冊(cè)過程中撰寫的報(bào)告或許可以作為最終論文的一部分，讓自己在開始研究之前就著手撰寫論文。

區(qū)分探索性分析（Exploratory）和驗(yàn)證性分析（Confirmatory）。所謂探索性分析指通過實(shí)驗(yàn)結(jié)果產(chǎn)生新的假設(shè)，而驗(yàn)證性分析指通過更多實(shí)驗(yàn)和分析驗(yàn)證先前已提出的假設(shè)。在一些實(shí)際研究中，研究者往往將探索性分析偽裝成驗(yàn)證性分析，即首先通過實(shí)驗(yàn)得出結(jié)果，再通過結(jié)果反推出一個(gè)假設(shè)，說明自己的實(shí)驗(yàn)驗(yàn)證了反推出的假設(shè)，這種行為被簡(jiǎn)稱為HARKing（Hypothesizing after results are known），會(huì)導(dǎo)致產(chǎn)生不嚴(yán)謹(jǐn)?shù)募僭O(shè)。如果是根據(jù)注冊(cè)報(bào)告進(jìn)行評(píng)價(jià)，則在得到實(shí)驗(yàn)結(jié)果前就需要對(duì)探索性分析和驗(yàn)證性分析進(jìn)行區(qū)分，避免錯(cuò)誤假設(shè)的出現(xiàn)。

避免發(fā)表偏見[4]。所謂發(fā)表偏見，指的是會(huì)議或期刊偏好于發(fā)表現(xiàn)象顯著、結(jié)果好的研究，而不偏好現(xiàn)象不明顯、結(jié)果較差的研究。實(shí)際上，有些研究即使結(jié)果不好也有其發(fā)表價(jià)值，但是為了能夠讓論文發(fā)表，研究者傾向于壓縮負(fù)面的發(fā)現(xiàn)，著重強(qiáng)調(diào)好的結(jié)果。這也難怪為何近年來NeurIPS上還會(huì)有“I Can't Believe It's Not Better! Workshop”[5]這樣專發(fā)沒效果的模型的workshop了。但如果根據(jù)注冊(cè)報(bào)告投稿制度，根據(jù)論文本身的設(shè)計(jì)來確定接受與否，就可以讓研究者在看到哪條路可行的同時(shí)，更多的接觸到那些前人試過但不可行的方案了。

避免被他人搶先發(fā)表。注冊(cè)報(bào)告制度使得先提出實(shí)驗(yàn)方案的人擁有優(yōu)先權(quán)。即使不實(shí)行注冊(cè)報(bào)告制度，預(yù)注冊(cè)報(bào)告上的時(shí)間戳也可以證明提出類似想法的時(shí)間先后。預(yù)注冊(cè)報(bào)告可以隨時(shí)選擇是否公開，讓他人難以直接通過預(yù)注冊(cè)報(bào)告剽竊方案。

鼓勵(lì)慢科學(xué)[6]。當(dāng)注冊(cè)報(bào)告被同意接受之后，作者不需要擔(dān)心被提前發(fā)表，因此可以不用在盡可能短的時(shí)間趕完文章，而是可以選擇用更長時(shí)間仔細(xì)打磨自己的想法，讓論文更具深度。

NLP的預(yù)注冊(cè)有什么特點(diǎn)？

不同領(lǐng)域有著不同的研究特點(diǎn)，甚至同一領(lǐng)域內(nèi)的不同種類論文也有不同的研究方法。這篇論文的最大貢獻(xiàn)就在于其對(duì)NLP領(lǐng)域內(nèi)的各類論文分別提出了一個(gè)初版的預(yù)注冊(cè)表格，作者在預(yù)注冊(cè)時(shí)需要回答表格內(nèi)的若干問題。

對(duì)于NLP領(lǐng)域，作者根據(jù)COLING 2018的論文分類將研究分為了3種：計(jì)算輔助的語言學(xué)分析（Computationally-aided linguistic analysis），NLP工程實(shí)驗(yàn)（NLP engineering experiment paper），以及復(fù)現(xiàn)/資源/立場(chǎng)/綜述（Reproduction/Resource/Position/Survey paper）。其中，作者對(duì)于除Position Paper以外的各類研究都給出了推薦的預(yù)注冊(cè)表格。

下面以最為常見的NLP工程實(shí)驗(yàn)論文為例，在預(yù)注冊(cè)過程中需要回答以下問題：

你的研究目的是什么？

你的研究假設(shè)是什么？

獨(dú)立變量有哪些（例如：模型結(jié)構(gòu)）？非獨(dú)立變量有哪些（例如：模型輸出好壞）？

以上變量將被如何衡量？

實(shí)驗(yàn)包含幾種語料或任務(wù)？

你將使用哪些軟件庫？

你將使用何種硬件？

你將使用何種參數(shù)設(shè)置？

你將使用什么樣的數(shù)據(jù)？

如果實(shí)驗(yàn)數(shù)據(jù)不存在，請(qǐng)回答關(guān)于資源類論文（Resource paper）關(guān)于收集數(shù)據(jù)的預(yù)注冊(cè)問題（原文附錄A.6）。如果實(shí)驗(yàn)數(shù)據(jù)存在，你對(duì)實(shí)驗(yàn)數(shù)據(jù)的熟悉程度是？你的實(shí)驗(yàn)假設(shè)在多大程度上與該數(shù)據(jù)相關(guān)？這在多大程度上影響了你方法在其他數(shù)據(jù)上的泛化性能？你是否準(zhǔn)備收集更多數(shù)據(jù)來驗(yàn)證自己的方法？

為何選擇該數(shù)據(jù)？這些數(shù)據(jù)有哪些關(guān)鍵性質(zhì)？

這些數(shù)據(jù)是如何被劃分為訓(xùn)練集/驗(yàn)證集/測(cè)試集的？

你將如何分析結(jié)果并測(cè)試自己的假設(shè)？如果是自動(dòng)評(píng)測(cè)，你將使用什么樣的指標(biāo)和實(shí)現(xiàn)？它們被如何設(shè)置？如果是人工評(píng)測(cè)，請(qǐng)回答關(guān)于人工評(píng)測(cè)設(shè)置的預(yù)注冊(cè)問題（原文附錄A.8.1）

你是否會(huì)進(jìn)行錯(cuò)誤分析？如果是，請(qǐng)回答關(guān)于錯(cuò)誤分析設(shè)置的預(yù)注冊(cè)問題（原文附錄A.8.2）

你是否有其他需要進(jìn)行預(yù)注冊(cè)的信息？

其他種類論文的預(yù)注冊(cè)表格可以在論文的附錄中找到。

可以看到，預(yù)注冊(cè)的問題著重瞄準(zhǔn)自己的方法如何能論證/反駁自己的假設(shè)，而非如何在數(shù)據(jù)集上取得更好結(jié)果。雖然需要回答的問題很多，但這些問題基本涵蓋了NLP實(shí)驗(yàn)論文的全部設(shè)計(jì)細(xì)節(jié)，在著手試驗(yàn)之前想清楚以上所有問題對(duì)于實(shí)驗(yàn)的整體把握會(huì)有相當(dāng)大的幫助。

總結(jié)

預(yù)注冊(cè)和注冊(cè)報(bào)告制度雖然已經(jīng)被心理學(xué)等學(xué)科的頂刊作為標(biāo)準(zhǔn)流程，它的可行性和影響依然在探索之中。不過，對(duì)于我們一直以來所詬病的“刷SOTA”、搶創(chuàng)意、堆算力的行為，使用注冊(cè)報(bào)告制度或許能夠帶來緩解；同時(shí)，預(yù)注冊(cè)制度也能讓研究者從在單一數(shù)據(jù)集上追求模型性能的過程中提前跳出來，從更高的角度和更多元的視角上探索自己的方法對(duì)整個(gè)領(lǐng)域的推動(dòng)作用。即使預(yù)注冊(cè)不是標(biāo)準(zhǔn)流程，在研究開始前仔細(xì)思考和記錄預(yù)注冊(cè)問題的結(jié)果也能提前避免一些彎路，讓后續(xù)的實(shí)驗(yàn)更有效率。在AI領(lǐng)域日益火爆的當(dāng)下，對(duì)于研究和投稿流程的改進(jìn)同樣是一項(xiàng)重要課題，幾年后NLP的研究范式會(huì)變成什么樣，著實(shí)讓人期待呢(=?ω?=)

萌屋作者：Sheryc_王蘇

北航高等理工學(xué)院CS專業(yè)的市優(yōu)秀畢業(yè)生，蒙特利爾大學(xué)/MILA博士生，資深A(yù)CG宅，目前作為實(shí)習(xí)生在騰訊天衍實(shí)驗(yàn)室進(jìn)行NLP研究。雖主攻NLP，卻對(duì)一切向更完善的智能邁進(jìn)的系統(tǒng)和方向充滿好奇。如果有一天N寶能真正理解我的文字，這個(gè)世界應(yīng)該會(huì)被賣萌占領(lǐng)吧。（還沒發(fā)過東西的）知乎ID：Sheryc

作品推薦：

NLP未來，路在何方？12位巨佬聯(lián)名指路！

這幾個(gè)模型不講“模德”，我勸它們耗子尾汁

后臺(tái)回復(fù)關(guān)鍵詞【入群】

加入賣萌屋NLP/IR/Rec與求職討論群

后臺(tái)回復(fù)關(guān)鍵詞【頂會(huì)】

獲取ACL、CIKM等各大頂會(huì)論文集！

?

[1].常用的預(yù)注冊(cè)網(wǎng)站，不妨去看看：Open Science Framework: https://osf.io/prereg/ AsPredicted: https://aspredicted.org/

[2].Science對(duì)于預(yù)注冊(cè)的討論：More and more scientists are preregistering their studies. Should you?. Science. https://www.sciencemag.org/news/2018/09/more-and-more-scientists-are-preregistering-their-studies-should-you

[3].研究之前先開始寫：Write the Paper First by Jason Eisner. https://www.cs.jhu.edu/~jason/advice/write-the-paper-first.html

[4].發(fā)表偏見：Publication Bias - Wikipedia. https://en.wikipedia.org/wiki/Publication_bias

[5].慢科學(xué)與快科學(xué)：Research Fast and Slow by Min-Yen Kan. http://bit.ly/kan-coling18

[6].有關(guān)預(yù)注冊(cè)機(jī)制的更多細(xì)節(jié)：https://www.cos.io/initiatives/prereg?_ga=2.218660505.1451147193.1621172626-420219689.1621172626

總結(jié)

以上是生活随笔為你收集整理的论文投稿新规则，不用跑出SOTA，还能“内定”发论文？！的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。