田渊栋:博士五年总结
?前言?
田淵棟博士目前擔(dān)任Facebook人工智能研究院研究員/研究經(jīng)理
原文共分為六節(jié),考慮若全文po出,篇幅較長(zhǎng)。為了更好的閱讀體驗(yàn),故將分成六篇推文進(jìn)行介紹。第一篇詳見(jiàn):田淵棟:博士五年總結(jié)(一)
?博士五年總結(jié)(二)?
回到剛才的話題,自己剛?cè)隿mu的時(shí)候,因?yàn)榉N種原因沒(méi)有選到理想的導(dǎo)師,不知如何是好,就向師兄征詢意見(jiàn)。師兄勸我說(shuō):“其實(shí)這些都不重要,重要的是你可以從他那里學(xué)到什么,我認(rèn)為他人不錯(cuò),另外演講和寫(xiě)作技能非常好。”?
事實(shí)證明師兄說(shuō)的話是對(duì)的。選導(dǎo)師,他做什么研究并不是最重要的,比這更重要的,是人品及交流和表達(dá)能力。我導(dǎo)師人品相當(dāng)不錯(cuò),對(duì)學(xué)生既嚴(yán)格又負(fù)責(zé),也不拖畢業(yè)的時(shí)間。我從他那里學(xué)到最多的,其一是演講,其二是寫(xiě)作。?
先來(lái)談?wù)剬?xiě)作。
以我五年的經(jīng)驗(yàn)來(lái)看,其實(shí)中國(guó)人寫(xiě)作的最大瓶頸并不是英語(yǔ)能力,而是組織。論文的英語(yǔ)水平充其量是高中水準(zhǔn),多看幾篇就大致可以掌握詞匯和句型,更何況很多論文都不是以英語(yǔ)為第一母語(yǔ)的研究者們寫(xiě)的,照樣拿最優(yōu)論文獎(jiǎng),照樣在學(xué)術(shù)圈產(chǎn)生極大影響力。?
但在組織上,我們的論文確實(shí)問(wèn)題多多。我就犯過(guò)很多錯(cuò)誤。其一是擠牙膏,通過(guò)堆砌句子來(lái)達(dá)成長(zhǎng)度要求,這個(gè)可能和我們從小要求文章有字?jǐn)?shù)下限有關(guān),結(jié)果就造成文章空洞,許多句子許多段落翻來(lái)覆去同一個(gè)意思,讓人倒胃口。其二是把文章寫(xiě)成技術(shù)報(bào)告,先做啥,再做啥,最后做啥,實(shí)驗(yàn)結(jié)果是啥,沒(méi)了。至于為什么這樣做,原因是什么,是什么激發(fā)了這樣的思考,這樣的方法對(duì)什么樣的數(shù)據(jù)會(huì)有效,有什么局限,全都不知道。(潛臺(tái)詞是:是老板讓我這樣做的,我只想畢業(yè),有問(wèn)題別來(lái)找我……)論文是要引人深思的,要給人啟發(fā)的,要讓人受教的,要讓讀者讀完后,覺(jué)得這篇文章公正地評(píng)價(jià)了前人的工作,明白這篇文章的創(chuàng)新意義所在,并且同意作者的出發(fā)點(diǎn),認(rèn)為這是一個(gè)很有前途的方向才行。?
本質(zhì)上來(lái)說(shuō),產(chǎn)生這兩個(gè)問(wèn)題的原因是懶得思考。論點(diǎn)挖不深,導(dǎo)致覺(jué)得沒(méi)啥好寫(xiě)只好擠牙膏;方法想不透,于是便羅列若干步驟草草了事。其實(shí)只要稍微想下,就能補(bǔ)上很多東西。
舉個(gè)例子,寫(xiě)目標(biāo)函數(shù)是什么,如何用梯度下降優(yōu)化,數(shù)學(xué)上就兩個(gè)公式,但是段落里可以說(shuō)明如何選初始點(diǎn),初始點(diǎn)在這個(gè)具體應(yīng)用中的意義何在,如何取步長(zhǎng),為何這樣選,收斂速度通常多快,哪里可以加速,哪里可以并行化再加GPU,等等,這樣內(nèi)容就豐富多了。又比如,一個(gè)算法的若干步驟,本來(lái)是毫無(wú)意義的流程圖,但在介紹它之前做些解釋,闡明設(shè)計(jì)的一些基本原則,然后在解釋每步時(shí)充分使用這些原則,那讀來(lái)就會(huì)覺(jué)得容易接受得多。?
克服了這兩點(diǎn),做到開(kāi)局有理有據(jù),正文言之有物,實(shí)驗(yàn)讓人信服,那這篇文章基 本上可以中稿了。接下來(lái),就可以進(jìn)入高級(jí)模式了。?
首先,立意要高遠(yuǎn)。一篇文章規(guī)矩著寫(xiě),說(shuō)“我們加了新特征,因?yàn)樾绿卣麽槍?duì)數(shù) 據(jù)集的某些特性建模,實(shí)驗(yàn)效果更好”,雖然基本可被錄用,但一般不會(huì)出彩;如果說(shuō)“我們建立了新的框架,統(tǒng)一了以前的諸多方法,在這個(gè)框架下,算法能自動(dòng)分析數(shù)據(jù)加入新特征,實(shí)驗(yàn)效果更好”,那這篇就有戲。
為什么呢?工業(yè)界看重效果 ,因?yàn)樾Ч徒?jīng)濟(jì)利益直接掛鉤;而學(xué)術(shù)界是想要為一個(gè)領(lǐng)域找一個(gè)簡(jiǎn)潔明了的理論,是要仰望星空,問(wèn)天幾何的——因此每一篇好文章,都必須建造出自己的一套世界出來(lái),給出自己的世界觀和方法論,在這個(gè)宏大的圖景下,給前人的工作標(biāo)好地位,給自己的工作定下基調(diào),然后拿著這張畫(huà)好的地圖,去解決實(shí)際問(wèn)題。
而所謂的博士研究和博士論文,則是在一套統(tǒng)一自洽的世界觀下,含有兩至三篇或者更多的文章,以證明這套世界觀的合理性。?
這聽(tīng)起來(lái)像是忽悠的游戲。因?yàn)橄裼?jì)算機(jī)視覺(jué)這種實(shí)用的領(lǐng)域,哪有那么多理論可挖。是的,在一定程度上確實(shí)如此。但是建筑世界觀本身,會(huì)促使研究者對(duì)已有的 工作進(jìn)行排列,得到新的啟發(fā),看到新的聯(lián)系,因此仍然是對(duì)研究本身有益的。有 些表面上的聯(lián)系可能被證明是偶然,但有些則會(huì)揭示本質(zhì),促進(jìn)人們深化認(rèn)識(shí),為 將來(lái)的突破性進(jìn)展作準(zhǔn)備。另一方面,功利地來(lái)說(shuō),有一個(gè)宏大的世界觀有利于一 位博士生發(fā)大量文章,早點(diǎn)畢業(yè):-)?
其次,故事要流暢。我老板說(shuō)過(guò),一篇好的文章,就如同帶著讀者在一個(gè)花園里行 走,路面平坦舒適,左邊有山,右邊有水,引人入勝,讀者漫步欣賞美景,走過(guò)亭 臺(tái)樓閣,一點(diǎn)不費(fèi)勁,一下子就逛完所有還意猶未盡。迄今為止,我對(duì)這種抽象的詩(shī)一般的表達(dá)還不能完全理解,但是既然他聲稱讀完了所有哈利波特的同人小說(shuō), 而我只不過(guò)寫(xiě)過(guò)一部二十五萬(wàn)字的小長(zhǎng)篇,我想我還是寧愿相信他比較好-_-。?
在大的方面來(lái)說(shuō),一篇文章從開(kāi)篇開(kāi)始,就要讓人有所期待,各種背景知識(shí)交代自 然,詳略得當(dāng),指出前人工作各有缺陷,然后自身的貢獻(xiàn)娓娓道來(lái),最后各種證據(jù) 證明自己所言得當(dāng);或是先擺出正反證據(jù),引人思索,指出前人各種問(wèn)題,再列出自己方案,教人拍案叫絕。細(xì)節(jié)上,全篇重要的論點(diǎn)要適當(dāng)重復(fù),每次出現(xiàn)都要和上下文語(yǔ)境相符,無(wú)聊冗長(zhǎng)的段落適當(dāng)精簡(jiǎn),但必要的實(shí)驗(yàn)步驟需要交代;每一段都要有總起有概括,像是花園的指路牌,讓讀者不至于暈頭轉(zhuǎn)向;不設(shè)彎路,反復(fù)推敲邏輯關(guān)系,能用一層邏輯說(shuō)清的絕不用兩層,能用簡(jiǎn)單故事說(shuō)明白的不用復(fù)雜公式,就算有復(fù)雜公式也放進(jìn)附錄里;繁簡(jiǎn)要有計(jì)劃,細(xì)節(jié)要略寫(xiě)以免讓人費(fèi)解,主干則要用重筆讓人印象深刻;插圖要不言自明,要出現(xiàn)在該出現(xiàn)的地方,能恰當(dāng)?shù)刈鞒啥温渥⒔?#xff1b;語(yǔ)句不能太長(zhǎng),避免從句套從句,長(zhǎng)短結(jié)合比較好,等等。?
這里所有的要求,都是為了讀者著想。每條單獨(dú)做起來(lái)都相對(duì)容易,但要合在一起 就難,需要充分的思考和不停地修改。每過(guò)一段時(shí)間,腦中就會(huì)浮現(xiàn)出更好的組織 方式,而這種新的組織方式,又反過(guò)來(lái)會(huì)啟發(fā)出新的理解,推進(jìn)整個(gè)研究的進(jìn)展。 接著,各部分貢獻(xiàn)大小又有變化,詳略又會(huì)調(diào)整,文章又得修改,如此往復(fù)。漸漸 地,才會(huì)從斧鑿拼接模樣的文章,變成一氣呵成的神作。到這個(gè)時(shí)候,寫(xiě)作和研究 渾然一體,寫(xiě)作促進(jìn)研究,研究促進(jìn)寫(xiě)作,才終于算是步入專家級(jí)別了。?
還記得在今年 ICCV 最后期限的前一個(gè)晚上,老板看了看我要在二十四小時(shí)之內(nèi)要投稿的文章,說(shuō)了一句:“組織還是有問(wèn)題,要不我們不用投了。”我當(dāng)時(shí)就驚了 ,當(dāng)然不能接受這個(gè)可怕的事實(shí),于是回去連夜修改,第二天早晨總算讓他滿意, 后來(lái)這篇文章被評(píng)為 very well written,并且拿了ORAL。我不得不承認(rèn)他有想推遲我畢業(yè)的小小私心,不過(guò)他對(duì)寫(xiě)作的執(zhí)著,可見(jiàn)一斑,他說(shuō)過(guò)自己的第一篇投稿 改了三個(gè)月,原稿他一直珍藏,對(duì)比第一稿和最后一稿,差距有如天壤。
我想正是因?yàn)槿绱?#xff0c;才能有他的這些錦繡文章。
————
來(lái)源:深藍(lán)QHi
編輯?∑ Gemini
微信公眾號(hào)“算法數(shù)學(xué)之美”,由算法與數(shù)學(xué)之美團(tuán)隊(duì)打造的另一個(gè)公眾號(hào),歡迎大家掃碼關(guān)注!
更多精彩:
?如何向5歲小孩解釋什么是支持向量機(jī)(SVM)?
?自然底數(shù)e的意義是什么?
?費(fèi)馬大定理,集驚險(xiǎn)與武俠于一體
?簡(jiǎn)單的解釋,讓你秒懂“最優(yōu)化” 問(wèn)題
?一分鐘看懂一維空間到十維空間
??本科、碩士和博士到底有什么區(qū)別?
?小波變換通俗解釋
?微積分必背公式
?影響計(jì)算機(jī)算法世界的十位大師
?數(shù)據(jù)挖掘之七種常用的方法
算法數(shù)學(xué)之美微信公眾號(hào)歡迎賜稿
稿件涉及數(shù)學(xué)、物理、算法、計(jì)算機(jī)、編程等相關(guān)領(lǐng)域,經(jīng)采用我們將奉上稿酬。
投稿郵箱:math_alg@163.com
總結(jié)
以上是生活随笔為你收集整理的田渊栋:博士五年总结的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: 斐波那契数列之美
- 下一篇: 《钢铁神兵》里的较量的数学题,都是什么级