作者吳齊天，上海交通大學，導師嚴駿馳

大家好，我叫吳齊天，今天主要是跟大家分享一下我的科研經歷，后面會有一個簡單的經驗總結。

首先和大家介紹一下我的經歷，我現在是交大計算機系的博士生，研究方向是機器學習和數據挖掘，主要是關注復雜結構數據的學習問題，應用場景有推薦系統、在線廣告、社交網絡以及知識圖譜等。目前發表了14篇論文，包括10篇獨立一作，其中有6篇論文發表在NeurIPS/ICML/KDD三大頂會上。

科研方法分享

首先，選擇一個自己感興趣的方向非常重要。一個比較好的科研方向，它應該是有理論和實際價值的，同時也是有挑戰性的，并且還有比較強的可操作性。

科研的基本流程可以分為四步，首先是選題，然后是確立模型和方法，第三是代碼的實現并驗證，最后是論文寫作。這里可能本科生（或者剛開始接觸科研的人）會比較擅長做第三步，就是代碼的實現并驗證，但是不太擅長第二步確立模型和方法，特別是需要把一個問題模型用數學語言形式化出來的，很少見到剛入門的同學擅長，以及第四個論文寫作也是入門容易但精通比較難。這些我稍后會細講。

其實，在科研的四步流程里我覺得最難的是選題，就是你到底關注什么樣的問題，可能是比解決這個問題更難，那么我們就先從最難的說起。選題有一種情況是你的導師或者學長學姐carry你，直接給了一個很具體的題目，那這個時候當然是很好的，但是大部分情況下你需要自己去找做什么樣的題目，什么樣的方向。這個時候我的建議是，剛開始可以先follow別人的工作，然后從一個非常具體非常明確的問題開始，后面做著做著，再去逐漸深入，把它進行一般化，變換到別的場景去。

文獻閱讀其實非常重要的。如果你要了解一個領域，讀論文是最有效的方式。現在網上有很多大佬帶你讀論文，包括一堆網課幫你總結資料。但其實說實話，很多這種第二手的資料都是有一些問題的。比如說像以前我們在學一個東西的時候，在某個網站上看到了一個很多人點贊的熱門資料，但其實他講的東西是有問題的，并不是完全是錯的，但如果按照他講的去理解，可能會誤入歧途。

如何想idea，這里分享我自己的方法，不一定適用所有的人。我覺得只有當你排除外界的一些干擾，進入到深度思考的時候，可能才有新的想法出來。如果是隨隨便便就能想到的東西，你能想到別人也能想到，那這個就不是很出彩，也發不了很好的會議和期刊。做實驗這部分，我覺得可能要避免重復造輪子。這種模塊化和過程的管理非常重要。因為可能你做著發現不行，要倒回去，從某一步重來，這時候沒有過程管理，就會很影響進度。

然后我想說的是，發表一篇頂會并不一定說明有科研能力。可能有些剛入門的同學發了很好的會議。但實際上，是導師或學長學姐給了一個明確的idea，然后論文也是導師和學長花了大精力的。在這個過程當中，其實這位同學只做了代碼實現這一步，就像是完成了一個很明確的課程作業，最后發表了論文。這個其實不太能說明什么，因為真正最難的，我覺得是用什么樣的 idea 而去解決什么樣的問題。

真實的科研生活是什么樣的？

這里我想分享一些科研工作的真實情況。比如像剛剛說的，科研流程有選題、設計算法模型、實驗驗證、論文寫作這四步。但這是理想化的情況，現實里不太可能一次性從頭走到尾。一般是做了實驗，發現模型不work要去改；或者實驗發現這個算法和實驗可能行不通，要全部推倒重來，換一個題目；也有可能是論文寫了一半，發現要補某個實驗，或者說這個模型哪一塊不太嚴謹。這樣來回往復，都是有可能的。

在做實際科研工作的時候，然后也沒有像剛剛說的那么美好，比如經常會遇到這三種情況：實驗一直沒有效果；好不容易做出來了，論文一直被拒；還可能遇到很多負面的審稿意見。

如果在做科研時遇到這些情況，我個人感覺可能有三點需要適當注意。

第一點是，科研和做題是有區別的，前者更關心啟發性，后者關心正確性。因為當我們在做科研的時候，其實有時候問題并沒有被定的很死，它本身可以很靈活。它并不像我們去做一個題，或者是公司里做研發，有一個很明確的任務要算出一個正確解或者把某某指標提升到多少。相比之下，對于科研來說，做什么樣的問題，有什么約束條件，什么樣輸入什么輸出，在什么場景下，這些東西都是可變的。對于發論文來說，審稿人其實最關心往往不是某個score或者公式，他其實更關心的是你的insight，就是說這個工作能不能照亮別人心中的光，啟發到更多的人。

第二個，如果論文連環被拒，但是我們又覺得技術的部分是做得很好的，那很有可能是忽略了第二個問題，其實論文寫作本身是一門與人打交道的藝術，也就是說需要用一種好的方式去呈現技術內容，包括邏輯的嚴密性，表達的清晰性和展示性。至少在我們領域，我覺得是 50% 的技術加 50% 的論文寫作。有的剛入門科研的同學可能只關注在技術內容上，但忽略了同等重要的論文寫作，然后沒有講清楚工作的價值和insight。

第三個不被認同其實是一種常態。因為如果要做出非常好的研究，往往是需要去挑戰現有的方法或者范式，然后講清楚它有什么局限性，新的方法如何解決這些問題的。那肯定就會受到一部分人的挑戰和質疑。這個時候其實非常鍛煉我們跟審稿人的溝通能力，比如怎么樣去理解他真正的concern，怎么以一種委婉的措辭去說服他人。

實際上，讀博士的狀態可能就是科研與生活融為了一體，有壓力有挫折，也時常不被理解。一般就是在投稿ddl之前通常是007工作，但平時的時間相對自由一些。壓力和挫折其實也是一種心性上的修煉的。這種不被理解，有時會很孤獨，不過也可能說明你看到了很多別人沒有看到的東西，然后可以做出一些比較突破性的東西了。

入門AI需要了解的

對于準備或者是剛入門 AI 領域科研的同學，也有些經驗想和大家分享。

能力提升

首先是知識儲備上。數學中的微積分、線性代數和概率論，編程中的數據結構和算法，這些是一定需要的。當你第一次去看論文的時候，你會有種感覺好像跟之前沒學過是一樣的，這是因為大學學的知識和這些領域的實際應用之間有一些gap。有時候是一種表達方式上的不同，而有時候是因為本科的課程知識沒有覆蓋到，比如微積分里面的高維變量微積分，線性代數里面的SVD、矩陣和向量的求導，概率統計里面可能還有比較復雜的高等概率論知識。但這不代表當時學的不重要，因為那些不僅是基礎知識，在學習過程中也鍛煉了數學思維。

還有一些更高階的知識，對于希望做一些比較深入的研究課題也是很重要的，比如優化理論、隨機過程、矩陣論、信息論、博弈論、泛函分析等等。這些知識很難在短時間掌握，我覺得需要保持不斷學習、終身學習的習慣。

另外，還有一些軟實力也比較重要，比如說邏輯思辨的能力、講故事的能力對寫論文就非常重要，歸納概括、知識遷移的能力可能對想idea很重要。還有，現在很多論文投稿都需要rebuttal，就是在第一輪審稿人的意見下來后，你需要寫回復，所以怎么去回應別人質疑的能力也是非常重要的。

AI科研現狀

接下來是一些目前這個研究領域的現狀，可以作為給希望入門的同學一些參考。

目前AI領域的更新十分迅速，研究質量也參差不齊，同時由于傳媒的影響，真正有價值的不一定是傳播很廣的，名氣大的不一定是真正有大突破的。同時目前論文的投稿，可能一個會議有動輒一萬篇投稿量，基本上投稿的作者也是審稿人，分到的審稿人可能并不一定熟悉這個子領域。這種情況下論文中稿的隨機性就會很大。

此外，現在套用現成模型的紅利期也成為了過去式。可能在兩三年前，很多論文都是在某個傳統問題上，用深度學習模型去提升模型表達能力，然后性能也能提上去，然后就可以發論文了。但是，現在就很難找到這樣的問題，可能更多需要一些底層性的突破。

比如我個人覺得未來可能會有突破性的幾個方向。第一個我覺得是受限環境下的學習問題。然后第二個的話是概念表示和認知推理，第三個是機器學習或者深度學習的基礎理論，第四個是交叉學科的應用。比如我們實驗室剛中今年NeurIPS的一項工作，利用強化學習和圖神經網絡來對集成電路的布局布線進行自動化設計，我覺得就非常有意思。還有我自己目前的研究，從推理的角度來實現一般化的表示學習。

給科研路上同學的建議

第一個是我覺得興趣的導向很重要，選擇適合自己的路。因為可能有的人天性比較適合做科研，有的人可能比較適合創業或者去工業界實現自己的價值。

第二點，如果選擇了做科研，我覺得多跟其他人交流觀點和心得會比較重要。因為對于一個idea來說，除了創新性之外，合理性也很重要。當我們把觀點表述出來的時候，一方面能收到別人的反饋，還有就是在說出來的過程里自己也會覺察到，有一些不太嚴謹的地方，或者之前沒有考慮到的，這樣其實是強化這個idea的合理性的過程。

第三個，我覺得每個人都有自己不同的節奏和選擇，決定權在自己手里，選擇后不要后悔，找到適合自己的節奏。

以上就是我的分享，歡迎對科研有興趣的同學一起交流，SJTU-Thinklab實驗室常年招收優秀本科生，謝謝大家。

吳齊天

上海交通大學 博士

郵箱：echo740@sjtu.edu.cn

實驗室主頁：https://thinklab.sjtu.edu.cn/

往期精彩回顧適合初學者入門人工智能的路線及資料下載機器學習及深度學習筆記等資料打印機器學習在線手冊深度學習筆記專輯《統計學習方法》的代碼復現專輯 AI基礎下載黃海廣老師《機器學習課程》視頻課黃海廣老師《機器學習課程》711頁完整版課件

本站qq群554839127，加入微信群請掃碼：

總結

以上是生活随笔為你收集整理的【学术相关】10篇顶会paper，入选微软学者，上海交大吴齐天的科研思考！的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。