【学术相关】李沐:如何把近十页的论文读成半页
最近李沐沐神橫空出世,開始在知乎和B站上傳各種課程和論文解讀視頻,一下就拉高了技術自媒體的門檻,讓我開始思考要不要轉向舞蹈區或者鬼畜區。大佬果然做什么事情都能做好,從年初3月份到現在,B站已經突破了十萬粉,投稿104個,這是深度垂直內容很難達到的高度(不過相信照現在ML的卷度有望成為百大)。
沐神甚至開始專門為大家開啟了斯坦福課程中文版,而且是日更,每天B站閑逛的我刷到時都倍感焦慮(因為我沒在學習),底下評論區都勸沐神要多注意休息。還有的同學說整個實驗室包括導師都在追沐神的課,B站智能姬也專門為評論區的同學灰度了字幕功能,這個學習氣氛真的太濃郁了,甚至有同學說沐神直接在B站帶研究生。
總之引用評論區同學的一句話就是,Mu Li Is All You Need。還在入門的同學跟著走就行了(我的文章也可以偶爾看看,瘋狂求生)。
今天就順著沐神的視頻「如何讀論文」,也分享一些我的個人私貨。
地址:https://www.bilibili.com/video/BV1H44y1t75x看了沐神的視頻后,真是相見恨晚。其實我自己讀論文的方法也差不多,但卻是我迭代了一兩年才迭代出來的,如果最開始就知道這個方法會省去很多時間。
在我最開始讀論文的時候,必須要把所有文章都打印出來,從頭讀到尾,用筆去各種劃線做筆記。只有脫離屏幕,我才能靜下心來把那些東西裝進腦子里。直到后來我打印的論文越來越多,才不得已在電腦上看。再后來因為寫知乎博客,在那段BERT變體瘋狂出世的時期,我讀論文的速度越來越快,總想第一個把新研究分享出來,當知乎NLP前沿最快的女人。到了現在,我似乎又比之前提高了一些,大家有時會驚訝于我出文的速度,如果文章不太復雜的話,我其實讀了標題、摘要、圖表之后就開始打草稿了。。。
沐神視頻總結
論文通常分為6個部分:Title、Abstract、Introduction (包含Related works)、Method、Experiments、Conclusion。
沐神建議大家分三遍來讀一篇論文。
第一遍,目的是大概知道論文在講什么,適不適合自己。先讀一下標題和摘要,了解論文在做什么,再直接看結論,雖然大部分都是重復的,但也會把摘要里提到的問題用實際結論再證明一下。再去瞄一眼關鍵的圖和表。這一遍大概要十幾分鐘,如果確定適合自己,就可以開始第二遍。
第二遍,通讀一遍文章,目的是了解文章解決了什么問題,用了什么方法,搞清楚重要的圖和表都在干什么,相比別人的方法有什么優點。讀的時候可以把有用的東西圈出來,比如重要的參考文獻、不懂的句子。這一遍不用特別細節,一些公式和證明可以略過。這遍讀完后,如果覺得這份工作對自己有價值,可以繼續第三遍的精讀。
第三遍,知道每一段每一句都在干什么,把自己放到作者的位置,開始思考自己如何去解決這個問題,如何設計實驗,能不能做得更好,或者哪些地方可以繼續深入。這樣以后基于這份工作擴展,或者使用這個方法的時候就會更自如。
以上就是沐神分享的方法,我的整體差不多,只是不同場景會有diff。一類場景是某類論文的集中調研,可能是項目要落地,也可能是要做research,總之會有個大概的領域和任務限定;另一類場景是隨便讀讀,畢竟周圍的人都讀,不進則退,被迫好學。下面就分這兩個場景介紹一下我的方法。
有方向的調研
首先是怎么找論文,這是我后臺經常收到的問題。在做research之前一定要調研充分,否則論文都寫了一半發現跟之前的撞了,或者審稿人直接給你丟過來一篇就很尷尬。找論文可以從以下四方面:
先去搜索最近的該領域綜述,綜述讀下來就對該領域有初步理解,知道了歷史SOTA
最近一兩年的頂會(NLP比如ACL、NAACL、EMNLP、AAAI、ICLR等),去他們公開的paper list按關鍵詞搜索。怎么找關鍵詞?從之前看的綜述里面找
在Google Scholar等搜索引擎搜關鍵詞,頂會畢竟有幾個月的延遲,可能人家先掛出來了
用上面的方法讀了幾篇之后,去看他們Related Works、實驗對比里的其他方法,基本都是該領域有代表性的
之后是怎么篩選論文,優先看知名會議、機構、作者的文章,一般來說質量還是有保障的。其他的就用沐神的方法先快速掃一下,沒價值就不看了。
最后就是讀論文了,沐神講的方法很好,我略微補充幾點:
既然是有方向的調研,就要調研出體系,這個領域有幾種問題,每種問題都有什么解決辦法,對比起來有什么優缺點
如果是自己要follow的方法,實驗分析環節要仔細的看,怎么處理的數據,用了什么超參數等
如果要發自己的文章,就要更精細地看一下其他paper都是怎么講的motivation和contribution
最最后,怎么樣想新的idea?就像沐神說的那樣,用作者思維去思考,讀個一二十篇就能有些感覺。想第一次就發一篇驚世巨作太難了,更多的人還是先follow前人的工作,從其他領域借鑒一些改動,并學習英文的寫作方式。所以不要自己干想。
隨便看看
我現在日常就是隨便看看,碰到我感興趣的工作就分享給大家。
首先還是怎么找論文:
Arxiv網站每天都會更新大家上傳的論文,推薦我之前參與的項目:https://arxiv.xixiaoyao.cn/,我們把論文的作者機構和發表的會議單獨篩了出來,方便快速篩選
頂會paper list也可以刷刷
之后讀論文的方法就差不多了。熟能生巧,當對特定領域的論文+偶爾思考超過一定數量之后(感覺自己也就讀了不到100篇吧),速度一下就能上去。我速讀時的attention主要在:
Abstract的重點(也就兩三句話)
Introduction中作者提出motivation和contribution那里
Related works里列的方法
Method里面的圖表和說明(不太復雜的方法就那么幾句話,數據集也都是常見那些)
Experiments里面的主實驗、消融實驗和其他有趣的分析
這么算下來,一篇方法不復雜的論文半夜紙就能講清楚,所有故事都能概括成起因經過結果。
當然如果要寫出來分享給大家,我會把自己放在作者思維再琢磨一下,想想模型處理的細節、哪里不嚴謹,再去文中找對應的解釋。
以上,就是學姐我這么多年積攢的經驗了,白嫖的你,開不開心。
往期精彩回顧適合初學者入門人工智能的路線及資料下載中國大學慕課《機器學習》(黃海廣主講)機器學習及深度學習筆記等資料打印機器學習在線手冊深度學習筆記專輯《統計學習方法》的代碼復現專輯 AI基礎下載本站qq群955171419,加入微信群請掃碼:總結
以上是生活随笔為你收集整理的【学术相关】李沐:如何把近十页的论文读成半页的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 搜狐视频怎么清除应用缓存
- 下一篇: Windows平台RTMP推送摄像头对接