我的三年自学深度学习之路
大家好,我是羽峰。今天要和大家分享的是研究生三年的生活,也是自己自學深度學習的三年,憑借三年自學,最終進入了大廠做了一名算法工程師。
?
目錄
2018
2019
2020
2021
?
2018
考研因為失誤或者可能本來就比較菜,最后調劑回了本校。
回本校的好處就是身邊人或多或少都認識,所以建立起友誼就很容易,相處也很融洽。
3月末確定之后,我就出去實習了一個月,那時候使用的還是還是c,考研考的c,所以對其還是比較了解,實習了一個月,也是這一個月的實習,接觸到了深度學習這個熱門領域,18年那時,深度學習已經很火了,動不動會調個參數,能跑個模型,就年入?30w+?的宣傳語到處都是。
也許是為了高薪吧,或許也是聽了雷軍大佬的一句話:站在風口豬都能飛起來。
自己就想進入這個領域,導師正好也剛想往這個方向上走,所以就打算先自學一下。想法是有了,但執行起來可能就很慢了。
5月實習結束后就回學校了,準備畢設和論文。期間看了如何學深度學習,然后就了解到了python這門語言,都說這門語言相比于c語言要簡單很多,很好學。
看完之后就開始行動了,買了一本評價比較好的書。書買回來就一天新鮮,看了小半天,感覺還都能理解,就放下去做畢設了,寫論文,然后就準備答辯了。
都整完大約在6月份了,導師讓暑假留校,但那時候我們還沒入學,所以沒有宿舍,就在外邊租了宿舍,那時候最開心的事情就是樓下的9元套餐吃到撐,老板人也很好,每次都給的很多。
暑假時候老師布置了很多論文,但跟深度學習相關很少,所以那時候也就開始了自己自學深度學習之路,首先學python,那時候花書很火,也買來了,但都是理論,沒看下去,就一直放著吃灰了,只是有時要找什么知識的理論基礎回去翻翻看,然后就再也沒有翻過它了。Python因為有c語言基礎,所以學起來還算比較輕松。
那時候最大的問題就是深度學習環境配置,也因為要經常去圖書館,帶著方便就買了個surface,為了在surface配置深度學習環境,也找了很多,也因此在CSDN上發表了自己的第一篇文章,這篇文章轉載了一位大佬的,自己也把自己在安裝中遇到的問題寫了進去,反響還行,目前閱讀量3.7萬。但沒有堅持寫,那時候沒有意識到要自己寫文章發表到某平臺,如果那時候認識到或者堅持下來可能會有什么不一樣吧。
但surface整了一會,發熱嚴重。就放棄它了。找了寫代碼的電腦,能配置深度學習的,很多都推薦mac pro。 那時候windows配置深度學習相關博客還是有限,而且不是很方便,所以就一狠心買了一個蘋果。但畢竟學生,電腦對我來說太貴了,我還不想要配置差的,所以選擇在閑魚上買一個二手的,為此我在閑魚上蹲了一個月,因為之前在閑魚上小試過水,所以知道一些套路,畢竟二手好的蘋果也是價格不菲,所以自己很慎重,最后自己蹲到了一個自己很想要的,直接就買了,買了之后才發現,很香。
這樣深度學習環境,python基礎都有了,開始真正的入坑了。
這時候已經是8月份開學了,開始了第一個程序就是手寫數字識別,后續又買了一些書,有實戰的,有理論的,按實踐的書打了很多代碼,然后差不多理解了一些。
9月多,我們實驗室7個,關系都很好,看到一個比賽,我說我們試試吧,就試著報名參加了。
這也是我第一個真正意義上的深度學習項目,雖然現在看來,這個項目low到不行,但那時候都靠自己,身邊想請教的朋友或者老師都沒有。我們是光電學院,那時候整個學院做深度學習的都很少。
這個項目是超市智能安防項目,就是識別一個人是否有偷盜行為,那時候也沒有相關數據集呀,也沒去找人要,就自己動手豐衣足食吧。
然后我們7個人,因為只有一個女生,顯然數據集不夠充分,所以又拉來一個人,我們就8個人,跑遍了學校所有商店,有的不讓拍,有的讓拍,讓拍的想再去也不讓拍了,所以為了拍這組照片我們學校周圍的超市都認識我們了,也都不讓我們進了。哈哈。
但好在最后收集到了15000多張圖片,雖然用手機拍,與真實數據相差很大,但這也是我接觸到的第一個真實的數據集。數據集有了,開始整模型,當時就手寫數字LeNet模型比較熟悉,也能改改,所以就采用了這個模型,因為我們的分類就兩類,一個是偷盜行為,一個是非偷盜行為,所以屬于一個二分類問題,LeNet就可以。
研一上主要做了這個項目,對如何調參,如何訓練,如何測試,把這個項目整的很完整,這個項目也被寫成了一篇英文文章,也算是自己的第一個正式完成的AI項目了。
這個是個硬件比賽,但我們都不會硬件,所以最后也沒有把訓練好的模型移植到硬件上,所以比賽也沒有獲得一個名次。但后來拿這個項目去參加了校電子設計競賽,弄了個3等獎,然后推到了省里,最終獲得個省三,也不負那么久做這個項目吧。
2019
然后開始更加系統的去學習了,期間參加了幾個課程,很系統的學習了機器學習和深度學習相關知識,也做了很多實際項目,期間最搞笑的就是因為實驗室沒有GPU條件,所有訓練就是我的蘋果,把我的蘋果跑的賊熱,就買了個風扇,下邊吹,上邊電腦訓練,基本都是晚上跑,白天跑的話電腦卡,耽誤自己做事情。
后來發現實驗室有個老版的工作站,但太老了。最多只能支持1060顯卡,于是就買了個1060顯卡,給他配置上了。才讓我的蘋果電腦休息,但因為訓練了一年左右,電腦落下了病根,在第二年時候就罷工了,去修的時候就看到里邊都是銹,修電腦的都問我,你這電腦都干了啥,造成這樣。哈哈
學習深度學習時候,也得來完成導師的任務,那時候主要任務就是看文章,寫專利,自己在大一寫了7篇專利,現在寫專利也還可以,如果有想代寫的歡迎交流。
自從有了1060顯卡,跑模型就很nice,那時候從網上找了很多模型來跑,非常爽。那時候目標檢測很火,就找了yolov1來跑,跑之后又寫了第二篇文章。這一階段主要是學模型,跑模型,模型能訓練了,跑通了在去學其原理。這樣可以照著代碼,調試著代碼,那部分負責哪些功能,把一些淺顯的東西都學好了。
中間參加了幾個比賽,研究生未來飛行器,和數模,幸運的是都取得了成績。
在之后就學了GAN網絡,感覺很神奇,將其中東西都弄懂了一點,也跑了幾個模型,原理也稍微弄懂了。
學習過程中當然可能學不進去,這時候最好的辦法就是虐自己,怎么虐呢?投實習,實習面試時,你就知道自己啥不會了,也可以為后來自己面試積攢了經驗。哈哈。每一次實習,都給把自己虐的不行,也知道了自己還是太菜,回去好好學吧。在實習結束之后會對實習復盤,看哪里不行,就補哪里。
第一次面試(19年初),讓寫個代碼,寫不出來,然后回來瘋狂自己寫代碼。
第二次面試(19年5),原理不行,回來之后更加關注原理。
第三次面試(19年7),實戰經驗,調殘經驗不足,回來跑模型,更加注重如何調試才能使它提升更好,但畢竟沒有實際項目,這一部分一直是個短板。
第四次面試(19年9),這時候實習過了,然后跟導師說,導師說已經打算派我去清華交流了,讓我好好準備面試,好好對待。就只能放棄這次實習機會,(這家公司今年上市了,秋招也投了,連面試機會都沒給,不知道是我當時爽約了,還是自己能力太菜了)
然后就準備著去清華面試,面試的時候我介紹了我會深度學習,他們很感興趣,他們組有用GAN網絡的,我正好那時候一直在搞GAN,感覺很對我胃口,我的技能也剛好符合他們。
雖然符合但也沒有立即答應,畢竟我們沒學過全息,所以給了很多全息相關文章和書籍,那一個月瘋狂補全息知識,也寫了一個很粗糙的文章,發在了CSDN上,或許網上關于全息的很少,還是做全息的本來就少,在發出去之后陸續加我的人也只有幾個,但這幾個目前也都成為了很好的朋友。
在之后去了清華做實驗,剛去感覺壓力山大,那種感覺難以形容。
幸好有一個一起去的小伙伴,我倆互相鼓勵著,去之后都數著啥時候能回家,哈哈,每天倒計時,這可能是我們堅持下去的理由吧。因為我們就去半個月,也是考驗我們,或許表現的還行,讓我們回家寫個綜述,那年正好父親生病住院了,半個月結束之后從北京就直接回家了。
2020
我這種人,一到家就放縱自己,什么學習,什么科研,都被拋下了。也趕著朋友結婚,我家又空著好多天,就這樣白天忙著收拾家,晚上出去和朋友吃飯。把學習的事情都給拋下了。
但也偶爾實在沒事無聊透頂,就去碰碰科研,也慢慢吞吞的把初稿給整完了。
過年之前發給老師了,過年疫情就爆發了,只能憋在家里,這時候把科研也提上日程,第一次寫文章,自己文筆又不好,需要改的好多,清華的曹良才老師對我的文章文字,圖片,格式等都提出了很多意見,這些意見是之前自己不曾接觸過的,所以對自己是非常有幫助的。那時候曹老師也很負責,幾乎一周1到2次的騰訊視頻會議,每次視頻會議之后自己對文章都要改很多,這樣改了20版左右吧,初稿才算完成。這里也非常感謝曹老師的耐心指導。
寫完綜述之后,就需要自己找研究方向了,那時候想把深度學習與全息結合起來,而且還寫了相關綜述,所以方向很快就找到了,在投期刊的時候,就已經開始做下一個項目了。
其實綜述是很好的一個鍛煉,寫完綜述,你對這個領域是有一個比較清晰的認知,然后你想要找到自己的方向也是非常輕松的。
這個項目是一個非常完善的項目,在做項目過程中鍛煉了如何調殘,如何寫網絡,改網絡,如何訓練,如何測試,如何得到loss,準確率曲線,如何評價輸入與輸出等等,這一個項目給我一個全面的訓練,這個項目也是我面試中最值得介紹的一個工作,面試過程中所有問題也都是圍繞這個項目在問。
因為是第一次寫英文,第一次做這種工作,所以這個項目前前后后,一共持續了5個月,這個過程不管是實驗,寫作,深度學習理論,自己都得到了一個很大的提高。
在之后就是找工作實習了,但這時候都是7月了,實習很少,找了一個初創公司實習,在實習中,我做的是目標檢測,YOLO系列和Faster RCNN系列都接觸了。也都實現了,這時候考慮到這個可以與我的科研相結合,也為后續一些想法提供了可能。
實習過程中也在投提前批和正式批,也做著一些準備,比如筆試,面試的準備。過程很苦逼,自己可能也很菜,所以被虐的很慘,這個后續會在單獨開一篇來詳細寫。
實習工作找完之后,又發現一個新科研想法,就是將YOLO和Faster RCNN 應用在我們實驗上,于是就開始著手準備科研,但這時候還有面試,還在等面試,一度崩潰中,自己睡眠本來很好,但這一階段經常失眠,往往躺下之后要1兩個小時才能睡著,腦袋里胡思亂想也不知道想些啥。想法也和老師提了,感覺還能做,就慢慢吞吞在做.
2021
后來1月份,又去了清華,去的之后半個月工作,就將整個實驗,訓練都弄好了,文章初稿也寫好了,這半個月是我之前半年的工作量。
之后我們家齊齊哈爾那邊爆發疫情,一度不讓回去,后來政策松動了就趕緊回家。回家之后隔離了三周,一直到過年前才被放出來。也是這三周,將初稿又修改了好幾遍,年前把最終初稿給搞定了。
也是這時候將畢業論文寫完了,其實在找工作時候,也前前后后寫了一些,年后的主要工作也是畢業論文,三月初交初稿,所以就回家這一段時間將畢業論文初稿都完成了。
下半年回來就是修改論文,查重,盲審,答辯。
期間也開了公眾號,b站,知乎等,目前答辯順利,畢業旅行也結束了,現在就等畢業證然后去工作了,哈哈。
以上就是我的研究生三年,與君共勉。
我是羽峰,公眾號:羽峰碼字,歡迎來撩。
總結
以上是生活随笔為你收集整理的我的三年自学深度学习之路的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 虚拟机ifconfig或ip addr不
- 下一篇: 编译原理:词法分析实验报告