吐血整理深度学习入门路线及导航【教学视频+大神博客+书籍整理】+【资源页】(2019年已经最后一个月了,你还不学深度学习吗???)
聲明:
1)該文章整理自網上的大牛和機器學習專家無私奉獻的資料,具體引用的資料請看參考文獻。
2)本文僅供學術交流,非商用。所以每一部分具體的參考資料并沒有詳細對應。如果某部分不小心侵犯了大家的利益,還望海涵,并聯系博主刪除。
3)博主才疏學淺,文中如有不當之處,請各位指出,共同進步,謝謝。
4)此屬于第一版本,若有錯誤,還需繼續修正與增刪。還望大家多多指點。大家都共享一點點,一起為祖國科研的推進添磚加瓦。
文章目錄
- 聲明:
- 〇、寫在前面
- 一、粉絲小福利
- 二、令人頭疼的數學
- 三、人生苦短,我用python
- 四、三兩個三方庫
- 五、深。。。深度。。。深度學習理論
- 六、一大波DL論文來襲
- 七、有哪些知名會議呢
- 八、你知道知識圖譜吧?!?
- 九、DL框架哪家強
- 9.1、TensorFlow
- 9.2、PyTorch
- 十、歡迎來到神經網絡游樂場
- 十一、毛遂自薦可還行
- 十二、總結一下下
- 參考文章
〇、寫在前面
可以去我的WX公眾號,回復【福利】,獲取更多資源!
最近沒有怎么發博客,趁這個機會總結一下,2019年已經是深度學習大火甚至熱度下降的一年了,我們的小伙伴應該抓緊機會趕上最后一波熱潮!!!
依照我目前的學習經驗和采坑總結,學習深度學習的最佳學習方法莫過于 【視頻+博客+書籍】+ 總結,【視頻+博客+書籍】這三個,我將把自己【目前學過的】以及【大佬推薦的】都在這篇博客文章中全部展現出來,力求全面實用,至于【總結】部分則是在于個人的發揮,【所謂師父領進門,修行在個人】,雖然我不是師傅,但是也希望能為你的未來方向提供一些力所能及的幫助。
博主將為各位趟河踩坑,保駕護航,咱們一起沖沖沖!!!上帝是公平的,所以世間的一切都是等價交換,只要你不辜負時間,時間也必然不會辜負你!!!
最后說一下,什么叫做【學習】,有好多小伙伴包括博主本人都有點急躁,但是【學習】是【學】然后【習】的過程,即 認真學習,努力實踐,樂于分享。
不要忘記計算機科學技術的核心就是【分享】,不要閉門造車!!!那實在是浪費時間!!!
如果你覺得本文有用,還請 點贊,關注,收藏,這樣就能讓更多的人看到。
如果本文有不足或者不正之處,歡迎指正批評,感激不盡!
如果有疑問歡迎留言,絕對第一時間回復!!!
?
?
一、粉絲小福利
推薦一個可以搜索一些pdf版的電子書的網站——鳩摩搜書,https://www.jiumodiary.com/
比如搜索【深度學習】,
下文中提到的一些書都可以去其中搜索,或者也可以直接百度:
不過百度的坑比較多,但是也是可以嘗試的,再或者腳本之家,https://www.jb51.net/books/
如果實在找不到,也可以直接去CSDN的下載區下載,https://download.csdn.net/,淘寶找一個商家下載即可,一般也就一兩塊。
?
?
二、令人頭疼的數學
其實我也懂,大家也懂,很多人避而不談或者繞開深度學習的主要原因是聽到了數學,數學基礎內容過多,基本上把大部人勸退了。。。【立即推 <<==>> 放棄】
其實如果你讀過工科本科(因為我是工科,本科【吉大】的小伙伴有嗎),就一定學過 高等數學、概率論與數理統計和線性代數 這三門課,這就基本上能夠解決絕大多數的問題,甚至說如果你只是想當一個掉包俠的話,這些都不用全部掌握,關于深度學習的境界劃分在這里——大話卷積神經網絡CNN(干貨滿滿),可以看看自己是哪一個境界的小盆友。
正文開始:
-
微積分:其實個人感覺涉及的微積分知識相對簡單,積分很少,微分也不是特別復雜,花一天時間學一學就行。
-
概率論與統計:這個比較高深,是應用在機器學習領域里最重要的數序分支。應用比如:條件概率、相關系數、最大似然、大數定律、馬爾可夫鏈等等,還是得好好搞一下概率。
-
線性代數:數字圖像本身就是以矩陣的形式呈現的,多個向量組成的樣本也是矩陣這種形式非常常見,大多機器學習算法里每個樣本都是以向量的形式存在的,多個矩陣疊加則是以張量(tensor)的形式存在 Google 深度學習庫 TensorFlow 的字面意思之一。
-
凸優化:這個需要單獨拎出來說一下。因為太多問題(尤其機器學習領域)都是優化問題(求最優),凸優化是里面最簡單的形式,所以大家都在想辦法怎么把一般的優化問題轉化為凸優化問題。至于單純的凸優化理論,好像已經比較成熟了。在機器學習里,經常會看到什么求對偶問題、KKT條件等,潛下心花兩天學一學。
數學知識真的沒必要系統學習,效率低又耗時,畢竟大家都有本科或者研究生的基礎了,這就足夠了。目前感覺用的最多的就是矩陣論!!!因為 TensorFlow 或者其他的框架都需要計算圖的大小。再或者用到的時候學,學完之后總結一下,所以一定要活學活用網上的搜索資源,比如 CSDN、知乎等等。
如果想要學習這三門課——【高等數學、概率論與數理統計和線性代數】,推薦宇哥(張宇數學)的課程,直接B站搜就能找到。
宇哥鼓勵學生的一段話,送給你,無論你考沒考過研,希望你都能堅持一下!!!
再堅持一下,張宇送給2018考生的最后一段話!
資源總結:
- 同濟大學的《線性代數》
- 浙江大學的《概率論與數理統計》
- 同濟大學的《高等數學》
- 北大的《凸優化》
- 林軒田機器學習基石/技法課件、作業和視頻
- 斯坦福大學CS229機器學習課程基礎資料英文和中文版本
- 《B站張宇數學》
?
?
三、人生苦短,我用python
工欲善其事必先利其器,作為深度學習的基礎語言,python這些年可以說是紅得發紫,承蒙粉絲們抬愛,寫過一個1.6W播放量的 python 的基礎博客——用Python解決數據結構與算法問題(一):Python基礎,不過沒有特別詳細,推薦學完了基礎知識的時候再看一下,以做位復習的資源,內附幾個例子,可以用來練手。
基礎部分看廖雪峰的 python教程 就可以了,我個人有看一些,比較良心,如果不喜歡在線學習的同學也可以使用這本書——《Python編程:從入門到實踐》,極其的基礎,但是對小白來說非常友好,還有幾個簡單的項目實戰。
有的同學會問是學 python2 還是 python3?這么說吧,python 核心團隊計劃2020年停止支持 python2,也就是說 python2 馬上就要說再見了,肯定還是學 python3,遇到之前的 python2 的代碼再查找區別即可。python 學起來其實很簡單,看別人代碼的過程就是學習的過程。對于不熟悉的用法多搜下官方文檔,如 python
?
?
python 的開發環境值得說一下,因為有太多選擇,這里比較建議使用 pycharm 和 jupyter notebook:
- Anaconda是一個用于科學計算的Python發行版,支持 Linux, Mac, Windows系統,提供了包管理與環境管理的功能,可以很方便地解決多版本Python并存、切換以及各種第三方包安裝問題。
下載地址:https://www.anaconda.com/download/
- Pycharm,社區版免費
下載地址:https://www.jetbrains.com/
-
安裝教程:
-
Anaconda+Jupyter notebook+Pycharm:https://blog.csdn.net/TeFuirnever/article/details/90646020
-
Ubuntu18.04深度學習環境配置(CUDA9+CUDNN7.4+TensorFlow1.8):https://zhuanlan.zhihu.com/p/50302396
-
資源總結:
- 廖雪峰的python教程
- 《Python編程:從入門到實踐》
- 兩天入門python
?
?
四、三兩個三方庫
除了python之外,還有很多常用的第三方庫:numpy、pandas、scipy、matplotlib、Seaborn、scikit-learn等等,需要熟練掌握提到的這幾個,其他的遇到再學習使用即可。
資源總結:
- 《Numpy練習題100題》
- 《十分鐘搞定pandas》
- 《scipy學習筆記》
- 《matplotlib學習之基本使用》
- 《Seaborn簡易入門》
- 《scikit-learn學習筆記》
- 《Scikit-Learn 與 TensorFlow 機器學習實用指南》
- 《Scikit-Learn 官方文檔》
- 《Scikit-Learn 中文文檔(0.19)》
?
?
五、深。。。深度。。。深度學習理論
認真的學習深度學習理論是關鍵!!!
深度學習理論首推這門課——網易云的吳恩達deeplearning.ai。
-
離線視頻:https://pan.baidu.com/s/1ciq3qHo0lgoD3MLRwfeqnA 密碼:0kim。
-
課件,筆記,論文:https://github.com/fengdu78/deeplearning_ai_books
-
作業:https://github.com/stormstone/deeplearning.ai
還有我個人依據課程寫的 深度學習入門筆記系列
《python深度學習》由Keras之父、現任Google人工智能研究員的弗朗索瓦?肖萊(Franc?ois Chollet)執筆,入門深度學習的同時還可以學習 Keras。
英文版:https://github.com/fchollet/deep-learning-with-python-notebooks
中文版:https://github.com/fengdu78/machine_learning_beginner/tree/master/deep-learning-with-python-notebooks
李宏毅的一天搞懂深度學習課件ppt,pdf以及精心整理的目錄——https://download.csdn.net/download/tefuirnever/11107293
李宏毅《機器學習》:https://www.bilibili.com/video/av59538266
李飛飛的 CS231n 課程,B站有 中英文字幕版課程,知乎專欄 智能單元 有CS231N課程翻譯(非常好)
Fast.ai《程序員深度學習實戰》
視頻地址:
-
B站地址(英文字幕):https://www.bilibili.com/video/av18904696?from=search&seid=10813837536595120136
-
CSDN地址(2017版中文字幕): https://edu.csdn.net/course/detail/5192
課程筆記:
-
英文筆記原文:https://medium.com/@hiromi_suenaga/deep-learning-2-part-1-lesson-1-602f73869197
-
由ApacheCN組織的中文翻譯:https://github.com/apachecn/fastai-ml-dl-notes-zh
CS230 Deep Learning
-
秋季CS230視頻列表:https://www.bilibili.com/video/av47055599
-
春季CS230課程大綱:http://cs230.stanford.edu/syllabus/
-
Cheetsheet(斯坦福助教給出):https://stanford.edu/~shervine/teaching/cs-230.html
資源總結:
- 《深度學習》花書
- 《深度學習 500 問》
- 李宏毅機器學習筆記(LeeML-Notes)
- 《動手學深度學習》
- 《動手學深度學習》-PyTorch
?
?
六、一大波DL論文來襲
如果你是深度學習領域的新手,你可能會遇到的第一個問題是“我應該從哪篇論文開始閱讀?”
Papers with Code 這個網站叫做 Browse state-of-the-art。它將 ArXiv 上的最新深度學習論文與 GitHub 上的開源代碼聯系起來。該項目目前包含了 651 個排行榜,1016 個深度學習任務,795 個數據集,以及重磅的 10257 個含復現代碼的優秀論文。簡直就是一個尋找論文和代碼的利器。它將 1016 個深度學習任務分成了 16 大類,涉及了深度學習的各個方面。
比如目標檢測的超全的文獻 paper 列表:
資源總結:
- 大博主的正例論文資源——https://blog.csdn.net/zouxy09/article/details/8782018
- Papers with Code;GitHub地址:https://github.com/zziz/pwc
- Deep Learning Papers Reading Roadmap
?
?
七、有哪些知名會議呢
- 會議
NeurIPS:https://nips.cc/
ICML:https://icml.cc/
ICLR:https://iclr.cc/
AAAI:https://aaai.org/Conferences/AAAI-19/
IJCAI:https://www.ijcai.org/
UAI:http://www.auai.org/uai2019/index.php
- 計算機視覺:
CVPR:http://cvpr2019.thecvf.com/
ECCV:https://eccv2018.org/program/main-conference/
ICCV:http://iccv2019.thecvf.com/
- 自然語言處理:
ACL:http://www.aclcargo.com/
EMNLP:https://www.aclweb.org/portal/content/emnlp-2018
NAACL:https://naacl2019.org/
- 知名期刊:
JAIR:https://www.jair.org/index.php/jair
JMLR:http://www.jmlr.org/
- 其它
機器人方面,有 CoRL(學習)、ICAPS(規劃,包括但不限于機器人)、ICRA、IROS、RSS;
對于更理論性的研究,有 AISTATS、COLT、KDD。
?
?
八、你知道知識圖譜吧?!?
知識圖譜是什么?
知識圖譜是一種結構化數據的處理方法,它涉及知識的提取、表示、存儲、檢索等一系列技術。從淵源上講,它是知識表示與推理、數據庫、信息檢索、自然語言處理等多種技術發展的融合。
資源總結:
-
為什么需要知識圖譜?什么是知識圖譜?——KG的前世今生
-
什么是知識圖譜?
-
智能搜索時代:知識圖譜有何價值?
-
百度王海峰:知識圖譜是 AI 的基石
-
譯文|從知識抽取到RDF知識圖譜可視化
?
?
九、DL框架哪家強
注:? 表示推薦指數,越多越好
9.1、TensorFlow
TensorFlow學習資料大全:含入門指南、在線博客、視頻教程、書籍推薦和實戰項目等
TensorFlow入門指南
- TensorFlow如何入門
- awesome-tensorflow:TensorFlow - A curated list of dedicated resources
- awesome-tensorflow-2:Tensorflow 2.x resources such as tutorial, blog, code and videos
TensorFlow官網&社區
- (?????)TensorFlow官網
- (?????)GitHub:TensorFlow
- (????)Medium:TensorFlow:官方維護,分享最佳干貨文章
- (????)Twitter:TensorFlow:官方維護,分享最快動態
- (????)Youtube:TensorFlow:官方維護,分享最新視頻
- (?????)TensorFlow官網(中國域名) 便于不能科學上網的人
- (???)TensorFlow中文社區:官方和才云科技(TensorFlow 中國社區合作伙伴)聯合發起
TensorFlow在線教程
- (?????)tf2_course:第一個TensorFlow2.x系列教程(作者是巨佬)
- (?????)TensorFlow-Examples:TensorFlow Tutorial and Examples for Beginners with Latest APIs
- (?????)TensorFlow-Course:Simple and ready-to-use tutorials for TensorFlow
- (????)TensoFlow2中文教程:TensorFlow2中文教程(代碼實戰為主)
- (????)TensorFlow2.0-Examples:TensorFlow2 教程(代碼實戰為主)
- (????)EffectiveTensorflow:TensorFlow tutorials and best practices
- (???)TensorFlow-Tutorials-Chinese:TensorFlow 中文教程 (Chinese Tutorials)
TensorFlow視頻教程
- (?????)Deep Learning basics with Python, TensorFlow and Keras 網址
- (?????)TensorFlow-Tutorials:TensorFlow Tutorials with YouTube Videos
- (????)Stanford CS 20SI: Tensorflow for Deep Learning Research (斯坦福TensorFlow教程)
- 官網:CS20SI
- GitHub(stanford-tensorflow-tutorials)
- B站視頻
- (???)Google 機器學習速成課程:該課程雖然為Machine Learning,但代碼全使用TensorFlow,有實戰意義
TensorFlow書籍資源
- (?????)Hands-on Machine Learning with Scikit-Learn, Keras, and TensorFlow, 2nd Edition
- (????)Hands-On Machine Learning with Scikit-Learn and TensorFlow 中文翻譯
- (???)TensorFlow Machine Learning Cookbook
TensorFlow實戰項目
- TensorFlow/models
- tensorboard
- TensorLayer
- DCGAN-tensorflow
- facenet
- FastMaskRCNN
- SSD-TensorFlow
- CapsNet-Tensorflow
- tensorflow-generative-model-collections
- tensorflow_poems
9.2、PyTorch
PyTorch資料學習大全:含入門指南、在線教程、視頻教程和書籍推薦等資源
PyTorch安裝教程
- Ubuntu
- Windows
PyTorch入門指南
- Awesome-pytorch-list:A comprehensive list of pytorch related content on github,such as different models,implementations,helper libraries,tutorials etc.
- 知乎:新手如何入門PyTorch
- PyTorch:60分鐘入門
PyTorch官網&社區
- (?????)PyTorch官網
- (?????)GitHub:PyTorch
- (????)Twitter:PyTorch:官方維護,分享最快動態
- (????)PyTorch官方論壇
- PyTorch中文文檔&教程
- 知乎話題:PyTorch
PyTorch在線教程
- (?????)PyTorch:Doc
- (?????)pytorch-tutorial:PyTorch Tutorial for Deep Learning Researchers
- (?????)practicalAI:Implement basic ML algorithms and deep neural networks with PyTorch.
- (????)practical-pytorch:PyTorch tutorials demonstrating modern techniques with readable code
- (????)Deep Learning with PyTorch:This series is all about neural network programming and PyTorch!
- (?????)pytorch-book:PyTorch tutorials and fun projects including neural talk, neural style, poem writing, anime generation
- (?????)莫凡:PyTorch教學:Build your neural network easy and fast
- (?????)pytorch-handbook:pytorch handbook是一本開源的書籍
- (????)Dive-into-DL-PyTorch:本項目將《動手學深度學習》(Dive into Deep Learning)原書中的MXNet實現改為PyTorch實現。
- (????)PyTorch_Tutorial:《Pytorch模型訓練實用教程》中配套代碼 PyTorch學習筆記
PyTorch視頻教程
- (????)PyTorch - Deep Learning with Python
- (???)Neural Network Programming - Deep Learning with PyTorch
- (???)Intro to Deep Learning with PyTorch:優達免費課程
- (?????)莫凡:PyTorch教學
PyTorch書籍資源
- (?????)Deep Learning with PyTorch:LeCun力薦,PyTorch官方權威教程書 github代碼
- (???)Introduction to Artificial Neural Networks and Deep Learning: A Practical Guide with Applications in Python
- (?????)《深度學習框架PyTorch:入門與實踐》github
PyTorch實戰項目
- pytorch-examples:官網示例
- pretrained-models.pytorch:Pretrained ConvNets for pytorch: NASNet, ResNeXt, ResNet, InceptionV4, InceptionResnetV2, Xception, DPN, etc.
- maskrcnn-benchmark:Fast, modular reference implementation of Instance Segmentation and Object Detection algorithms in PyTorch.
- mmdetection:Open MMLab Detection Toolbox with PyTorch 1.0
- pytorch-semseg:Semantic Segmentation Architectures Implemented in PyTorch
- faster-rcnn.pytorch
- ssd.pytorch
- semantic-segmentation-pytorch
- pytorch-pretrained-BERT
- torchcv:A PyTorch-Based Framework for Deep Learning in Computer Vision
- https://github.com/devnag/pytorch-generative-adversarial-networks
PyTorch搭檔工具
- PyTorch Lightning:Lightning is a very lightweight wrapper on PyTorch.
?
?
十、歡迎來到神經網絡游樂場
網站地址:http://playground.tensorflow.org/#activation=relu&batchSize=10&dataset=circle®Dataset=reg-plane&learningRate=0.03®ularizationRate=0&noise=0&networkShape=4,2&seed=0.17410&showTestData=false&discretize=false&percTrainData=50&x=true&y=true&xTimesY=false&xSquared=false&ySquared=false&cosX=false&sinX=false&cosY=false&sinY=false&collectStats=false&problem=classification&initZero=false&hideText=false
可以調整:
- 數據分布,訓練集和測試集的比例,有無噪聲,批大小;
- 特征,神經元個數和層數;
- 學習率,激活函數,正則化與否以及大小,分類還是回歸。
你可以嘗試去改變相應的參數,從而感受一下網絡輸出的變化,進而體會到卷積神經網絡的樂趣,加油!!!
?
?
十一、毛遂自薦可還行
推薦兩個自己寫的高質量博客:
- 大話卷積神經網絡CNN(干貨滿滿)
- 【記錄】一個深度學習算法工程師的成長之路(思考和方法以及計劃)
?
?
十二、總結一下下
該博客會持續更新相關資源,敬請期待。
持續更新…
?
?
如果你覺得本文有用,還請 點贊,關注,收藏,這樣就能讓更多的人看到。
如果本文有不足或者不正之處,歡迎指正批評,感激不盡!
如果有疑問歡迎留言,絕對第一時間回復!!!
如果有幸幫到你,請幫我點個【贊】,給個【關注】!如果能順帶【評論】給個鼓勵,我將不勝感激。
如果想要更多的資源,歡迎關注 @我是管小亮,文字強迫癥MAX~
回復【福利】即可獲取我為你準備的大禮,包括C++,編程四大件,NLP,深度學習等等的資料。
想看更多文(段)章(子),歡迎關注微信公眾號「程序員管小亮」~
學習AI的同學可以看一下這個課程!
參考文章
- 首發:適合初學者入門人工智能的路線及資料下載
- 完備的 AI 學習路線,最詳細的中英文資源整理
- TensorFlow-From-Zero-To-One
- PyTorch-From-Zero-To-One
- 大學四年自學走來,這些私藏的實用工具/學習網站我貢獻出來了
- 【記錄】一個深度學習算法工程師的成長之路(思考和方法以及計劃)
- 大話卷積神經網絡CNN(干貨滿滿)
總結
以上是生活随笔為你收集整理的吐血整理深度学习入门路线及导航【教学视频+大神博客+书籍整理】+【资源页】(2019年已经最后一个月了,你还不学深度学习吗???)的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 10bit灰阶测试图_我可能买的是一块假
- 下一篇: 电力自动化通信技术中的信息安全及应用