????? 原文鏈接：http://www.shellsec.com/tech/194176.html

目錄

• 簡介
• 要點記錄
• 提問
• 總結

簡介

報告時間是北京時間 14年12月14日 凌晨一點到兩點，主講人是 Caffe 團隊的核心之一 Evan Shelhamer。第一次用 GoToMeeting 參加視頻會議，效果真是不錯。

報告后分享出了 視頻 和 展示文件 （鏈接在收到郵件后會補上）。

Caffe 此前聽過沒用過，所以報告前自己試運行了一下，參照 官方教程 。Caffe 安裝、上手都很快，Protobuf 式的層定義很直觀，模型修改或算法調整變得很容易，相當于只需要改配置文件。還找到了他們放在 Google Docs 上一個教程 PPT， DIY Deep Learning for Vision: a Hands-On Tutorial with Caffe （已搬到墻里），后來發(fā)現(xiàn)這次報告的 PPT 就是在這個基礎上修改的。

本次報告主要內容是

• 對機器學習、深度學習的一些介紹，包括若干深度學習的經(jīng)典模型；
• Caffe 的 優(yōu)勢 （模塊化、速度、社區(qū)支持等）、?
• 基本結構 （網(wǎng)絡定義、層定義、Blob等）和?
• 用法 （模型中損失函數(shù)、優(yōu)化方法、共享權重等的配置、應用舉例、參數(shù)調優(yōu)的技巧），
• 以及 未來方向 （CPU/GPU 并行化、Pythonification、Fully Convolutional Networks等）。

以下是報告中的截圖配上自己的一點筆記，一手資料請參見上面給出的會后分享鏈接。

要點記錄

PPT 的首頁取自該項目的一個在線 demo ，輸入圖片 url，識別物體類別。

一個示例， 看一下效果：

左邊是淺層特征，各類別物體雜亂無章；右邊是深度特征，一些類別有較為明顯的分別。

特別地， dog、bird、invertebrate 這三類動物類別離得較近，而 building、vehicle、commodity 這類無生命類別離得較近，可見深度特征的強大。

此外，在深層結構當中， 隱層神經(jīng)元的激活可能與特定的物體類別有關 ，

比如有的神經(jīng)元對人像敏感，而有的對數(shù)字或建筑物敏感，最下面一層是閃光燈（或與之類似，比如反光的腦門……）效果。

Caffe 的優(yōu)勢，網(wǎng)絡結構的模塊化和易表達是顯然的，社區(qū)資源也同樣強大，比如下兩頁內容。

Caffe 的 Reference Models 可供學術使用，比如 AlexNet、R-CNN、CaffeNet，包括模型定義、優(yōu)化方法和預訓練權重。

Model Zoo 中有用戶貢獻的模型可供參考使用，比如 VGG、Network-in-Network。

Caffe 支持豐富的模型表達形式，包括 DAGs、Weight Sharing 以及 Siamese Network。

網(wǎng)絡和層定義采用 protobuf 的樣式。

Layer 指的是權重和偏置，可以定義連接數(shù)、權重初始化方法等。

Blob 是四維數(shù)據(jù)結構，保存節(jié)點上的數(shù)值以及模型參數(shù)，可以通過編程在 CPU 和 GPU 間傳輸。

模型定義之外，還需要一個指定優(yōu)化策略的配置文件，用以訓練模型。

使用 Caffe 訓練的一般步驟就是

• 數(shù)據(jù)預處理；
• 模型定義；
• 求解策略定義；
• 運行。

此處給出了兩個例子， Logistic Regression ， Learn LeNet on MNIST ，都很好 follow。

調參中重點講了一個模型遷移 的實例，用某項任務已有模型的參數(shù)作為新任務模型的參數(shù)初始值，然后進行模型訓練。

模型訓練一般由淺入深，逐步降低學習速率，以保持預訓練參數(shù)的某些性質。

接下來具體講述了 Loss、Solver、DAG、Weight Sharing 的概念和配置。

對同一模型，不同 Solver 的表現(xiàn)有差。

一般深度學習模型是線性形式的，比如 LeNet，而 Caffe 支持DAG 形式的模型。

Caffe 的近期動向，CPU/GPU 并行化、Pythonification、Fully Convolutional Networks等。

使用CUDA進行并行化加速........

Caffe 的團隊，拜 Yangqing Jia 師兄……

文獻參考。

提問

語音回答中，Evan 提到 UCB 的一個團隊正在開發(fā) Scala 接口，不過尚屬實驗性質；

Caffe 團隊在考慮 和 UCB 的 AMP 團隊合作，擴展到 Spark 這一計算平臺上；

除了已支持的 CPU/GPU 計算，也考慮擴展支持 OpenCl；

對于 Theano、Torch，鼓勵大家嘗試、比較……

文字問答如下，由 Yangqing Jia 回復。

Q: Is the pre-trained model avaialbe for download to accelerate our work on other kinds of images?

A:FYI – for pretrained models that we release, please refer to the model zoo page here:http://caffe.berkeleyvision.org/model_zoo.html

Q: Android platform ?

A:People have asked about android/ios platforms. In principle this is possible since the code is purely in C, but of course some engineering efforts are needed to write makefiles like Android.mk for this. Our bandwidth is limited and we are focusing on the research part, but we welcome pull requests on github if you write one (and we thank you in advance)! Also, kindly check out the blog post by my colleague Pete Warden about our efforts on running with Jetson TK1:http://petewarden.com/2014/10/25/how-to-run-the-caffe-deep-learning-vision-library-on-nvidias-jetson-mobile-gpu-board/

Q: Can you discuss status and/or considerations for adding opencl support (and so be vendor neutral, as opposed to NVIDIA CUDA)?

A:In terms of using OpenCL – it has been under discussion for a while, but we are kind of shortstaffed so we focus more on the research side – we welcome contributions from open-source communities of course, please join us at github

Q: do you have an online examples of unsupervised losses

A:For unsupevised losses and training there is a bundled example of an MNIST autoencoder.

總結

“盜取”一頁 PPT 作為本文總結。

總結

以上是生活随笔為你收集整理的DL for Vision：A Tutorial with Caffe 报告笔记的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內容還不錯，歡迎將生活随笔推薦給好友。