机器视觉:makefile编译调用Caffe框架的C++程序
Caffe作為在眾多公司搞深度學習時較多使用的框架,其在使用的友好程度上顯然要比后起的一些深度學習框架要差一些,雖然如此,其作為深度學習的第一個開源框架,自有它的很多優勢,比如設計結構。關于Caffe的種種,這里不表,小白菜僅聊很小的一個點,即:對于調用Caffe框架的C++程序,如何使用makefile進行編譯的問題。
這個問題是小白菜近兩天遇到的一個問題,經過小半天的谷歌以及嘗試,順利解決。記錄下來,一則備查詢之需,二則對碰到相同問題的朋友也應該有幫助。當然對使用IDE的朋友,這個問題并不是問題,但是某些場合,比如開發環境在服務器上,這時候只能采用vim+makefile的方式來編寫代碼以及編譯代碼了,so我們終究還是避不過這個問題。
關于使用makefile編譯調用Caffe框架的C++程序,有兩種方式:一種是最容易且最笨的方法,即把你寫的C++程序方法Caffe的examples目錄里面,然后在CMakeLists.txt里面把你的C++程序添加到相應的位置,這種方式終究不是一個長久之道;另外一種是把Caffe編譯成一個庫,然后我們可以像正常使用一個庫一樣,調用和編譯C++程序了。小白菜以為,此種方式是最優雅的方法,注意,對于makefile文件,我們并不是直接寫的,而是通過寫cmake文件然后編譯生成的makefile文件。整個過程分為三步:
- 重新編譯一份Caffe
- 編寫cmake文件
- 編譯目標文件
下面細解該方法的步驟。
重新編譯一份Caffe
對于已有Caffe環境了的小伙伴,對于重新編譯一份Caffe可能覺得多余,但小白菜以為,通過下面這種方式編譯,可以讓你后續的步驟能夠順利進行,執行下面命令:
git clone https://github.com/BVLC/caffe.git git checkout master cp Makefile.config.example Makefile.config修改Makefile.config文件,小白菜的線上環境用的Openblas做的矩陣加速,所以BLAS這一塊的配置如下:
# BLAS choice: # atlas for ATLAS (default) # mkl for MKL # open for OpenBlas BLAS := open BLAS_INCLUDE := /opt/OpenBLAS/include BLAS_LIB := /opt/OpenBLAS/lib然后,可以開始愉快地編譯下面Caffe了:
mkdir build && cd build cmake .. -DBUILD_SHARED_LIB=ON -DBLAS=open cmake . -DCMAKE_BUILD_TYPE=Debug # switch to debug make -j 12 && make install # installs by default to build_dir/install cmake . -DCMAKE_BUILD_TYPE=Release # switch to release make -j 12 && make install # doesn’t overwrite debug install make pycaffe上面編譯完成后,我們在build/install目錄下看到Caffe作為一個供調用的庫的完整文件:
├── bin ├── include ├── lib ├── python └── share到這里,第一步走完了。回到關于推薦重新編譯一份的問題,為什么推薦重新編譯一份呢?這是因為,后面在寫cmake文件的時候,我們是通過find_package來找Caffe庫的,如果不按上面的過程重新編譯一份,find_package無法找到Caffe的庫目錄。當然你也可以通過其他的方式繞過去,但如果想少些折騰,還是按這個來為妥。
此外,為了能夠正常使用Caffe的Python接口,還需要按照Python的一些依賴模塊:
cd caffe_root/python pip install -r requirements.txt補充:對于mac osx系統,如果按照上面編譯完后,在import caffe時出現如下錯誤:
26852 segmentation fault python這個錯誤主要是Makefile.conf中python的include和lib設置不合理所引起的,具體可以參考Segfault on PyCaffe import。將PYTHON_INCLUDE和PYTHON_LIB修改為:
PYTHON_INCLUDE := /usr/local/Cellar/python/2.7.13/Frameworks/Python.framework/Versions/2.7/include/python2.7PYTHON_LIB := /usr/local/Cellar/python/2.7.13/Frameworks/Python.framework/Versions/2.7/lib然后重新按照前面的步驟編譯一遍即可解決上面的bug。
虛擬環境運行Caffe異常
講真,只要使用python編程,anaconda絕對是一把利器。集成的ipython、jupyter、常用的第三方模塊以及虛擬環境,可以省去不少讓人折騰的功夫。舉個例子,在日常的開發中,小白菜做開發都是在服務器上,但服務器上沒有sudo權限,所以如果用Pyhon做開發,弄個虛擬開發環境必不可少。一直以來,小白菜都是用的Virtualenv來構建虛擬環境。這幾天,在看Anaconda的bin目錄下,發覺了Anaconda也有activate,然后揣測它應該跟Virtualenv,然后執行source activate,安裝了Keras測試一下,發覺它并沒有安裝在系統目錄里,而是安裝在Anaconda目錄下,甚喜,因為這意味著小白菜以后可以隨意安裝自己需要的安裝包。
為了方便導入Caffe,將Caffe的Python目添加到環境變量中:
export PYTHONPATH=/home/yuanyong/caffe/python:$PYTHONPATH執行source .bashrc,然后啟動ipython,導入Caffe,異常拋出如下:
In [4]: import caffeIn [5]: QXcbConnection: Could not connect to display 已放棄(吐核)因為服務器上無圖像界面服務,所以推測這個錯誤應該跟這個圖像界面的相關,然后谷歌到了Generating matplotlib graphs without a running X server,在導入Caffe之前,使用Agg backend作為后端渲染,即:
In [2]: import matplotlib as mpl In [3]: mpl.use('Agg') In [4]: import caffe異常消除。這個問題比較奇怪,后來小白菜不執行[2][3]發覺沒出現原來的錯誤了,不過不管出不出現了,整理以備再次出現此問題。
編寫cmake文件
順利完成了重新編譯一份Caffe的步驟后,我們來寫(復制)一份CMakeLists.txt文件:
cmake_minimum_required(VERSION 2.8.8) find_package(Caffe) include_directories(${Caffe_INCLUDE_DIRS}) add_definitions(${Caffe_DEFINITIONS}) # ex. -DCPU_ONLY add_executable(caffeinated_application extract_features.cpp) target_link_libraries(caffeinated_application ${Caffe_LIBRARIES})此份文件來自Improved CMake scripts。上面,小白菜要單獨編譯一份經過修改后的提取特征的文件extract_features.cpp,整個目錄是這樣的:
├── CMakeLists.txt └── extract_features.cpp編譯目標文件
我們進入到包含CMakeLists.txt和extract_features.cpp文件的目錄,執行下面命令:
mkdir build cd build cmake .. make執行到這一步,得到了我們的最終可執行文件caffeinated_application,我們的整個使用makefile編譯調用Caffe框架的C++程序的問題已完結。
通過此種方法,我們能夠很優雅的解決使用makefile編譯調用Caffe框架的C++程序的問題,后面就可以愉快地寫各種調用Caffe框架的代碼了。
附錄
from:?http://yongyuan.name/blog/compiling-cpp-code-using-caffe.html?
總結
以上是生活随笔為你收集整理的机器视觉:makefile编译调用Caffe框架的C++程序的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 机器视觉:Asymmetry Probl
- 下一篇: 金城教授:基于手绘草图的图像检索技术研究