conda pip安装在哪里_TensorFlow 2.0 安装指南
文 /??李錫涵,Google Developers Expert
本文節(jié)選自《簡(jiǎn)單粗暴 TensorFlow 2.0》
TensorFlow 2.0 beta1 已經(jīng)發(fā)布。本文詳細(xì)介紹在個(gè)人電腦或服務(wù)器上安裝 TensorFlow 2.0 beta1 的步驟和各種細(xì)節(jié),讓你第一次安裝 TensorFlow 2.0 就上手!一般安裝步驟
TensorFlow 的 Python 版本使用最為廣泛。作為一個(gè) Python 包,TensorFlow 和其他 Python 包的安裝方法區(qū)別不大,使用 Python 的包管理器 pip 即可。具體步驟如下:
? ? 1. 安裝 Python 環(huán)境。此處建議安裝 Anaconda 。這是一個(gè)開源的 Python 發(fā)行版本,提供了一個(gè)完整的科學(xué)計(jì)算環(huán)境,包括 NumPy、SciPy 等常用科學(xué)計(jì)算庫(kù)。當(dāng)然,你有權(quán)選擇自己喜歡的 Python 環(huán)境。
??? 2. 使用 Anaconda 自帶的 conda 包管理器建立一個(gè) Conda 虛擬環(huán)境,并進(jìn)入該虛擬環(huán)境。在命令行下輸入以下命令:
# 建立虛擬環(huán)境
# “tf2.0”是你建立的 Conda 虛擬環(huán)境的名字
# python=3.7 代表該虛擬環(huán)境的 Python 版本為 3.7
conda create --name tf2.0 python=3.7
# 進(jìn)入名為“tensorflow”的虛擬環(huán)境
conda activate tf2.0? ? ??
3. 使用 Python 包管理器 pip 安裝 TensorFlow。在命令行下輸入以下命令:pip install tensorflow==2.0.0-beta1 ? ? # TensorFlow CPU 版本
或pip install tensorflow-gpu? ? # TensorFlow GPU 版本,需要具有 NVIDIA 顯卡及正確安裝驅(qū)動(dòng)程序,詳見下文
等待片刻即安裝完畢。注:Anaconda下載 鏈接
https://www.anaconda.com
小技巧
也可以使用 conda?install?tensorflow 或者 conda?install?tensorflow-gpu 來安裝 TensorFlow,不過 conda 源的版本往往更新較慢,難以第一時(shí)間獲得最新的 TensorFlow 版本;
在 Windows 下,需要打開開始菜單中的 “Anaconda Prompt” 進(jìn)入 Anaconda 的命令行環(huán)境;
在國(guó)內(nèi)環(huán)境下,推薦使用 國(guó)內(nèi)的 pypi 鏡像 和 Anaconda 鏡像 ,將顯著提升 pip 和 conda 的下載速度;
注:清華大學(xué)的 pypi 鏡像 鏈接
https://mirrors.tuna.tsinghua.edu.cn/help/pypi/
清華大學(xué)的 Anaconda 鏡像 鏈接
https://mirrors.tuna.tsinghua.edu.cn/help/anaconda/
如果對(duì)磁盤空間要求嚴(yán)格(比如服務(wù)器環(huán)境),可以安裝 Miniconda ,僅包含 Python 和 Conda,其他的包可自己按需安裝。
pip 和 conda 包管理器
pip 是最為廣泛使用的 Python 包管理器,可以幫助我們獲得最新的 Python 包并進(jìn)行管理。常用命令如下:
pip install [package-name]? ? ? ? ? ? ? # 安裝名為 [package-name] 的包
pip install [package-name]==X.X ? ? ? ? # 安裝名為 [package-name] 的包并指定版本 X.X
pip install [package-name] --proxy=代理服務(wù)器IP:端口號(hào) ? ? ? ? # 使用代理服務(wù)器安裝
pip install [package-name] --upgrade? ? # 更新名為 [package-name] 的包
pip uninstall [package-name]? ? ? ? ? ? # 刪除名為 [package-name] 的包
pip list? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? # 列出當(dāng)前環(huán)境下已安裝的所有包
conda 包管理器是 Anaconda 自帶的包管理器,可以幫助我們?cè)?conda 環(huán)境下輕松地安裝各種包。相較于 pip 而言,conda 的通用性更強(qiáng)(不僅是 Python 包,其他包如 CUDA Toolkit 和 cuDNN 也可以安裝),但 conda 源的版本更新往往較慢。常用命令如下:conda install [package-name]? ? ? ? # 安裝名為 [package-name] 的包
conda install [package-name]=X.X? ? # 安裝名為 [package-name] 的包并指定版本 X.X
conda update [package-name] ? ? ? ? # 更新名為 [package-name] 的包
conda remove [package-name] ? ? ? ? # 刪除名為[package-name]的包
conda list? ? ? ? ? ? ? ? ? ? ? ? ? # 列出當(dāng)前環(huán)境下已安裝的所有包
conda search [package-name] ? ? ? ? # 列出名為 [package-name] 的包在 conda 源中的所有可用版本
conda 中配置代理:在用戶目錄下的 .condarc 文件中添加以下內(nèi)容:proxy_servers:
????http: http://代理服務(wù)器IP:端口號(hào)
Conda 虛擬環(huán)境
在 Python 開發(fā)中,很多時(shí)候我們希望每個(gè)應(yīng)用有一個(gè)獨(dú)立的 Python 環(huán)境(比如應(yīng)用 1 需要用到 TensorFlow 1.X,而應(yīng)用 2 使用 TensorFlow 2.0)。這時(shí),Conda 虛擬環(huán)境即可為一個(gè)應(yīng)用創(chuàng)建一套“隔離”的 Python 運(yùn)行環(huán)境。使用 Python 的包管理器 conda 即可輕松地創(chuàng)建 Conda 虛擬環(huán)境。常用命令如下:
conda create --name [env-name]? ? ? # 建立名為 [env-name] 的 Conda 虛擬環(huán)境
conda activate [env-name] ? ? ? ? ? # 進(jìn)入名為 [env-name] 的 Conda 虛擬環(huán)境
conda deactivate ?? ? ? ? ? ? ? ? ? # 退出當(dāng)前的 Conda 虛擬環(huán)境
conda env remove --name [env-name]? # 刪除名為 [env-name] 的 Conda 虛擬環(huán)境
conda env list? ? ? ? ? ? ? ? ? ? ? # 列出所有 Conda 虛擬環(huán)境
GPU 版本 TensorFlow 安裝指南
GPU 版本的 TensorFlow 可以利用 NVIDIA GPU 強(qiáng)大的計(jì)算加速能力,使 TensorFlow 的運(yùn)行更為高效,尤其是可以成倍提升模型訓(xùn)練的速度。
在安裝 GPU 版本的 TensorFlow 前,你需要具有一塊不太舊的 NVIDIA 顯卡,以及正確安裝 NVIDIA 顯卡驅(qū)動(dòng)程序、CUDA Toolkit 和 cnDNN。
GPU 硬件的準(zhǔn)備
TensorFlow 對(duì) NVIDIA 顯卡的支持較為完備。對(duì)于 NVIDIA 顯卡,要求其 CUDA Compute Capability 須不低于3.0,可以到 NVIDIA的官方網(wǎng)站 查詢自己所用顯卡的CUDA Compute Capability。目前,AMD 的顯卡也開始對(duì) TensorFlow 提供支持,可訪問 這篇博客文章 查看詳情。
注:NVIDIA的官方網(wǎng)站 鏈接
https://developer.nvidia.com/cuda-gpus/
博客文章 鏈接
https://medium.com/tensorflow/amd-rocm-gpu-support-for-tensorflow-33c78cc6a6cf
NVIDIA驅(qū)動(dòng)程序的安裝
WindowsWindows 環(huán)境中,如果系統(tǒng)具有 NVIDIA 顯卡,則往往已經(jīng)自動(dòng)安裝了 NVIDIA 顯卡驅(qū)動(dòng)程序。如未安裝,直接訪問 NVIDIA 官方網(wǎng)站 下載并安裝對(duì)應(yīng)型號(hào)的最新公版驅(qū)動(dòng)程序即可。
注:NVIDIA 官方網(wǎng)站 鏈接
https://www.nvidia.com/Download/index.aspx?lang=en-us
Linux在服務(wù)器版Linux系統(tǒng)下,同樣訪問 NVIDIA官方網(wǎng)站 下載驅(qū)動(dòng)程序(為 .run?文件),并使用 sudo?bash?DRIVER_FILE_NAME.run?命令安裝驅(qū)動(dòng)即可。在安裝之前,可能需要使用 sudo?apt-get?install?build-essential?安裝合適的編譯環(huán)境。
在具有圖形界面的桌面版Linux系統(tǒng)上,NVIDIA 顯卡驅(qū)動(dòng)程序需要一些額外的配置,否則會(huì)出現(xiàn)無法登錄等各種錯(cuò)誤。如果需要在 Linux 下手動(dòng)安裝 NVIDIA 驅(qū)動(dòng),注意在安裝前進(jìn)行以下步驟(以 Ubuntu 為例):
禁用系統(tǒng)自帶的開源顯卡驅(qū)動(dòng)Nouveau(在/etc/modprobe.d/blacklist.conf文件中添加一行blacklist?nouveau?,使用sudo?update-initramfs?-u更新內(nèi)核,并重啟)
禁用主板的 Secure Boot 功能
停用桌面環(huán)境 (如sudo?service?lightdm?stop)
刪除原有 NVIDIA 驅(qū)動(dòng)程序 (如sudo?apt-get?purge?nvidia*)?
小技巧
對(duì)于桌面版Ubuntu系統(tǒng),有一個(gè)很簡(jiǎn)易的NVIDIA驅(qū)動(dòng)安裝方法:在系統(tǒng)設(shè)置(System Setting)里面選軟件與更新(Software & Updates),然后點(diǎn)選Additional Drivers里面的“Using NVIDIA binary driver”選項(xiàng)并點(diǎn)選右下角的“Apply Changes”即可,系統(tǒng)即會(huì)自動(dòng)安裝NVIDIA驅(qū)動(dòng),但是通過這種安裝方式安裝的NVIDIA驅(qū)動(dòng)往往版本較舊。
NVIDIA 驅(qū)動(dòng)程序安裝完成后,可在命令行下使用nvidia-smi命令檢查是否安裝成功,若成功則會(huì)打印出當(dāng)前系統(tǒng)安裝的 NVIDIA 驅(qū)動(dòng)信息,形式如下:
提示
命令nvidia-smi可以查看機(jī)器上現(xiàn)有的GPU及使用情況。(在 Windows 下,將 C:\Program?Files\NVIDIA?Corporation\NVSMI加入 Path 環(huán)境變量中即可,或 Windows 10 下可使用任務(wù)管理器的“性能”標(biāo)簽查看顯卡信息)
更詳細(xì)的 GPU 環(huán)境配置指導(dǎo)可以參考 2篇博客文章?。
注:參考博客文章1 鏈接
https://www.linkedin.com/pulse/installing-nvidia-cuda-80-ubuntu-1604-linux-gpu-new-victor/
參考博客文章2 鏈接
https://blog.csdn.net/wf19930209/article/details/81877822
CUDA Toolkit 和 cnDNN 的安裝在Anaconda環(huán)境下,推薦使用:
conda install cudatoolkit=X.X
conda install cudnn=X.X.X
安裝 CUDA Toolkit 和 cnDNN,其中 X.X 和 X.X.X 分別為需要安裝的 CUDA Toolkit 和 cuDNN 版本號(hào),必須嚴(yán)格按照 TensorFlow 官方網(wǎng)站所說明的版本安裝(對(duì)于 TensorFlow 2.0 beta1,可以安裝版本為 10.0 的 CUDA Toolkit 和版本為 7.6.0 的 cuDNN)。在安裝前,可使用conda?search?cudatoolkit和conda?search?cudnn搜索 conda 源中可用的版本號(hào)。當(dāng)然,也可以按照 TensorFlow 官方網(wǎng)站上的說明 手動(dòng)下載 CUDA Toolkit 和 cuDNN 并安裝,不過過程會(huì)稍繁瑣。
使用 conda 包管理器安裝 GPU 版本的 TensorFlow 時(shí),會(huì)自動(dòng)安裝對(duì)應(yīng)版本的 CUDA Toolkit 和 cuDNN。conda 源的更新較慢,如果對(duì)版本不太介意,推薦直接使用conda?install?tensorflow-gpu進(jìn)行安裝。
注:TensorFlow 官方網(wǎng)站上的說明 鏈接
https://www.tensorflow.org/install/gpu
第一個(gè)程序
安裝完畢后,我們來編寫一個(gè)簡(jiǎn)單的程序來驗(yàn)證安裝。
在命令行下輸入conda?activate?tensorflow進(jìn)入之前建立的安裝有 TensorFlow 的 Conda 虛擬環(huán)境,再輸入python進(jìn)入 Python 環(huán)境,逐行輸入以下代碼:
import tensorflow as tf
A = tf.constant([[1, 2], [3, 4]])
B = tf.constant([[5, 6], [7, 8]])
C = tf.matmul(A, B)
print(C)
如果能夠最終輸出:tf.Tensor(
[[19 22]
[43 50]], shape=(2, 2), dtype=int32)
說明 TensorFlow 已安裝成功。運(yùn)行途中可能會(huì)輸出一些 TensorFlow 的提示信息,屬于正常現(xiàn)象。IDE 設(shè)置
對(duì)于機(jī)器學(xué)習(xí)的研究者和從業(yè)者,建議使用 PyCharm 作為 Python 開發(fā)的 IDE。
注:PyCharm 鏈接
http://www.jetbrains.com/pycharm/
在新建項(xiàng)目時(shí),你需要選定項(xiàng)目的 Python Interpreter,也就是用怎樣的 Python 環(huán)境來運(yùn)行你的項(xiàng)目。在安裝部分,你所建立的每個(gè) Conda 虛擬環(huán)境其實(shí)都有一個(gè)自己獨(dú)立的 Python Interpreter,你只需要將它們添加進(jìn)來即可。選擇“Add”,并在接下來的窗口選擇“Existing Environment”,在 Interpreter 處選擇Anaconda安裝目錄/envs/所需要添加的Conda環(huán)境名字/python.exe(Linux下無.exe后綴)并點(diǎn)擊“OK”即可。如果選中了“Make available to all projects”,則在所有項(xiàng)目中都可以選擇該 Python Interpreter。注意,在 Windows 下 Anaconda 的默認(rèn)安裝目錄比較特殊,一般為 C:\Users\用戶名\Anaconda3\,即當(dāng)前 Windows 用戶的用戶目錄下。
對(duì)于 TensorFlow 開發(fā)而言,PyCharm 的 Professonal 版本非常有用的一個(gè)特性是 遠(yuǎn)程調(diào)試 (Remote Debugging)。當(dāng)你編寫程序的終端機(jī)性能有限,但又有一臺(tái)可遠(yuǎn)程ssh訪問的高性能計(jì)算機(jī)(一般具有高性能 GPU)時(shí),遠(yuǎn)程調(diào)試功能可以讓你在終端機(jī)編寫程序的同時(shí),在遠(yuǎn)程計(jì)算機(jī)上調(diào)試和運(yùn)行程序(尤其是訓(xùn)練模型)。你在終端機(jī)上對(duì)代碼和數(shù)據(jù)的修改可以自動(dòng)同步到遠(yuǎn)程機(jī),在實(shí)際使用的過程中如同在遠(yuǎn)程機(jī)上編寫程序一般,與串流游戲有異曲同工之妙。
不過遠(yuǎn)程調(diào)試對(duì)網(wǎng)絡(luò)的穩(wěn)定性要求高,如果需要長(zhǎng)時(shí)間訓(xùn)練模型,建議登錄遠(yuǎn)程機(jī)終端直接訓(xùn)練模型(Linux 下可以結(jié)合nohup命令 ,讓進(jìn)程在后端運(yùn)行,不受終端退出的影響)。遠(yuǎn)程調(diào)試功能的具體配置步驟見 PyCharm 文檔 。
小技巧
如果你是學(xué)生并有 .edu 結(jié)尾的郵箱的話,可以在?這里?申請(qǐng) PyCharm 的免費(fèi) Professional 版本授權(quán)。
注:申請(qǐng)免費(fèi)授權(quán)
http://www.jetbrains.com/student/
對(duì)于 TensorFlow 及深度學(xué)習(xí)的業(yè)余愛好者或者初學(xué)者, Visual Studio Code 或者一些在線的交互式 Python 環(huán)境(比如免費(fèi)的 Google Colab )也是不錯(cuò)的選擇。Colab 的使用方式可參考 附錄 。
注:Visual Studio Code 鏈接
https://code.visualstudio.com/
Google Colab 鏈接
https://colab.research.google.com/
關(guān)于nohup命令 鏈接
https://www.ibm.com/developerworks/cn/linux/l-cn-nohup/
附錄 鏈接
https://tf.wiki/zh/appendix/cloud.html#colab
TensorFlow所需的硬件配置 *
提示
對(duì)于學(xué)習(xí)而言,TensorFlow 的硬件門檻并不高。甚至,借助免費(fèi)或靈活的云端計(jì)算資源,只要你有一臺(tái)能上網(wǎng)的電腦,就能夠熟練掌握 TensorFlow!
在很多人的刻板印象中,TensorFlow 乃至深度學(xué)習(xí)是一件非?!俺杂布钡氖虑?#xff0c;以至于一接觸 TensorFlow,第一件事情可能就是想如何升級(jí)自己的電腦硬件。不過,TensorFlow 所需的硬件配置很大程度是視任務(wù)和使用環(huán)境而定的:
對(duì)于 TensorFlow 初學(xué)者,無需硬件升級(jí)也可以很好地學(xué)習(xí)和掌握 TensorFlow。本手冊(cè)中的大部分教學(xué)示例,大部分當(dāng)前主流的個(gè)人電腦(即使沒有 GPU)均可勝任,無需添置其他硬件設(shè)備。如果自己的個(gè)人電腦難以勝任,可以考慮在云端(例如免費(fèi)的 Colab )進(jìn)行模型訓(xùn)練。
對(duì)于參加數(shù)據(jù)科學(xué)競(jìng)賽(比如 Kaggle)或者經(jīng)常在本機(jī)進(jìn)行訓(xùn)練的個(gè)人愛好者或開發(fā)者,一塊高性能的 NVIDIA GPU 往往是必要的。CUDA 核心數(shù)和顯存大小是決定顯卡機(jī)器學(xué)習(xí)性能的兩個(gè)關(guān)鍵參數(shù),前者決定訓(xùn)練速度,后者決定可以訓(xùn)練多大的模型以及訓(xùn)練時(shí)的最大 Batch Size,對(duì)于較大規(guī)模的訓(xùn)練而言尤其敏感。
對(duì)于前沿的機(jī)器學(xué)習(xí)研究(尤其是計(jì)算機(jī)視覺和自然語言處理領(lǐng)域),多 GPU 并行訓(xùn)練是標(biāo)準(zhǔn)配置。為了快速迭代實(shí)驗(yàn)結(jié)果以及訓(xùn)練更大規(guī)模的模型以提升性能,4 卡、8 卡或更高的 GPU 數(shù)量是常態(tài)。
關(guān)于深度學(xué)習(xí)工作站的具體配置,由于硬件行情更新較快,故不在此列出具體配置,推薦關(guān)注 知乎問題 - 如何配置一臺(tái)適用于深度學(xué)習(xí)的工作站? ,并結(jié)合最新市場(chǎng)情況進(jìn)行配置。
注:知乎問題 - 如何配置一臺(tái)適用于深度學(xué)習(xí)的工作站?
https://www.zhihu.com/question/33996159
福利 | 問答環(huán)節(jié)
我們知道在入門一項(xiàng)新的技術(shù)時(shí)有許多挑戰(zhàn)與困難需要克服,如果您有關(guān)于 TensorFlow 的相關(guān)問題,可在本文后留言,我們的工程師和 GDE 將挑選其中具有代表性的問題在下一期進(jìn)行回答~本文節(jié)選并編譯于在線的開源 TensorFlow 2.0 技術(shù)手冊(cè)《簡(jiǎn)單粗暴 TensorFlow 2.0》?(https://tf.wiki)。
總結(jié)
以上是生活随笔為你收集整理的conda pip安装在哪里_TensorFlow 2.0 安装指南的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: idea 引入oracle驱动并打包_I
- 下一篇: my.ini修改后服务无法启动_Visu