https://www.zhongxiaoping.cn/2018/12/01/%E4%BD%BF%E7%94%A8colab%E5%B9%B3%E5%8F%B0%E8%BF%9B%E8%A1%8C%E8%AE%AD%E7%BB%83/

本文主要是講述模型在借組谷歌硬盤(pán)使用colab實(shí)現(xiàn)后臺(tái)運(yùn)行,該平臺(tái)運(yùn)行速度能讓人接受,并且操作也較為便捷.

• 一.簡(jiǎn)介
• 二.準(zhǔn)備工作:
• 三.安裝必要的包和軟件
• 四.掛載Drive
• 五.更改工作目錄
• 六.運(yùn)行
• 七.總結(jié)
• 八.參考文獻(xiàn)

?

?

一.簡(jiǎn)介

　　Google Colab 提供免費(fèi)的 Jupyter 筆記本環(huán)境，不需要進(jìn)行任何設(shè)置就可以使用，并且完全在云端運(yùn)行，其默認(rèn)的后臺(tái)深度學(xué)習(xí)框架是TensorFlow, 除此之外，你也可以在上面安裝并使用Keras、PyTorch、OpenCV等等流行的深度學(xué)習(xí)庫(kù)來(lái)．
可以把Colab看成是一臺(tái)帶有GPU的Ubuntu虛擬機(jī)，只不過(guò)我們只能用命令行的方式操作它。你可以選擇執(zhí)行系統(tǒng)命令，亦或是直接編寫(xiě)運(yùn)行python代碼。（速度也是能讓人接受,不會(huì)太慢,比本身用筆記本慢些,關(guān)鍵離線）
Colab最多連續(xù)使用12小時(shí)，超過(guò)時(shí)間系統(tǒng)會(huì)強(qiáng)制掐斷正在運(yùn)行的程序并收回占用的虛擬機(jī)。（好像再次連接到虛擬機(jī)后，虛擬機(jī)是被清空的狀態(tài)，需要重新配置和安裝庫(kù)等等），下面這幾步在每次啟動(dòng)的時(shí)候都要進(jìn)行(右上角顯示連接的時(shí)候),比較麻煩,免費(fèi)的才是最貴的.,如圖:
需要重連的時(shí)候

二.準(zhǔn)備工作:

1
2
3
4
5

1.谷歌賬號(hào);
2.在谷歌硬盤(pán)當(dāng)中興建文件夾,本次命名為BERT;
3.之后上傳代碼文件(預(yù)訓(xùn)練模型文件看情況是否上傳,清空output文件夾--模型文件太大);
4.修改-->筆記本設(shè)置:硬件加速器改為GPU
5.點(diǎn)擊右上部分的連接按鈕,鏈接即可

三.安裝必要的包和軟件

1
2
3
4
5
6
7
8
9
10
11
12

!apt-get install -y -qq software-properties-common python-software-properties module-init-tools
!add-apt-repository -y ppa:alessandro-strada/ppa 2>&1 > /dev/null
!apt-get update -qq 2>&1 > /dev/null
!apt-get -y install -qq google-drive-ocamlfuse fuse
from google.colab import auth
auth.authenticate_user()
from oauth2client.client import GoogleCredentials
creds = GoogleCredentials.get_application_default()
import getpass
!google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret} < /dev/null 2>&1 | grep URL
vcode = getpass.getpass()
!echo {vcode} | google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret}

　　如果出現(xiàn):E: Package 'python-software-properties' has no installation candidate直接按回車(chē)即可(多次),如果運(yùn)行中出現(xiàn)網(wǎng)址會(huì)提示輸入驗(yàn)證碼，點(diǎn)擊程序給出的網(wǎng)址進(jìn)行驗(yàn)證得到驗(yàn)證碼,復(fù)制粘貼即可。

四.掛載Drive

　　其實(shí)完成前面的操作我們就可以在Colab中敲寫(xiě)代碼或者輸入一些系統(tǒng)命令了（linux下的一些基本命令），但是我們現(xiàn)在連接的虛擬機(jī)是和Google Drive脫離的，也就是說(shuō)我們跑的程序無(wú)法使用谷歌云盤(pán)里的文件，這就非常受限制了。所以我們一般需要將谷歌云盤(pán)看作是虛擬機(jī)中的一個(gè)硬盤(pán)掛載，這樣我們就可以使用虛擬機(jī)輕松訪問(wèn)谷歌云盤(pán)。
(1)清空上次緩存:

1
2

!mkdir -p drive
!google-drive-ocamlfuse drive

?

(2)或者保留上次緩存

1
2

!mkdir -p drive
!google-drive-ocamlfuse drive  -o nonempty

?

　　掛載完Google Drive，會(huì)在虛擬機(jī)里生成一個(gè)drive文件夾，直接將Google Drive當(dāng)成是一塊硬盤(pán)即可。訪問(wèn)drive文件夾里的文件，就是在訪問(wèn)你的Google Drive里的文件。

五.更改工作目錄

　　Colab中cd命令是無(wú)效的，切換工作目錄使用chdir函數(shù)。

1
2

import os
os.chdir('drive/BERT')

?

　　執(zhí)行以上代碼，當(dāng)前工作目錄會(huì)進(jìn)入到drive文件夾下的BERT文件夾下。我們?cè)偈褂?ls命令會(huì)發(fā)現(xiàn)系統(tǒng)輸出的是drive文件夾下的目錄。
　　回到上級(jí)目錄：os.chdir(‘../‘)

六.運(yùn)行

1
2
3
4
5
6
7
8
9
10
11
12
13

!python run_classifier.py \
	--task_name=vega \
    --do_train=true \
 --do_eval=true \
 --data_dir=data \
 --vocab_file=gs://cloud-tpu-checkpoints/bert/uncased_L-24_H-1024_A-16/vocab.txt \
 --bert_config_file=gs://cloud-tpu-checkpoints/bert/uncased_L-24_H-1024_A-16/bert_config.json \
 --init_checkpoint=gs://cloud-tpu-checkpoints/bert/uncased_L-24_H-1024_A-16/bert_model.ckpt \
 --max_seq_length=16 \
 --train_batch_size=32 \
 --learning_rate=2e-5 \
 --num_train_epochs=8.0 \
 --output_dir=output \

結(jié)果為:
colab上的測(cè)試結(jié)果

七.總結(jié)

　　（１）最好在本地編輯好,在本地能夠運(yùn)行在提交到云平臺(tái)當(dāng)中,要不然修改麻煩.并且效率低；
　　（２）云平臺(tái)上熱啟動(dòng)有時(shí)候可能會(huì)報(bào)錯(cuò)，這個(gè)要注意；
　　（３）如果出現(xiàn)不能保存模型結(jié)果,或者其他異常問(wèn)題，最安全的方法就是刪除對(duì)應(yīng)colab對(duì)應(yīng)的文件(以.ipynb為結(jié)尾的)之后重新安裝,最后實(shí)在不行的話,全部代碼和.ipynb全部刪除,再次建立。因?yàn)橐粋€(gè)colab對(duì)應(yīng)的.pynib就相當(dāng)于是個(gè)linux的虛擬機(jī)環(huán)境

八.參考文獻(xiàn)

　　?Google免費(fèi)GPU使用教程
　　?Google Colab——用谷歌免費(fèi)GPU跑你的深度學(xué)習(xí)代碼
　　?使用Google免費(fèi)GPU進(jìn)行BERT模型fine-tuning
　　?colab中文版

總結(jié)

以上是生活随笔為你收集整理的使用colab平台进行训练的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。