用训练好的paddlepaddle模型继续训练模型和验证数据ckpt
生活随笔
收集整理的這篇文章主要介紹了
用训练好的paddlepaddle模型继续训练模型和验证数据ckpt
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
# 模型加載
model = hub.Module(name='ernie', task='seq-cls', num_classes=14)
tokenizer = model.get_tokenizer()# 實例化數據集
train_dataset = ThuNews(tokenizer, mode='train')
dev_dataset = ThuNews(tokenizer, mode='dev')# 模型訓練
optimizer = paddle.optimizer.Adam(learning_rate=5e-5, parameters=model.parameters())
trainer = hub.Trainer(model, optimizer, checkpoint_dir='ckpt', use_gpu=False)
trainer.train(train_dataset, epochs=3, batch_size=32, eval_dataset=dev_dataset, save_interval=1)# 預測
data = [# 房產["昌平京基鷺府10月29日推別墅1200萬套起享97折 新浪房產訊(編輯郭彪)京基鷺府(論壇相冊戶型樣板間點評地圖搜索)售樓處位于昌平區京承高速北七家出口向西南公里路南。項目預計10月29日開盤,總價1200萬元/套起,2012年年底入住。待售戶型為聯排戶型面積為410-522平方米,獨棟戶型面積為938平方米,雙拼戶型面積為522平方米。 京基鷺府項目位于昌平定泗路與東北路交界處。項目周邊配套齊全,幼兒園:伊頓雙語幼兒園、溫莎雙語幼兒園;中學:北師大亞太實驗學校、潞河中學(北京市重點);大學:王府語言學校、北京郵電大學、現代音樂學院;醫院:王府中西醫結合醫院(三級甲等)、潞河醫院、解放軍263醫院、安貞醫院昌平分院;購物:龍德廣場、中聯萬家商廈、世紀華聯超市、瑰寶購物中心、家樂福超市;酒店:拉斐特城堡、鮑魚島;休閑娛樂設施:九華山莊、溫都溫泉度假村、小湯山療養院、龍脈溫泉度假村、小湯山文化廣場、皇港高爾夫、高地高爾夫、北鴻高爾夫球場;銀行:工商銀行、建設銀行、中國銀行、北京農村商業銀行;郵局:中國郵政儲蓄;其它:北七家建材城、百安居建材超市、北七家鎮武裝部、北京宏翔鴻企業孵化基地等,享受便捷生活。"],# 游戲["盡管官方到今天也沒有公布《使命召喚:現代戰爭2》的游戲詳情,但《使命召喚:現代戰爭2》首部包含游戲畫面的影片終于現身。雖然影片僅有短短不到20秒,但影片最后承諾大家將于美國時間5月24日NBA職業籃球東區決賽時將會揭露更多的游戲內容。 這部只有18秒的廣告片閃現了9個鏡頭,能夠辨識的場景有直升機飛向海島軍事工事,有飛機場爭奪戰,有潛艇和水下工兵,有冰上乘具,以及其他的一些鏡頭。整體來看《現代戰爭2》很大可能仍舊與俄羅斯有關。 片尾有一則預告:“May24th,EasternConferenceFinals”,這是什么?這是說當前美國NBA聯賽東部總決賽的日期。原來這部視頻是NBA季后賽奧蘭多魔術對波士頓凱爾特人隊時,TNT電視臺播放的廣告。"],# 體育["羅馬鋒王竟公然挑戰兩大旗幟拉涅利的球隊到底錯在哪 記者張愷報道主場一球小勝副班長巴里無可吹捧,羅馬占優也純屬正常,倒是托蒂罰失點球和前兩號門將先后受傷(多尼以三號身份出場)更讓人揪心。陣容規模擴大,反而表現不如上賽季,缺乏一流強隊的色彩,這是所有球迷對羅馬的印象。 拉涅利說:“去年我們帶著嫉妒之心看國米,今年我們也有了和國米同等的超級陣容,許多教練都想有羅馬的球員。陣容廣了,尋找隊內平衡就難了,某些時段球員的互相排斥和跟從前相比的落差都正常。有好的一面,也有不好的一面,所幸,我們一直在說一支偉大的羅馬,必勝的信念和夠級別的陣容,我們有了。”拉涅利的總結由近一階段困擾羅馬的隊內摩擦、個別球員鬧意見要走人而發,本賽季技術層面強化的羅馬一直沒有上賽季反撲的面貌,內部變化值得球迷關注。"],# 教育["新總督致力提高加拿大公立教育質量 滑鐵盧大學校長約翰斯頓先生于10月1日擔任加拿大總督職務。約翰斯頓先生還曾任麥吉爾大學長,并曾在多倫多大學、女王大學和西安大略大學擔任教學職位。 約翰斯頓先生在就職演說中表示,要將加拿大建設成為一個“聰明與關愛的國度”。為實現這一目標,他提出三個支柱:支持并關愛家庭、兒童;鼓勵學習與創造;提倡慈善和志愿者精神。他尤其強調要關愛并尊重教師,并通過公立教育使每個人的才智得到充分發展。"]
]label_list=['體育', '科技', '社會', '娛樂', '股票', '房產', '教育', '時政', '財經', '星座', '游戲', '家居', '彩票', '時尚']
label_map = { idx: label_text for idx, label_text in enumerate(label_list)
}model = hub.Module(name='ernie',task='seq-cls',load_checkpoint='./ckpt/best_model/model.pdparams',label_map=label_map)
results = model.predict(data, max_seq_len=128, batch_size=1, use_gpu=True)
for idx, text in enumerate(data):print('Data: {} \t Lable: {}'.format(text[0], results[idx]))
提示:已經將模型保存在ckpt文件夾下,否則需要自己訓練一個新的模型
總結
以上是生活随笔為你收集整理的用训练好的paddlepaddle模型继续训练模型和验证数据ckpt的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 一文详解深度学习在命名实体识别(NER)
- 下一篇: 征文通知 | 2018年全国知识图谱与语