Python pickle模块和joblib模块浅析
在Python中,如果希望透明地存儲(chǔ)對(duì)象,而不丟失其身份和類型等信息,則需要某種形式的對(duì)象序列化,這是一個(gè)將任意復(fù)雜的對(duì)象轉(zhuǎn)成對(duì)象的文本和二進(jìn)制表示的過(guò)程。同樣,必須能夠?qū)?duì)象經(jīng)過(guò)序列化后的形式恢復(fù)到原來(lái)的對(duì)象。這種序列化的過(guò)程稱為pickle,可以將對(duì)象pickle成字符串、磁盤上的文件或者任何類似于文件的對(duì)象;反序列化的過(guò)程就是將這些字符串、文件或任何類似于文件的對(duì)象unpickle成原來(lái)的對(duì)象。
pickle接口
pickle模塊提供了以下函數(shù)對(duì):dumps(object)返回一個(gè)字符串,它包含了一個(gè)pickle格式的對(duì)象;loads(string)返回包含在pickle字符串中的對(duì)象;dump(object,file)將對(duì)象寫(xiě)到文件,這個(gè)文件可以是實(shí)際的物理文件,也可以是類似于文件的對(duì)象,這個(gè)對(duì)象具有write()方法,可以接受單個(gè)的字符串參數(shù);load(file)返回包含在pickle文件中對(duì)象。
缺省情況下,dumps()和dump()使用可打印的ASCII表示來(lái)創(chuàng)建pickle。兩者都有一個(gè)final參數(shù),這個(gè)參數(shù)是可選的,若這個(gè)參數(shù)為True,則該參數(shù)指定用更快更小的二進(jìn)制表示來(lái)創(chuàng)建pickle。loads()和load()則會(huì)自動(dòng)檢測(cè)pickle是二進(jìn)制格式還是文本格式。在實(shí)際使用復(fù)雜對(duì)象的系統(tǒng)中,使用二進(jìn)制格式可以在大小和速度方面帶來(lái)顯著的改進(jìn)。
下面看一個(gè)對(duì)象保存為一個(gè)字符串的例子:
>>> import pickle >>> a1 = ("pickle",123,[4,5,6],{'A':1,'B':2}) >>> p1 = pickle.dumps(a1) >>> a2 = pickle.loads(p1)如果用更高效 的二進(jìn)制來(lái)存儲(chǔ):
>>> import pickle >>> a1 = ("pickle",123,[4,5,6],{'A':1,'B':2}) >>> p1 = pickle.dumps(a1,True) >>> a2 = pickle.loads(p1)也可以將對(duì)象保存在磁盤文件中:
>>> import pickle >>> a1 = ("pickle",123,[4,5,6],{'A':1,'B':2}) >>> with open('text.txt','wb') as file: >>> pickle.dump(a,file) >>> with open('text.txt','rb') as file2: >>> a2 = pickle.load(file2)cPickle
值得一提的是,pickle 模塊及其同類模塊 cPickle 向 Python 提供了 pickle 支持。后者是用 C 編碼的,它具有更好的性能,對(duì)于大多數(shù)應(yīng)用程序,推薦使用該模塊。
joblib
這里補(bǔ)充說(shuō)一下joblib庫(kù),這個(gè)庫(kù)是由scikit-learn外帶的,scikit-learn庫(kù)是機(jī)器學(xué)習(xí)的一個(gè)庫(kù),研究機(jī)器學(xué)習(xí)的童鞋都知道。引入joblib庫(kù)也很簡(jiǎn)單,前提是安裝了scikit-learn庫(kù):
>>> import sklearn >>> from sklearn.externals import joblib對(duì)于大數(shù)據(jù)而言,joblib比pickle更加高效,但是joblib只能將對(duì)象存儲(chǔ)在磁盤文件中,不能保存為字符串。
參考文獻(xiàn)(該參考文獻(xiàn)中博主講的非常透徹):
http://www.cnblogs.com/cobbliu/archive/2012/09/04/2670178.html
總結(jié)
以上是生活随笔為你收集整理的Python pickle模块和joblib模块浅析的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: 电脑前的护眼窍门
- 下一篇: RedMonk 2020 年 Q3 编程