一、概述

Protocol Buffers 是 Google 公司開發(fā)的一種輕便高效的結(jié)構(gòu)化數(shù)據(jù)存儲格式，可以用于結(jié)構(gòu)化數(shù)據(jù)串行化，或者說序列化。它很適合做數(shù)據(jù)存儲或 RPC 數(shù)據(jù)交換格式。可用于通訊協(xié)議、數(shù)據(jù)存儲等領(lǐng)域的語言無關(guān)、平臺無關(guān)、可擴展的序列化結(jié)構(gòu)數(shù)據(jù)格式。

Protocol Buffers 簡稱為 protobuf 或 pb，下面是使用 python 解析 pb。

二、安裝

下載目標語言的編譯器：下載地址

安裝：

$ ./configure $ make $ sudo make install

驗證安裝：protoc --version，顯示當前版本：libprotoc x.x.x
安裝 Python 的 protobuf 庫：pip install protobuf

三、使用

1 編譯 proto 文件

Protobuf 語義清晰，無需類似 XML 解析器的東西（因為 Protobuf 編譯器會將 .proto 文件編譯生成對應(yīng)的數(shù)據(jù)訪問類以對 Protobuf 數(shù)據(jù)進行序列化、反序列化操作）。

protoc --python_out=./ ./文件名.proto

這時會在當前目錄生成一個與文件名同名的目錄，該目錄下會有一個 .py 文件。這個文件會用作模塊、解析規(guī)則去解析 pb 的源數(shù)據(jù)。

2 解析 pb 的數(shù)據(jù)

from test_pb import Test # 從剛才編譯出來的 py 文件中 import 解析的類 message = Test() with open('test.pb', 'rb') as fb:pb_content = fb.read() # 如果文件很大，則要分批讀取# pb_content 是二進制的pb數(shù)據(jù)，如果是文件，則需要用 open 方法讀取數(shù)據(jù)message.ParseFromString(pd_content) print (message)

3 寫入數(shù)據(jù)

from test_pb import Test # 從剛才編譯出來的 py 文件中 import 解析的類 message = Test() message.name = 'hello world' # 賦值 with open('test.pb', 'wb') as fb:# 序列化，寫入文件fb.write(person.SerializeToString())

4 probuf 轉(zhuǎn) dict

當 probuf 的數(shù)據(jù)包含中文時，解析后對于閱讀十分不友好。同時如果想要把 probuf 對象轉(zhuǎn)化成 dict 進行后續(xù)操作的話?？梢栽囋嚨谌綆?#xff1a;protobuf-to-dict，這個庫可以很方便的把 probuf 的數(shù)據(jù)轉(zhuǎn)化成 dict。示例代碼如下：

from protobuf_to_dict import protobuf_to_dict my_message = MyMessage() # pb_my_message is a protobuf string my_message.ParseFromString(pb_my_message) protobuf_to_dict(my_message) # 輸出：{'message': 'Hello'}

5 更多

這篇文章只是使用 python 簡單的解析、序列化。

四、錯誤

google.protobuf.message.DecodeError: Truncated message.：首先要保證 pb source 為二進制的數(shù)據(jù)，否則會出現(xiàn)各種非預(yù)期錯誤

結(jié)尾給大家推薦一個非常好的學習教程，希望對你學習Python有幫助！

Python基礎(chǔ)入門教程推薦：←點擊左邊藍色文字就可以跳轉(zhuǎn)觀看了

Python爬蟲案例教程推薦：←點擊左邊藍色文字就可以跳轉(zhuǎn)觀看了

與50位技術(shù)專家面對面20年技術(shù)見證，附贈技術(shù)全景圖

總結(jié)

以上是生活随笔為你收集整理的使用Python 转化成 PB 格式数据的方法的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。