2019獨角獸企業重金招聘Python工程師標準>>>

作者：Mao Chan
BitTiger尊重原創版權，轉載已經過作者授權。
?

2016年，機器學習在 Alpha Go 與李世石的世紀之戰后變得更加炙手可熱。Google也在今年推出了 TensorFlow Serving 又加了一把火。

TensorFlow Serving 是一個用于機器學習模型 serving 的高性能開源庫。它可以將訓練好的機器學習模型部署到線上，使用 gRPC 作為接口接受外部調用。更加讓人眼前一亮的是，它支持模型熱更新與自動模型版本管理。這意味著一旦部署 TensorFlow Serving 后，你再也不需要為線上服務操心，只需要關心你的線下模型訓練。

今天我就帶大家來用 TensorFlow Serving 部署一個簡單的 Linear Regression 模型。

以下演示運行在 Ubuntu 16.04 LTS 之上。

TensorFlow Serving 處于快速迭代期。如果本文內容與官方文檔矛盾，請以官方文檔為參考。

環境

TensorFlow Serving 目前依賴 Google 的開源編譯工具?Bazel。Bazel 是 Google 內部編譯工具 Blaze 的開源版本，功能與性能基本一致。具體的安裝可以參考官方文檔。此外還需要安裝?gRPC?(Google 又一個內部工具的開源版)。

之后請參考官方安裝指南完成。值得注意的是，最后的 bazel build 將會需要大約30分鐘時間并占用約5-10G的空間（時間取決于機器性能）。配合使用 -c opt 能一定程度加快 build。

模型訓練

接下來我們用 TensorFlow 寫一個簡單的測試用 Linear Regression 模型。數據的話我就使用正弦函數生成 1000 個點，嘗試用一條直線去擬合。

樣本數據生成如下：

# Generate input data x_data = np.arange(100, step=.1) y_data = x_data + 20 * np.sin(x_data / 10)# Reshape data x_data = np.reshape(x_data, (n_samples, 1)) y_data = np.reshape(y_data, (n_samples, 1))

然后用一個簡單的 y = wx + b 來做一個訓練，使用 Adam 算法。簡單調整了下參數：

sample = 1000, learning_rate = 0.01, batch_size = 100, n_steps = 500

# Placeholders for batched input x = tf.placeholder(tf.float32, shape=(batch_size, 1)) y = tf.placeholder(tf.float32, shape=(batch_size, 1))# Do training with tf.variable_scope('test'):w = tf.get_variable('weights', (1, 1), initializer=tf.random_normal_initializer())b = tf.get_variable('bias', (1,), initializer=tf.constant_initializer(0))y_pred = tf.matmul(x, w) + bloss = tf.reduce_sum((y - y_pred) ** 2 / n_samples)opt = tf.train.AdamOptimizer(learning_rate=learning_rate).minimize(loss)with tf.Session() as sess:sess.run(tf.initialize_all_variables())for _ in range(n_steps):indices = np.random.choice(n_samples, batch_size)x_batch = x_data[indices]y_batch = y_data[indices]_, loss_val = sess.run([opt, loss], feed_dict={x:x_batch, y:y_batch})print w.eval()print b.eval()print loss_val

大致把 loss 收斂在 15.8 左右。精度應該足夠了，畢竟只是一個簡單的測試用模型。

模型導出

接下來的就是本文的重點：導出模型。

tf.train.Saver

用于保存和恢復Variable。它可以非常方便的保存當前模型的變量或者倒入之前訓練好的變量。一個最簡單的運用：

saver - tf.train.Saver() # Save the variables to disk. saver.save(sess, "/tmp/test.ckpt") # Restore variables from disk. saver.restore(sess, "/tmp/test.ckpt")

tf.contrib.session_bundle.exporter.Exporter

導出模型還需要這個 Exporter 的協助。令人尷尬的是這個 Exporter 太新了，還沒有 API 文檔支持，只能參考 Github 的代碼實現。

Exporter 的基本使用方式是

傳入 saver 構造一個實例

調用?init?定義模型的 graph 和 input/output

使用 export 導出為文件

model_exporter = exporter.Exporter(saver) model_exporter.init(sess.graph.as_graph_def(),named_graph_signatures={'inputs': exporter.generic_signature({'x': x}),'outputs': exporter.generic_signature({'y': y_pred})}) model_exporter.export(FLAGS.work_dir, tf.constant(FLAGS.export_version),sess)

大功告成！編譯！我們成功導出了一個可以部署在 TensorFlow Serving 上的模型。它接受一個 x 值然后返回一個 y 值。導出的文件夾以 version 命名，包含用于部署的 meta 文件, 模型 checkpoint 文件和序列化的模型 graph：

/tmp/test/00000001 checkpoint export-00000-of-00001 export.meta

模型部署

部署的方式非常簡單，只需要以下兩步：

$ bazel build //tensorflow_serving/model_servers:tensorflow_model_server $ bazel-bin/tensorflow_serving/model_servers/tensorflow_model_server --port=9000 --model_name=test --model_base_path=/tmp/test/

我們看到 TensorFlow Serving 成功加載了我們剛剛導出的 model。并且還在不斷嘗試 poll 新的 model：

客戶端

接下來我們寫一個簡單的 Client 來調用下我們部署好的 Model。這里我們需要用到 TensorFlow Serving 的 Predict API 和 gRPC 的 implementations.insecure_channel 來construct 一個 request。特別要注意的是 input 的 signature 和數據必須和之前 export 的模型匹配。本例中為 名稱為 x， float32類型，大小為 [100, 1] 的 Tensor。

from grpc.beta import implementations import numpy as np import tensorflow as tffrom tensorflow_serving.apis import predict_pb2 from tensorflow_serving.apis import prediction_service_pb2tf.app.flags.DEFINE_string('server', 'localhost:9000','PredictionService host:port') FLAGS = tf.app.flags.FLAGSn_samples = 100host, port = FLAGS.server.split(':') channel = implementations.insecure_channel(host, int(port)) stub = prediction_service_pb2.beta_create_PredictionService_stub(channel)# Generate test data x_data = np.arange(n_samples, step=1, dtype=np.float32) x_data = np.reshape(x_data, (n_samples, 1))# Send request request = predict_pb2.PredictRequest() request.model_spec.name = 'test'request.inputs['x'].CopyFrom(tf.contrib.util.make_tensor_proto(x_data, shape=[100, 1])) result = stub.Predict(request, 10.0) # 10 secs timeout

別忘了配置一下 bazel 的 BUILD 文件：

py_binary(name = "test_client",srcs = ["test_client.py",],deps = ["//tensorflow_serving/apis:predict_proto_py_pb2","//tensorflow_serving/apis:prediction_service_proto_py_pb2","@org_tensorflow//tensorflow:tensorflow_py",], )

最后編譯運行，就能看到在線預測結果啦！

bazel build //tensorflow_serving/test:test_client && ./bazel-bin/tensorflow_serving/test/test_client

延伸

TensorFlow 封裝了眾多常用模型成為?Estimator，幫助用戶避免了冗長易錯的算法實現部分。比如以上的例子就可以完全用 LinearRegressor 來替換。只需要幾行代碼簡單地調用 fit() 函數就能輕松得到收斂的模型。唯一不足的是目前與 TensorFlow Serving 還不能 100% 兼容。雖然 Google 還在全力完善 TensorFlow Serving，但是距離完善還需要一定的時間。

如果既想要使用方便快捷的的 Estimator ，又想線上部署呢？當然也是有辦法的，筆者鉆研了一下后，實現了一個用 Estimator 訓練數據，導出模型后再部署上線的方法。最后用這個線上部署的模型實現一個在線評估房屋價值的系統。

?

設立于硅谷，專注于編程、數據分析、UIUX設計的在線學習平臺：BitTiger。

轉載于:https://my.oschina.net/u/2997036/blog/779508

總結

以上是生活随笔為你收集整理的TensorFlow Serving 尝尝鲜的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。