TensorFlow 服务

TensorFlow S@@ er ving 是一款适用于机器学习模型的灵活、高性能的服务系统。

预装了带有 Con tensorflow-serving-api da 的深AMI度学习！您将找到用于训练、导出和提供MNIST模型的示例脚本~/examples/tensorflow-serving/。

要运行这些示例中的任何一个，请先使用 Conda 连接到您的深AMI度学习并激活 TensorFlow 环境。


$ source activate tensorflow2_p310

现在，将目录更改至服务示例脚本文件夹。


$ cd ~/examples/tensorflow-serving/

处理预训练的 Inception 模型

以下是您可尝试为不同的模型（如 Inception）提供服务的示例。通常，您需要已将可服务模型和客户端脚本下载到您DLAMI的。

使用 Inception 模型处理和测试推理

下载该模型。


$ curl -O https://s3-us-west-2.amazonaws.com/tf-test-models/INCEPTION.zip

解压缩模型。
```
$ unzip INCEPTION.zip
```

下载一张哈士奇的照片。


$ curl -O https://upload.wikimedia.org/wikipedia/commons/b/b5/Siberian_Husky_bi-eyed_Flickr.jpg

启动服务器。请注意，对于 Amazon Linux，您必须将用于 model_base_path 的目录从 /home/ubuntu 更改为 /home/ec2-user。


$ tensorflow_model_server --model_name=INCEPTION --model_base_path=/home/ubuntu/examples/tensorflow-serving/INCEPTION/INCEPTION --port=9000

对于在前台运行的服务器，您需要启动另一个终端会话才能继续。打开一个新的终端并 TensorFlow 使用激活source activate tensorflow2_p310。然后，使用您的首选文本编辑器创建具有以下内容的脚本。将它命名为 inception_client.py。此脚本将映像文件名用作参数，并从预训练模型中获得预测结果。


from __future__ import print_function

import grpc
import tensorflow as tf
import argparse

from tensorflow_serving.apis import predict_pb2
from tensorflow_serving.apis import prediction_service_pb2_grpc

parser = argparse.ArgumentParser(
    description='TF Serving Test',
    formatter_class=argparse.ArgumentDefaultsHelpFormatter
)
parser.add_argument('--server_address', default='localhost:9000',
                    help='Tenforflow Model Server Address')
parser.add_argument('--image', default='Siberian_Husky_bi-eyed_Flickr.jpg',
                    help='Path to the image')
args = parser.parse_args()


def main():
  channel = grpc.insecure_channel(args.server_address)
  stub = prediction_service_pb2_grpc.PredictionServiceStub(channel)
  # Send request
  with open(args.image, 'rb') as f:
    # See prediction_service.proto for gRPC request/response details.
    request = predict_pb2.PredictRequest()
    request.model_spec.name = 'INCEPTION'
    request.model_spec.signature_name = 'predict_images'

    input_name = 'images'
    input_shape = [1]
    input_data = f.read()
    request.inputs[input_name].CopyFrom(
      tf.make_tensor_proto(input_data, shape=input_shape))

    result = stub.Predict(request, 10.0)  # 10 secs timeout
    print(result)

  print("Inception Client Passed")


if __name__ == '__main__':
  main()

现在，运行将服务器位置和端口以及哈士奇照片的文件名作为参数传递的脚本。
```
$ python3 inception_client.py --server=localhost:9000 --image Siberian_Husky_bi-eyed_Flickr.jpg
```

训练和服务MNIST模特

对于本教程，我们将导出模型并随后通过 tensorflow_model_server 应用程序处理它。最后，您可以使用示例客户端脚本测试模型服务器。

运行将训练和导出MNIST模型的脚本。作为脚本的唯一参数，您需要为其提供一个文件夹位置以保存该模型。现在，我们可以把它放入 mnist_model 中。该脚本将会为您创建此文件夹。


$ python mnist_saved_model.py /tmp/mnist_model

请耐心等待，因为此脚本可能需要一段时间才能提供输出。当训练完成并最终导出模型后，您应该看到以下内容：


Done training!
Exporting trained model to mnist_model/1
Done exporting!

下一步是运行 tensorflow_model_server 以处理导出的模型。


$ tensorflow_model_server --port=9000 --model_name=mnist --model_base_path=/tmp/mnist_model

为您提供了一个客户端脚本来测试服务器。

要对其进行测试，您将需要打开一个新的终端窗口。


$ python mnist_client.py --num_tests=1000 --server=localhost:9000

TensorFlow 服务

处理预训练的 Inception 模型

使用 Inception 模型处理和测试推理

训练和服务MNIST模特

更多功能和示例