TorchServe

TorchServe は、 Deep Learning AMI with Conda がプリインストールされた PyTorch. TorchServe comes からエクスポートされた深層学習モデルを提供するための柔軟なツールです。

の使用の詳細については TorchServe、「 ドキュメントのモデルサーバー PyTorch」を参照してください。

トピック

で画像分類モデルを提供する TorchServe

このチュートリアルでは、 を使用して画像分類モデルを提供する方法を示します TorchServe。が提供する DenseNet-161 モデルを使用します PyTorch。サーバーが実行されると、予測リクエストをリッスンします。イメージをアップロードすると (この例では猫の画像)、サーバーはモデルがトレーニングされたクラスから最適な 5 つの一致するクラスの予測を返します。

でサンプル画像分類モデルを提供するには TorchServe

1. Deep Learning AMI with Conda v34 以降の Amazon Elastic Compute Cloud (Amazon EC2) インスタンスに接続します。

2. pytorch_p310 環境をアクティブ化します。

   source activate pytorch_p310

3. TorchServe リポジトリをクローンし、モデルを保存するディレクトリを作成します。 

   git clone https://github.com/pytorch/serve.git
   mkdir model_store    

4. モデルアーカイバを使用してモデルをアーカイブします。extra-files パラメータはTorchServeリポジトリのファイルを使用するため、必要に応じてパスを更新します。モデルアーカイブの詳細については、「 のトークモデルアーカイブ」を参照してください TorchServe。

   wget https://download.pytorch.org/models/densenet161-8d451a50.pth
   torch-model-archiver --model-name densenet161 --version 1.0 --model-file ./serve/examples/image_classifier/densenet_161/model.py --serialized-file densenet161-8d451a50.pth --export-path model_store --extra-files ./serve/examples/image_classifier/index_to_name.json --handler image_classifier

5. TorchServe を実行してエンドポイントを開始します。> /dev/null を追加すると、ログ出力が抑止されます。

   torchserve --start --ncs --model-store model_store --models densenet161.mar > /dev/null

6. 子猫のイメージをダウンロードし、予測エンドポイントに送信します TorchServe。

   curl -O https://s3.amazonaws.com/model-server/inputs/kitten.jpg
   curl http://127.0.0.1:8080/predictions/densenet161 -T kitten.jpg

   予測エンドポイントは次のような上位 5 つの予測に類似する予測を JSON で返します。ここでは、エジプシャンマウが含まれている可能性が 47%、続いてトラネコが含まれている可能性が 46% となっています。

   {
    "tiger_cat": 0.46933576464653015,
    "tabby": 0.463387668132782,
    "Egyptian_cat": 0.0645613968372345,
    "lynx": 0.0012828196631744504,
    "plastic_bag": 0.00023323058849200606
   }

7. テストが完了したら、以下のようにサーバーを停止します。

   torchserve --stop

その他の例

TorchServe には、DLAMI インスタンスで実行できるさまざまな例があります。プロジェクト TorchServeリポジトリの例のページ で表示できます。

詳細情報

Docker のセットアップ方法 TorchServeや最新の TorchServe 機能など、詳細な TorchServe ドキュメントについては、「」の「 TorchServe プロジェクトページ」を参照してください GitHub。