TorchServe - Tiefes Lernen AMI
Stellen Sie ein Bildklassifizierungsmodell bereit auf TorchServe

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

TorchServe

TorchServe ist ein flexibles Tool zur Bereitstellung von Deep-Learning-Modellen, aus PyTorch denen exportiert wurden. TorchServe ist mit Deep Learning AMI mit Conda vorinstalliert.

Weitere Informationen zur Verwendung TorchServe finden Sie in der Dokumentation zu Model Server. PyTorch

Topics

Stellen Sie ein Bildklassifizierungsmodell bereit auf TorchServe

Dieses Tutorial zeigt, wie Sie ein Bildklassifizierungsmodell mit bereitstellen TorchServe. Es verwendet ein DenseNet -161-Modell, das von bereitgestellt wird PyTorch. Sobald der Server läuft, wartet er auf Vorhersageanfragen. Wenn Sie ein Bild hochladen, in diesem Fall das Bild eines Kätzchens, gibt der Server eine Vorhersage der fünf am besten passenden Klassen aus den Klassen zurück, für die das Modell trainiert wurde.

Um ein Beispiel für ein Bildklassifizierungsmodell bereitzustellen TorchServe

  1. Stellen Sie mit Deep Learning AMI mit Conda v34 oder höher eine Connect zu einer Amazon Elastic Compute Cloud (AmazonEC2) -Instance her.

  2. Aktivieren Sie die Umgebungpytorch_p310. 

    source activate pytorch_p310

  3. Klonen Sie das TorchServe Repository und erstellen Sie dann ein Verzeichnis zum Speichern Ihrer Modelle.  

    git clone https://github.com/pytorch/serve.git
mkdir model_store

  4. Archivieren Sie das Modell mit dem Modellarchiver. Der extra-files Parameter verwendet eine Datei aus dem TorchServe Repo. Aktualisieren Sie daher den Pfad, falls erforderlich. Weitere Informationen zum Modellarchiver finden Sie unter Torch Model Archiver for. TorchServe 

    wget https://download.pytorch.org/models/densenet161-8d451a50.pth
torch-model-archiver --model-name densenet161 --version 1.0 --model-file ./serve/examples/image_classifier/densenet_161/model.py --serialized-file densenet161-8d451a50.pth --export-path model_store --extra-files ./serve/examples/image_classifier/index_to_name.json --handler image_classifier

  5. Ausführen TorchServe , um einen Endpunkt zu starten. Durch das > /dev/null Hinzufügen wird die Protokollausgabe gestoppt. 

    torchserve --start --ncs --model-store model_store --models densenet161.mar > /dev/null

  6. Laden Sie ein Bild eines Kätzchens herunter und senden Sie es an den TorchServe Predict-Endpunkt: 

    curl -O https://s3.amazonaws.com/model-server/inputs/kitten.jpg
curl http://127.0.0.1:8080/predictions/densenet161 -T kitten.jpg

    Der Vorhersage-Endpunkt gibt eine Vorhersage zurück, die den folgenden fünf wichtigsten Vorhersagen JSON ähnelt, wobei das Bild mit einer Wahrscheinlichkeit von 47% eine ägyptische Katze enthält, gefolgt von einer Wahrscheinlichkeit von 46%, dass es sich um eine Tabbykatze handelt. 

    {
 "tiger_cat": 0.46933576464653015,
 "tabby": 0.463387668132782,
 "Egyptian_cat": 0.0645613968372345,
 "lynx": 0.0012828196631744504,
 "plastic_bag": 0.00023323058849200606
}

  7. Wenn Sie mit dem Testen fertig sind, beenden Sie den Server: 

    torchserve --stop

Andere Beispiele

TorchServe hat eine Vielzahl von Beispielen, die Sie auf Ihrer DLAMI Instance ausführen können. Sie können sie auf der Seite mit den Beispielen für das TorchServe Projekt-Repository einsehen.

Mehr Informationen

Weitere TorchServe Dokumentation, einschließlich der Einrichtung TorchServe mit Docker und der neuesten TorchServe Funktionen, finden Sie auf GitHubder TorchServe Projektseite unter.