Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
TorchServe
TorchServe ist ein flexibles Tool zur Bereitstellung von Deep-Learning-Modellen, aus PyTorch denen exportiert wurden. TorchServe ist mit Deep Learning AMI mit Conda vorinstalliert.
Weitere Informationen zur Verwendung TorchServe finden Sie in der Dokumentation zu Model Server
Topics
Stellen Sie ein Bildklassifizierungsmodell bereit auf TorchServe
Dieses Tutorial zeigt, wie Sie ein Bildklassifizierungsmodell mit bereitstellen TorchServe. Es verwendet ein DenseNet -161-Modell, das von bereitgestellt wird PyTorch. Sobald der Server läuft, wartet er auf Vorhersageanfragen. Wenn Sie ein Bild hochladen, in diesem Fall das Bild eines Kätzchens, gibt der Server eine Vorhersage der fünf am besten passenden Klassen aus den Klassen zurück, für die das Modell trainiert wurde.
Um ein Beispiel für ein Bildklassifizierungsmodell bereitzustellen TorchServe
-
Stellen Sie mit Deep Learning AMI mit Conda v34 oder höher eine Connect zu einer Amazon Elastic Compute Cloud (AmazonEC2) -Instance her.
-
Aktivieren Sie die Umgebung
pytorch_p310
.source activate pytorch_p310
-
Klonen Sie das TorchServe Repository und erstellen Sie dann ein Verzeichnis zum Speichern Ihrer Modelle.
git clone https://github.com/pytorch/serve.git mkdir model_store
-
Archivieren Sie das Modell mit dem Modellarchiver. Der
extra-files
Parameter verwendet eine Datei aus demTorchServe
Repo. Aktualisieren Sie daher den Pfad, falls erforderlich. Weitere Informationen zum Modellarchiver finden Sie unter Torch ModelArchiver for. TorchServe wget https://download.pytorch.org/models/densenet161-8d451a50.pth torch-model-archiver --model-name densenet161 --version 1.0 --model-file ./serve/examples/image_classifier/densenet_161/model.py --serialized-file densenet161-8d451a50.pth --export-path model_store --extra-files ./serve/examples/image_classifier/index_to_name.json --handler image_classifier
-
Ausführen TorchServe , um einen Endpunkt zu starten. Durch das
> /dev/null
Hinzufügen wird die Protokollausgabe gestoppt.torchserve --start --ncs --model-store model_store --models densenet161.mar > /dev/null
-
Laden Sie ein Bild eines Kätzchens herunter und senden Sie es an den TorchServe Predict-Endpunkt:
curl -O https://s3.amazonaws.com/model-server/inputs/kitten.jpg curl http://127.0.0.1:8080/predictions/densenet161 -T kitten.jpg
Der Vorhersage-Endpunkt gibt eine Vorhersage zurück, die den folgenden fünf wichtigsten Vorhersagen JSON ähnelt, wobei das Bild mit einer Wahrscheinlichkeit von 47% eine ägyptische Katze enthält, gefolgt von einer Wahrscheinlichkeit von 46%, dass es sich um eine Tabbykatze handelt.
{ "tiger_cat": 0.46933576464653015, "tabby": 0.463387668132782, "Egyptian_cat": 0.0645613968372345, "lynx": 0.0012828196631744504, "plastic_bag": 0.00023323058849200606 }
-
Wenn Sie mit dem Testen fertig sind, beenden Sie den Server:
torchserve --stop
Andere Beispiele
TorchServe hat eine Vielzahl von Beispielen, die Sie auf Ihrer DLAMI Instance ausführen können. Sie können sie auf der Seite mit den Beispielen für das TorchServe Projekt-Repository
Mehr Informationen
Weitere TorchServe Dokumentation, einschließlich der Einrichtung TorchServe mit Docker und der neuesten TorchServe Funktionen, finden Sie auf GitHubder TorchServe Projektseite