Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Hostmodelle zusammen mit Vorverarbeitungslogik als serielle Inferenzpipeline hinter einem Endpunkt
Eine Inferenzpipeline ist ein SageMaker Amazon-Modell, das aus einer linearen Abfolge von zwei bis fünfzehn Containern besteht, die Anfragen nach Inferenzen auf Daten verarbeiten. Inferenz-Pipelines ermöglichen die Definition und Bereitstellung beliebiger Kombinationen aus vorgeschulten, in SageMaker integrierten Algorithmen sowie eigenen benutzerdefinierten Algorithmen, die in Docker-Container gepackt sind. Sie können eine Inferenz-Pipeline verwenden, um Vorverarbeitungs-, Prognose- und Post-Processing-Data Science-Aufgaben zu kombinieren. Inferenz-Pipelines sind vollständig verwaltet.
Sie können SageMaker Spark ML Serving- und Scikit-Learn-Container hinzufügen, die die für Trainingsmodelle entwickelten Datentransformatoren wiederverwenden. Die gesamte zusammengestellte Inferenzpipeline kann als SageMaker Modell betrachtet werden, mit dem Sie entweder Vorhersagen in Echtzeit treffen oder Batchtransformationen direkt ohne externe Vorverarbeitung verarbeiten können.
SageMaker Behandelt Aufrufe innerhalb eines Inferenz-Pipeline-Modells als eine Abfolge von HTTP-Anfragen. Der erste Container in der Pipeline verarbeitet die erste Anfrage, dann wird die Zwischenantwort als Anfrage an den zweiten Container usw. für jeden Container in der Pipeline gesendet. SageMaker gibt die endgültige Antwort an den Client zurück.
Wenn Sie das Pipeline-Modell bereitstellen, werden auf der einzelnen Amazon Elastic Compute Cloud (Amazon EC2) -Instances SageMaker installiert und ausgeführt. Die Merkmalverarbeitung und Inferenzen geschehen mit geringer Latenz, da sich die Container auf denselben EC2-Instances befinden. Sie definieren die Container für ein Pipeline-Modell mithilfe der CreateModel-Operation oder über die Konsole. Anstatt einen PrimaryContainer festzulegen, verwenden Sie den Containers-Parameter, um die Container einzurichten, aus denen die Pipeline besteht. Dazu geben Sie die Reihenfolge an, in der die Container ausgeführt werden.
Ein Pipeline-Modell ist unveränderbar, aber Sie können eine Inferenz-Pipeline aktualisieren, indem Sie mit der UpdateEndpoint-Operation eine neue bereitstellen. Diese Modularität unterstützt eine größere Flexibilität beim Experimentieren.
Informationen zum Erstellen einer Inferenzpipeline mit der SageMaker Modellregistrierung finden Sie unterModelle mit Model Registry registrieren und bereitstellen.
Für diese Funktion fallen keine zusätzlichen Gebühren an. Sie zahlen nur für die Instances, die auf einem Endpunkt ausgeführt werden.
Themen
- Beispiel-Notebooks für Inferenz-Pipelines
- Funktionsverarbeitung mit SparkML und Scikit-learn
- Erstellen eines Pipeline-Modells
- Echtzeit-Prognosen mit einer Inferenz-Pipeline
- Ausführen von Stapeltransformationen mit Inferenz-Pipelines
- Inferenz-Pipeline-Protokolle und -Metriken
- Beheben von Problemen mit Inferenz-Pipelines
Beispiel-Notebooks für Inferenz-Pipelines
Ein Beispiel, das zeigt, wie Inferenz-Pipelines erstellt und bereitgestellt werden, finden Sie im Beispielnotizbuch Inference Pipeline with Scikit-Learn and Linear Learner
Um eine Liste aller SageMaker Beispiele anzuzeigen, wählen Sie nach dem Erstellen und Öffnen einer Notebook-Instanz die Registerkarte SageMaker Beispiele. Es gibt drei Inferenz Pipeline-Notebooks. Die ersten beiden Inferenz-Pipeline-Notebooks befinden sich im Ordner advanced_functionality und das dritte Notebook befindet sich im Ordner sagemaker-python-sdk. Zum Öffnen eines Notebooks wählen Sie die Registerkarte Use (Verwenden) und dann Create copy (Kopie erstellen).
