Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Amazon SageMaker Inference Recommender kann zwei Arten von Empfehlungen aussprechen:
-
Mit Inferenzempfehlungen (
DefaultAuftragstyp) wird eine Reihe von Belastungstests für die empfohlenen Instances-Typen ausgeführt. Sie können auch einen Lasttest für einen serverlosen Endpunkt durchführen. Sie müssen nur ein Modellpaket mit dem Amazon-Ressourcenname (ARN) angeben, um diese Art von Empfehlungsjob zu starten. Aufträge für Inferenzempfehlungen werden innerhalb von 45 Minuten abgeschlossen. -
Endpunktempfehlungen (
AdvancedAuftragstyp) basieren auf einem benutzerdefinierten Lasttest, bei dem Sie Ihre gewünschten ML-Instances oder einen serverlosen Endpunkt auswählen, ein benutzerdefiniertes Datenverkehrsmuster angeben und Anforderungen für Latenz und Durchsatz auf der Grundlage Ihrer Produktionsanforderungen angeben. Die Ausführung dieses Jobs dauert je nach eingestellter Auftragsdauer und Gesamtzahl der getesteten Inferenzkonfigurationen durchschnittlich 2 Stunden.
Beide Arten von Empfehlungen verwenden dasselbe, APIs um Jobs zu erstellen, zu beschreiben und zu beenden. Die Ausgabe ist eine Liste von Empfehlungen zur Instance-Konfiguration mit zugehörigen Umgebungsvariablen, Kosten-, Durchsatz- und Latenzmetriken. Empfehlungsaufträge bieten auch eine anfängliche Anzahl von Instanzen, die Sie verwenden können, um eine Autoscaling-Richtlinie zu konfigurieren. Um zwischen den beiden Auftragstypen zu unterscheiden, geben Sie bei der Erstellung eines Jobs entweder über die SageMaker AI-Konsole oder über an APIsDefault, dass vorläufige Endpunktempfehlungen und benutzerdefinierte Belastungstests und Advanced Endpunktempfehlungen erstellt werden sollen.
Anmerkung
Sie müssen nicht beide Arten von Empfehlungsaufträgen in Ihrem eigenen Workflow ausführen. Sie können beide unabhängig voneinander ausführen.
Inference Recommender kann Ihnen auch eine Liste potenzieller Instances oder die fünf wichtigsten Instance-Typen, die im Hinblick auf Kosten, Durchsatz und Latenz für die Modellbereitstellung optimiert sind, zusammen mit einem Konfidenzwert zur Verfügung stellen. Sie können diese Instances bei der Bereitstellung Ihres Modells auswählen. Inference Recommender führt automatisch ein Benchmarking mit Ihrem Modell durch, damit Sie die potenziellen Instances bereitstellen können. Da es sich dabei um vorläufige Empfehlungen handelt, empfehlen wir Ihnen, weitere Instance-Empfehlungsaufträge auszuführen, um genauere Ergebnisse zu erhalten. Rufen Sie die Detailseite Ihres SageMaker KI-Modells auf, um sich die potenziellen Instances anzusehen. Weitere Informationen finden Sie unter Erhalten Sie sofort potenzielle Instances.
Themen
