So erhalten Sie Empfehlungen - Amazon SageMaker

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

So erhalten Sie Empfehlungen

Amazon SageMaker Inference Recommender kann zwei Arten von Empfehlungen aussprechen:

  1. Mit Inferenzempfehlungen (Default Auftragstyp) wird eine Reihe von Belastungstests für die empfohlenen Instances-Typen ausgeführt. Sie können auch einen Lasttest für einen serverlosen Endpunkt durchführen. Sie müssen nur ein Modellpaket mit dem Amazon-Ressourcenname (ARN) angeben, um diese Art von Empfehlungsjob zu starten. Aufträge für Inferenzempfehlungen werden innerhalb von 45 Minuten abgeschlossen.

  2. Endpunktempfehlungen (Advanced Auftragstyp) basieren auf einem benutzerdefinierten Lasttest, bei dem Sie Ihre gewünschten ML-Instances oder einen serverlosen Endpunkt auswählen, ein benutzerdefiniertes Datenverkehrsmuster angeben und Anforderungen für Latenz und Durchsatz auf der Grundlage Ihrer Produktionsanforderungen angeben. Die Ausführung dieses Jobs dauert je nach eingestellter Auftragsdauer und Gesamtzahl der getesteten Inferenzkonfigurationen durchschnittlich 2 Stunden.

Beide Arten von Empfehlungen verwenden dieselben APIs, um Jobs zu erstellen, zu beschreiben und zu beenden. Die Ausgabe ist eine Liste von Empfehlungen zur Instance-Konfiguration mit zugehörigen Umgebungsvariablen, Kosten-, Durchsatz- und Latenzmetriken. Empfehlungsjobs bieten auch eine anfängliche Anzahl von Instanzen, die Sie verwenden können, um eine Autoscaling-Richtlinie zu konfigurieren. Um zwischen den beiden Auftragstypen zu unterscheiden, geben Sie bei der Erstellung eines Jobs über die SageMaker Konsole oder die APIs Default an, vorläufige Endpunktempfehlungen und benutzerdefinierte Lasttests und Advanced Endpunktempfehlungen zu erstellen.

Anmerkung

Sie müssen nicht beide Arten von Empfehlungsaufträgen in Ihrem eigenen Workflow ausführen. Sie können beide unabhängig voneinander ausführen.

Inference Recommender kann Ihnen auch eine Liste potenzieller Instances oder die fünf wichtigsten Instance-Typen, die im Hinblick auf Kosten, Durchsatz und Latenz für die Modellbereitstellung optimiert sind, zusammen mit einem Konfidenzwert zur Verfügung stellen. Sie können diese Instances bei der Bereitstellung Ihres Modells auswählen. Inference Recommender führt automatisch ein Benchmarking mit Ihrem Modell durch, damit Sie die potenziellen Instances bereitstellen können. Da es sich dabei um vorläufige Empfehlungen handelt, empfehlen wir Ihnen, weitere Instance-Empfehlungsaufträge auszuführen, um genauere Ergebnisse zu erhalten. Gehen Sie zu Ihrer Seite mit den SageMaker Modelldetails, um sich die potenziellen Exemplare anzusehen. Weitere Informationen finden Sie unter Erhalten Sie sofort potenzielle Instances.

Themen