Modelle für Inference einsetzen

Mit Amazon können Sie beginnen SageMaker, Vorhersagen oder Schlussfolgerungen aus Ihren trainierten Modellen für maschinelles Lernen zu ziehen. SageMaker bietet eine breite Auswahl an ML-Infrastruktur- und Modellbereitstellungsoptionen, um all Ihren Anforderungen an ML-Inferenz gerecht zu werden. Mit SageMaker Inference können Sie Ihre Modellbereitstellung skalieren, Modelle in der Produktion effektiver verwalten und den betrieblichen Aufwand reduzieren. SageMaker bietet Ihnen verschiedene Inferenzoptionen, z. B. Echtzeit-Endpunkte für Inferenzen mit niedriger Latenz, serverlose Endpunkte für vollständig verwaltete Infrastruktur und auto-scaling sowie asynchrone Endpunkte für Batches von Anfragen. Indem Sie die für Ihren Anwendungsfall geeignete Inferenzoption nutzen, können Sie eine effiziente und modellhafte Implementierung und Inferenz sicherstellen.

Auswahl einer Funktion

Es gibt mehrere Anwendungsfälle für die Bereitstellung von ML-Modellen mit SageMaker. In diesem Abschnitt werden diese Anwendungsfälle sowie die SageMaker Funktion beschrieben, die wir für jeden Anwendungsfall empfehlen.

Anwendungsfälle

Im Folgenden sind die wichtigsten Anwendungsfälle für die Bereitstellung von ML-Modellen mit aufgeführt SageMaker.

• Anwendungsfall 1: Stellen Sie ein Modell für maschinelles Lernen in einer Low-Code- oder No-Code-Umgebung bereit. Für Anfänger oder Neulinge können Sie vortrainierte Modelle mit Amazon SageMaker JumpStart über die Amazon SageMaker Studio-Oberfläche bereitstellen, ohne dass komplexe Konfigurationen erforderlich sind. SageMaker

• Anwendungsfall 2: Verwenden Sie Code, um Modelle für maschinelles Lernen mit mehr Flexibilität und Kontrolle bereitzustellen. Erfahrene ML-Praktiker können ihre eigenen Modelle mit benutzerdefinierten Einstellungen für ihre Anwendungsanforderungen bereitstellen, indem sie die ModelBuilder Klasse in SageMaker Python verwendenSDK, die eine detaillierte Kontrolle über verschiedene Einstellungen wie Instanztypen, Netzwerkisolierung und Ressourcenzuweisung bietet.

• Anwendungsfall 3: Implementieren Sie Modelle für maschinelles Lernen in großem Maßstab. Fortgeschrittene Benutzer und Unternehmen, die Modelle in der Produktion skalierbar verwalten möchten, können die Tools AWS SDK for Python (Boto3) und AWS CloudFormation zusammen mit den gewünschten Infrastructure-as-Code- (IaC) - und CI/CD-Tools verwenden, um Ressourcen bereitzustellen und das Ressourcenmanagement zu automatisieren.

Empfohlene Features

In der folgenden Tabelle werden die wichtigsten Überlegungen und Kompromisse für SageMaker Funktionen beschrieben, die dem jeweiligen Anwendungsfall entsprechen.

	Anwendungsfall 1	Anwendungsfall 2	Anwendungsfall 3
SageMaker Merkmal	Verwenden Sie es JumpStart in Studio, um die Bereitstellung Ihres Basismodells zu beschleunigen.	Stellen Sie Modelle mithilfe ModelBuilder von SageMaker Python bereitSDK.	Implementieren und verwalten Sie Modelle in großem Maßstab mit AWS CloudFormation.
Beschreibung	Verwenden Sie die Studio-Benutzeroberfläche, um vortrainierte Modelle aus einem Katalog für vorkonfigurierte Inferenzendpunkte bereitzustellen. Diese Option ist ideal für Citizen Data Scientists oder für alle, die ein Modell bereitstellen möchten, ohne komplexe Einstellungen konfigurieren zu müssen.	Verwenden Sie die ModelBuilder Klasse aus Amazon SageMaker PythonSDK, um Ihr eigenes Modell bereitzustellen und Bereitstellungseinstellungen zu konfigurieren. Diese Option ist ideal für erfahrene Datenwissenschaftler oder für alle, die ihr eigenes Modell implementieren müssen und eine genaue Kontrolle benötigen.	Verwenden Sie AWS CloudFormation und Infrastructure as Code (IaC) für die programmgesteuerte Steuerung und Automatisierung für die Bereitstellung und Verwaltung von Modellen. SageMaker Diese Option ist ideal für fortgeschrittene Benutzer, die konsistente und wiederholbare Bereitstellungen benötigen.
Optimiert für	Schnelle und optimierte Bereitstellungen beliebter Open-Source-Modelle	Bereitstellung Ihrer eigenen Modelle	Kontinuierliche Verwaltung von Modellen in der Produktion
Überlegungen	Fehlende Anpassung an Container-Einstellungen und spezifische Anwendungsanforderungen	Keine Benutzeroberfläche, erfordert, dass Sie mit der Entwicklung und Wartung von Python-Code vertraut sind	Erfordert Infrastrukturmanagement und organisatorische Ressourcen sowie Vertrautheit mit den AWS SDK for Python (Boto3) oder mit AWS CloudFormation Vorlagen.
Empfohlene Umgebung	Eine SageMaker Domain	Eine Python-Entwicklungsumgebung, die mit Ihren AWS Anmeldeinformationen konfiguriert ist und SageMaker Python SDK installiert ist, oder eine SageMaker IDE solche wie SageMaker JupyterLab	Die AWS CLI, eine lokale Entwicklungsumgebung und die Tools Infrastructure as Code (IaC) und CI/CD

Zusätzliche Optionen

SageMaker bietet verschiedene Optionen für Ihre Inferenz-Anwendungsfälle, sodass Sie die technische Breite und Tiefe Ihrer Implementierungen selbst bestimmen können:

• Bereitstellen eines Modells auf einem Endpunkt. Ziehen Sie bei der Bereitstellung Ihres Modells die folgenden Optionen in Betracht:

  • Echtzeit-Inferenz. Inferenz in Echtzeit ist ideal für Inferenz-Workloads, bei denen Sie interaktive Anforderungen mit geringer Latenz haben.

  • Modelle mit Amazon SageMaker Serverless Inference bereitstellen. Verwenden Sie Serverless Inference, um Modelle bereitzustellen, ohne die zugrunde liegende Infrastruktur konfigurieren oder verwalten zu müssen. Diese Option eignet sich ideal für Workloads, bei denen es zwischen Datenausfällen zu Leerlaufzeiten kommt, und kann Kaltstarts tolerieren.

  • Asynchrone Inferenz-Inferenz. stellt eingehende Anfragen in eine Warteschlange und verarbeitet sie asynchron. Diese Option ist ideal für Anfragen mit großen Nutzlasten (bis zu 1 GB), langen Verarbeitungszeiten (bis toAsynchronous Inference eine Stunde) und Latenzanforderungen nahezu in Echtzeit

• Kostenoptimierung. Um Ihre Inferenzkosten zu optimieren, sollten Sie die folgenden Optionen in Betracht ziehen:

  • Optimierung der Modellleistung mit SageMaker Neo. Verwenden Sie SageMaker Neo, um Ihre Machine-Learning-Modelle mit besserer Leistung und Effizienz zu optimieren und auszuführen. So können Sie die Rechenkosten minimieren, indem Sie Modelle automatisch für die Ausführung in Umgebungen wie AWS Inferentia-Chips optimieren.

  • Automatische Skalierung von SageMaker Amazon-Modellen. Verwenden Sie Autoscaling, um die Rechenressourcen für Ihre Endgeräte dynamisch an die Muster des eingehenden Datenverkehrs anzupassen. So können Sie Ihre Kosten optimieren, indem Sie nur für die Ressourcen bezahlen, die Sie zu einem bestimmten Zeitpunkt tatsächlich nutzen.