Serviceeinschränkungen und Kontingente für Produkte für maschinelles Lernen in AWS Marketplace

In diesem Abschnitt werden Einschränkungen und Kontingente für Ihre Produkte für maschinelles Lernen (ML) unter beschrieben AWS Marketplace.

Netzwerkisolierung

Wenn ein Käufer Ihr containerisiertes Produkt abonniert, werden die Docker-Container aus Sicherheitsgründen in einer isolierten Umgebung ohne Netzwerkzugriff ausgeführt. Verlassen Sie sich bei der Erstellung Ihrer Container nicht darauf, ausgehende Anrufe über das Internet zu tätigen, da diese sonst fehlschlagen. Aufrufe an AWS-Services werden ebenfalls fehlschlagen.

Größe des Images

Ihre Docker-Image-Größe wird durch die Service-Kontingente von Amazon Elastic Container Registry (Amazon ECR) geregelt. Die Docker-Image-Größe wirkt sich auf die Startzeit bei Trainingsjobs, Batch-Transform-Jobs und der Endpunkterstellung aus. Um eine bessere Leistung zu erzielen, sollten Sie eine optimale Docker-Image-Größe beibehalten.

Speichergröße

Wenn Sie einen Endpunkt erstellen, fügt Amazon SageMaker AI jeder ML-Compute-Instance, die den Endpunkt hostet, ein Amazon Elastic Block Store (Amazon EBS) -Speichervolume hinzu. (Ein Endpunkt wird auch als Echtzeit-Inferenz oder Amazon SageMaker AI-Hosting-Service bezeichnet.) Die Größe des Speicher-Volumes hängt vom Instance-Typ ab. Weitere Informationen finden Sie unter Host Instance Storage Volumes im Amazon SageMaker AI Developer Guide. 

Informationen zur Batch-Transformation finden Sie unter Storage in Batch Transform im Amazon SageMaker AI Developer Guide.

Instance-Größe

SageMaker KI bietet eine Auswahl an Instance-Typen, die für verschiedene ML-Anwendungsfälle optimiert sind. Instanztypen bestehen aus unterschiedlichen Kombinationen von CPU, GPU, Arbeitsspeicher und Netzwerkkapazität. Instanztypen bieten Ihnen die Flexibilität, den geeigneten Ressourcenmix für die Erstellung, Schulung und Bereitstellung Ihrer ML-Modelle auszuwählen. Weitere Informationen finden Sie unter Amazon SageMaker AI ML-Instanztypen.

Größe der Nutzlast für Inferenz

Beschränken Sie für einen Endpunkt die maximale Größe der Eingabedaten pro Aufruf auf 6 MB. Dieser Wert kann nicht angepasst werden.

Bei der Batch-Transformation beträgt die maximale Größe der Eingabedaten pro Aufruf 100 MB. Dieser Wert kann nicht angepasst werden.

Verarbeitungszeit für Inferenz

Für einen Endpunkt beträgt die maximale Verarbeitungszeit pro Aufruf 60 Sekunden. Dieser Wert kann nicht angepasst werden.

Bei der Batch-Transformation beträgt die maximale Verarbeitungszeit pro Aufruf 60 Minuten. Dieser Wert kann nicht angepasst werden.

Servicekontingente

Weitere Informationen zu Kontingenten im Zusammenhang mit Training und Inferenz finden Sie unter Amazon SageMaker AI Service Quotas.

Asynchrone Inferenz-Inferenz

Modellpakete und Algorithmen, die in veröffentlicht wurden, AWS Marketplace können nicht auf Endpunkten bereitgestellt werden, die für Amazon SageMaker AI Asynchronous Inference konfiguriert sind. Für Endpunkte, die für asynchrone Inferenz konfiguriert sind, müssen Modelle über Netzwerkkonnektivität verfügen. Alle AWS Marketplace Modelle arbeiten netzwerkisoliert. Weitere Informationen finden Sie unter Kein Netzwerkzugriff.

Serverlose Inferenz

Modellpakete und Algorithmen, die in veröffentlicht wurden, AWS Marketplace können nicht auf Endpunkten bereitgestellt werden, die für Amazon SageMaker AI Serverless Inference konfiguriert sind. Für Endpunkte, die für serverlose Inferenz konfiguriert sind, müssen Modelle über Netzwerkkonnektivität verfügen. Alle AWS Marketplace Modelle arbeiten netzwerkisoliert. Weitere Informationen finden Sie unter Kein Netzwerkzugriff.

Managed Spot Training

Für alle Algorithmen von AWS MarketplaceMaxWaitTimeInSeconds ist der Wert von auf 3.600 Sekunden (60 Minuten) festgelegt, auch wenn der Checkpoint für verwaltetes Spot-Training implementiert ist. Dieser Wert kann nicht angepasst werden.

Docker-Images und AWS-Konten

Für die Veröffentlichung müssen Bilder in Amazon ECR-Repositorys gespeichert werden, die dem Verkäufer AWS-Konto gehören. Es ist nicht möglich, Bilder zu veröffentlichen, die in einem Repository gespeichert sind, das einem anderen gehört. AWS-Konto

Veröffentlichung von Modellpaketen mithilfe integrierter Algorithmen oder AWS Marketplace

Modellpakete, die aus Trainingsjobs mit einem in Amazon SageMaker AI integrierten Algorithmus oder einem Algorithmus aus einem AWS Marketplace Abonnement erstellt wurden, können nicht veröffentlicht werden.

Sie können weiterhin die Modellartefakte aus dem Trainingsjob verwenden, aber für die Veröffentlichung von Modellpaketen ist Ihr eigenes Inferenz-Image erforderlich.

Wird AWS-Regionen für die Veröffentlichung unterstützt

AWS Marketplace unterstützt das Veröffentlichen von Modellpaket- und Algorithmusressourcen, AWS-Regionen wobei Folgendes zutrifft:

• Eine Region, die Amazon SageMaker AI unterstützt

• Eine verfügbare Region, die standardmäßig aktiviert ist (z. B. gibt describe-regions zurück) "OptInStatus": "opt-in-not-required"

Alle Ressourcen, die für die Veröffentlichung eines Modellpakets oder eines Algorithmusprodukts erforderlich sind, müssen in derselben Region gespeichert werden, aus der Sie veröffentlichen möchten. Diese umfasst die folgenden Funktionen:

• Modellieren Sie Paket- und Algorithmusressourcen, die in Amazon SageMaker AI erstellt wurden

• Inferenz- und Trainingsbilder, die in Amazon ECR-Repositorys hochgeladen werden

• Modellartefakte (falls vorhanden), die in Amazon Simple Storage Service (Amazon S3) gespeichert und während der Modellbereitstellung für Modellpaketressourcen dynamisch geladen werden

• Testdaten für Inferenz und Trainingsvalidierung, die in Amazon S3 gespeichert sind

Sie können Ihr Produkt in jeder Region entwickeln und trainieren, die von SageMaker KI unterstützt wird. Bevor Sie jedoch veröffentlichen können, müssen Sie alle Ressourcen in eine Region kopieren und dort Ressourcen neu erstellen, in der das Publizieren AWS Marketplace unterstützt wird.

Während des Angebotsprozesses können Sie unabhängig von der AWS-Region Region, in der Sie veröffentlichen, die Regionen auswählen, in denen Sie veröffentlichen möchten, und Ihr Produkt verfügbar machen.