Holen Sie sich Rechenkapazität für SageMaker Trainingsjobs

Bevor Sie Rechenkapazität anfordern, stellen Sie sicher, dass Ihr AWS Konto die folgenden Voraussetzungen erfüllt. Wenn Sie diese Anforderungen der Reihe nach erfüllen, können Sie häufige Bereitstellungsfehler vermeiden.

Schritt 1: Überprüfen Sie die Verfügbarkeit der Instance in Ihrer Region

Nicht alle Instanztypen sind in jeder AWS Region verfügbar. Bevor Sie einen Instanztyp für Ihr Trainings-Workload auswählen, stellen Sie sicher, dass er in Ihrer Zielregion verfügbar ist.

• Informationen zur Instanzverfügbarkeit und zu den Preisen pro Region finden Sie unter SageMaker KI-Preise. Klicken Sie auf den Tab „Training“ und wählen Sie Ihre Region aus, um die verfügbaren Instance-Typen, Spezifikationen und Preise pro Stunde zu sehen.

Wenn der Instance-Typ in Ihrer Region nicht verfügbar ist:

• Wählen Sie einen alternativen Instance-Typ, der in Ihrer Region verfügbar ist. Identifizieren Sie für GPU-accelerated Schulungen Instance-Familien mit vergleichbaren GPU-Speicher- und Netzwerkfunktionen.

• Wenn Ihr Workload einen bestimmten Instance-Typ erfordert und Ihre Anforderungen an Datenresidenz und Compliance dies zulassen, sollten Sie erwägen, den Schulungsjob in einer anderen Region durchzuführen, in der dieser Instance-Typ verfügbar ist. Stellen Sie sicher, dass Ihre Trainingsdaten von der Zielregion aus zugänglich sind, oder planen Sie eine regionsübergreifende Datenübertragung ein.

Überprüfen Sie die Verfügbarkeit der Instances pro Availability Zone

Die Verfügbarkeit der Instances variiert auch je nach Availability Zone innerhalb einer Region. Ein Instance-Typ, der in Ihrer Region angeboten wird, wird nicht unbedingt in jeder Availability Zone dieser Region angeboten. Dies ist wichtig, wenn Sie Trainingsjobs in einer privaten VPC ausführen, da die von Ihnen angegebenen Subnetze bestimmen, welche Availability Zones SageMaker AI für die Bereitstellung von Instances verwenden kann. Weitere Informationen finden Sie unter Schritt 3: Konfigurieren Sie Ihre VPC und Subnetze (optional).

Verwenden Sie die Amazon Elastic Compute DescribeInstanceTypeOfferings Cloud-API, um die Availability Zones aufzulisten, die einen Instance-Typ in einer Region anbieten:

aws ec2 describe-instance-type-offerings \
    --location-type availability-zone \
    --filters Name=instance-type,Values=p5.48xlarge \
    --region us-east-1 \
    --query 'InstanceTypeOfferings[].Location' \
    --output table

Anmerkung

Geben Sie den Amazon Elastic Compute Cloud-Instanztyp (p5.48xlarge) an, nicht den SageMaker AI-Instanztyp (ml.p5.48xlarge). SageMaker AI-Trainingsinstanztypen werden dem entsprechenden Amazon Elastic Compute Cloud-Instanztyp zugeordnet, wobei das ml. Präfix entfernt wurde.

Schritt 2: Servicekontingente überprüfen und anfordern

Ihr AWS Konto hat Standardkontingente, die die Anzahl der Instanzen begrenzen, die Sie gleichzeitig für SageMaker Trainingsjobs verwenden können. Jeder Instanztyp hat sein eigenes Kontingent.

• Um Ihre aktuellen Kontingente anzuzeigen, öffnen Sie die Service Quota-Konsole und filtern Sie nach dem Instanztyp, den Sie verwenden möchten.

• Wenn Ihr Kontingent für die Anzahl der Instanzen, die Ihr Schulungsjob erfordert, nicht ausreicht, fordern Sie eine Kontingenterhöhung an. Eine Erhöhung der Quote erfolgt nicht sofort. Reichen Sie Ihre Anfrage vor Ihrem geplanten Trainingslauf ein.

Tipp

Bei flexiblen Trainingsplänen muss Ihr Servicekontingent gleich oder größer als die Anzahl der Instances in Ihrem Plan sein. Weitere Informationen finden Sie unter Um die Kontingente für SageMaker Trainingspläne anzuzeigen, verwenden Sie das AWS Management-Konsole.

Schritt 3: Konfigurieren Sie Ihre VPC und Subnetze (optional)

Dieser Schritt gilt nur, wenn Sie Schulungsjobs in einer privaten VPC ausführen. Standardmäßig werden SageMaker Trainingsjobs in einer SageMaker AI-managed Netzwerkumgebung ausgeführt und erfordern keine VPC-Konfiguration. Wenn Ihre Organisation Schulungsjobs für den Zugriff auf Ressourcen in einer privaten VPC benötigt — zum Beispiel Daten, die in Amazon S3 über einen VPC-Endpunkt gespeichert sind, oder Dateisysteme — müssen Sie Subnets und SecurityGroupIds im VpcConfig API-Parameter angeben. CreateTrainingJob

Wenn Sie eine VPC konfigurieren, bestimmen die von Ihnen angegebenen Subnetze, welche Availability Zones SageMaker AI zur Bereitstellung von Instances verwenden kann.

• Stellen Sie Subnetze in mehreren Availability Zones bereit. SageMaker AI stellt Trainingsinstanzen aus Pools pro Availability-Zone Kapazität bereit. Die Einbeziehung von Subnetzen in mehr Availability Zones erhöht den Kapazitätspool, aus dem SageMaker KI schöpfen kann, was die Wahrscheinlichkeit einer erfolgreichen Instance-Bereitstellung erhöht und die Wartezeiten reduziert. Geben Sie nach Möglichkeit Subnetze in mindestens drei Availability Zones an.

  SageMaker AI startet trotzdem alle Instances für einen bestimmten Job innerhalb eines einzelnen Subnetzes (einer einzelnen Availability Zone), um sie physisch in der Nähe zu halten und die Latenz zwischen den Knoten zu minimieren. Die zusätzlichen Subnetze erweitern nur die Optionen, aus denen die SageMaker KI wählen kann. Sie verteilen die Instanzen eines Jobs nicht über Availability Zones.

• Für flexible Schulungspläne sollten Sie Subnetze an Ihrer reservierten Kapazität ausrichten. Jeder Reserved Capacity Block wird in einer bestimmten Availability Zone bereitgestellt. Das Subnets in Ihrem VpcConfig muss die Availability Zones enthalten, in denen Ihre reservierten Kapazitätsblöcke bereitgestellt werden. Bei Plänen mit mehreren Blöcken, die sich über verschiedene Availability Zones erstrecken, sollten Sie Subnetze in allen relevanten Zonen einbeziehen.

• Ordnen Sie Datenquellen den Availability Zones der Trainingsinstanzen zu. Wenn sich Ihre Trainingsdaten in einem Availability-Zone-specific Speicherservice wie Amazon EFS oder Amazon EFS befinden, stellen Sie sicher, dass auf das Dateisystem von denselben Availability Zones aus zugegriffen werden kann, in denen Ihre Trainingsinstanzen ausgeführt werden.

Wählen Sie eine Kapazitätsoption

On-Demand Instanzen

On-Demand ist die Standardkapazitätsoption für SageMaker Ausbildungsjobs. Instanzen werden bereitgestellt, wenn ein Schulungsjob beginnt, und veröffentlicht, wenn er abgeschlossen ist. Sie zahlen pro Sekunde Rechenleistung, ohne dass Sie sich im Voraus verpflichten müssen, Ad-hoc-Jobs auszuführen. Die für die Jobs erforderliche Kapazität wird nach bestem Bemühen zugewiesen, basierend auf der Verfügbarkeit in der Region während der Auftragsübermittlung.

Wenn für den von Ihnen angeforderten Instance-Typ keine On-Demand Kapazität verfügbar ist, wechselt der Trainingsjob in einen Wartestatus. Sie können die Wartezeit von 2 Stunden bis 28 Tagen konfigurieren, indem Sie Folgendes festlegenMaxPendingTimeInSeconds. Wenn innerhalb dieses Zeitraums keine Kapazität verfügbar wird, schlägt der Job mit einem fehlInsufficientCapacityError.

Tipp

Um die On-Demand Kapazität zwischen aufeinanderfolgenden Trainingsaufträgen aufrechtzuerhalten, aktivieren Sie Managed Warm Pools. Warm Pools behalten bereitgestellte Instanzen auch nach Abschluss eines Jobs bei, sodass nachfolgende Jobs dieselben Instances wiederverwenden, ohne erneut Kapazität zu erwerben. Dies ist nützlich für iterative Workloads wie Hyperparameter-Tuning oder Debugging bei verteiltem Training.

Managed Spot Training

Managed Spot Training verwendet freie Amazon EC2 Spot-Kapazitäten und spart so bis zu 90% der Kosten im Vergleich zur On-Demand Preisgestaltung. SageMaker KI verwaltet den Spot-Lebenszyklus, einschließlich Unterbrechungen und automatischer Neustarts. Mit Spot Training können Workloads unterbrochen werden, und es werden Checkpoint-Strategien empfohlen, um Jobs aus dem zuletzt gespeicherten Zustand wieder aufzunehmen.

Spot-Kapazitätspools werden pro Instance-Typ und Availability Zone definiert. Um die Spot-Verfügbarkeit zu maximieren, geben Sie Subnetze in mehreren Availability Zones anVpcConfig.Subnets. Legen StoppingCondition.MaxWaitTimeInSeconds Sie fest, wie lange die SageMaker KI auf die Spot-Kapazität wartet, bevor der Job beendet wird.

Weitere Informationen finden Sie unter Verwaltetes Spot-Training in Amazon SageMaker AI.

Flexible Schulungspläne

Flexible Schulungspläne ermöglichen es Ihnen, GPU-Kapazität im Voraus für ein bestimmtes Datum und eine bestimmte Dauer zu reservieren. Durch die Reservierung von Kapazität erhalten Sie vorhersehbaren Zugriff auf GPU-Instance-Typen mit hoher Nachfrage, planen und budgetieren Ihre Schulungskosten im Voraus und profitieren von automatisiertem Ressourcenmanagement und Fehlertoleranz. Die Preisgestaltung hängt vom Instance-Typ, der Anzahl der Instances, der Reservierungsdauer und dem Startdatum ab. Verwenden Sie die SearchTrainingPlanOfferings API oder die SageMaker AI-Konsole, um die Preise für Ihre spezifische Konfiguration anzuzeigen. Informationen zu unterstützten Instanztypen finden Sie unterReservieren Sie flexible Schulungspläne für ML-Workloads.

Suchen Sie vor dem Kauf eines Plans in der SageMaker AI-Konsole in Ihrem AWS Konto oder mithilfe der SearchTrainingPlanOfferings API nach verfügbaren Schulungsplanangeboten. Zu den verfügbaren Angeboten gehören Instanztypen, Laufzeiten, Preise und die Availability Zones, in denen Kapazität bereitgestellt wird.

Anmerkung

Um nach flexiblen Schulungsplänen zu suchen und diese zu kaufen, muss Ihre IAM-Identität über die entsprechenden Berechtigungen verfügen, einschließlich und. sagemaker:SearchTrainingPlanOfferings sagemaker:CreateTrainingPlan Die vollständige Liste der erforderlichen Aktionen finden Sie unter Von Amazon SageMaker definierte Aktionen.

Tipp

Wenn Ihre Trainingsjobs in einer privaten VPC ausgeführt werden, wird jeder reservierte Kapazitätsblock in einer bestimmten Availability Zone bereitgestellt. Das Subnets in Ihrem VpcConfig muss die Availability Zones einschließen, in denen Ihre reservierten Kapazitätsblöcke bereitgestellt werden. Bei Plänen mit mehreren Blöcken, die sich über verschiedene Availability Zones erstrecken, sollten Sie Subnetze in allen relevanten Zonen einbeziehen.

Flexible Schulungspläne unterstützen eine bestimmte Gruppe von Instance-Typen und sind in ausgewählten AWS Regionen verfügbar. Unterstützte Konfigurationen finden Sie unterReservieren Sie flexible Schulungspläne für ML-Workloads. Preisinformationen finden Sie unter SageMaker AI-Preisgestaltung.

Tipp

Bewährte Methoden für verteilte Trainingsworkloads mit SageMaker Training Jobs finden Sie unter Training großer Sprachmodelle bei Amazon SageMaker: Bewährte Methoden.