Kapazitätsblöcke für ML - Amazon Elastic Compute Cloud
Unterstützte PlattformenÜberlegungenZugehörige Ressourcen

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Kapazitätsblöcke für ML

Mit Kapazitätsblöcken für ML können Sie stark nachgefragte GPU-Instances zu einem späteren Zeitpunkt reservieren, um Ihre kurzzeitigen Machine Learning (ML)-Workloads zu unterstützen. Instances, die innerhalb eines Kapazitätsblocks ausgeführt werden, werden in Amazon EC2 automatisch nahe beieinander platziert UltraClusters, um blockierungsfreie Netzwerke im Petabit-Bereich mit niedriger Latenz zu gewährleisten.

Mit Kapazitätsblöcken können Sie sehen, wann GPU-Instance-Kapazität an zukünftigen Terminen verfügbar ist, und Sie können einen Kapazitätsblock so planen, dass er zu einem Zeitpunkt startet, der für Sie am besten passt. Wenn Sie einen Kapazitätsblock reservieren, erhalten Sie eine vorhersehbare Kapazitätsgarantie für GPU-Instance und zahlen nur für die Zeit, die Sie benötigen. Wir empfehlen Kapazitätsblöcke, wenn Sie für Ihre ML-Workloads tage- oder wochenlang GPUs benötigen und nicht für eine Reservierung zahlen möchten, während Ihre GPU-Instances nicht verwendet werden.

Im Folgenden sind einige häufige Anwendungsfälle für Kapazitätsblöcke aufgeführt.

  • Modell-Training und Feinabstimmung für Machine Learning (ML) – Erhalten Sie ununterbrochenen Zugriff auf die GPU-Instances, die Sie für die Durchführung des ML-Modell-Trainings und der Feinabstimmung reserviert haben.

  • ML-Experimente und Prototypen – Führen Sie Experimente durch und erstellen Sie Prototypen, die kurzfristig GPU-Instances erfordern.

Kapazitätsblöcke sind derzeit für Und-Instances verfügbar. p5.48xlarge p4d.24xlarge Die p5.48xlarge Instances sind in den Regionen USA Ost (Ohio) und USA Ost (Nord-Virginia) verfügbar. Die p4d.24xlarge Instances sind in den Regionen USA Ost (Ohio) und USA West (Oregon) verfügbar. Sie können einen Kapazitätsblock mit einem Reservierungsstartzeitpunkt bis zu acht Wochen in der Zukunft reservieren.

Sie können Capacity Blocks für Reservierungen p5 und p4d Instances mit den folgenden Optionen für Reservierungsdauer und Anzahl der Instanzen verwenden.

  • Reservierungsdauer in Schritten von einem Tag bis zu insgesamt 14 Tagen

  • Optionen für die Anzahl der Reservierungs-Instances: 1, 2, 4, 8, 16, 32 oder 64 Instances

Um einen Kapazitätsblock zu reservieren, geben Sie zunächst Ihren Kapazitätsbedarf an, einschließlich des Instance-Typs, der Anzahl der Instances, der Dauer, des frühesten Startdatums und des spätesten Enddatums, die Sie benötigen. Anschließend wird Ihnen ein verfügbares Kapazitätsblock-Angebot angezeigt, das Ihren Spezifikationen entspricht. Das Angebot für den Kapazitätsblock enthält Details wie Startzeit, Availability Zone und Reservierungspreis. Der Angebotspreis eines Kapazitätsblocks hängt vom verfügbaren Angebot und der Nachfrage zum Zeitpunkt der Bereitstellung des Angebots ab. Nach der Reservierung eines Kapazitätsblocks ändert sich der Preis nicht. Weitere Informationen finden Sie unter Preise und Fakturierung für Kapazitätsblöcke.

Wenn Sie ein Angebot für ein Kapazitätsblock erwerben, wird Ihre Reservierung für das von Ihnen ausgewählte Datum und die Anzahl der Instances erstellt. Wenn Ihre Kapazitätsblock-Reservierung beginnt, können Sie Instances gezielt starten, indem Sie die Reservierungs-ID in Ihren Startanfragen angeben.

Sie können alle von Ihnen reservierten Instances bis 30 Minuten vor dem Endzeitpunkt des Kapazitätsblocks nutzen. Wenn noch 30 Minuten in Ihrer Kapazitätsblock-Reservierung verbleiben, beginnen wir mit der Beendigung aller Instances, die in dem Kapazitätsblock ausgeführt werden. Wir nutzen diese Zeit zur Bereinigung Ihrer Instances, bevor wir den Kapazitätsblock dem nächsten Kunden bereitstellen. Die letzten 30 Minuten der Reservierung werden nicht im Preis des Kapazitätsblocks berechnet. Bis zu EventBridge 10 Minuten vor Beginn des Kündigungsvorgangs senden wir ein Ereignis aus. Weitere Informationen finden Sie unter Überwachen Sie Kapazitätsblöcke mit EventBridge.

Themen

Unterstützte Plattformen

Derzeit werden Kapazitätsblöcke für ML p5.48xlarge und p4d.24xlarge Instances mit Standardmandantenfähigkeit unterstützt. Wenn Sie den AWS Management Console zum Kauf eines Capacity Blocks verwenden, ist die Standard-Plattformoption Linux/UNIX. Wenn Sie das AWS Command Line Interface (AWS CLI) oder AWS SDK zum Kauf eines Capacity Blocks verwenden, sind die folgenden Plattformoptionen verfügbar:

  • Linux/Unix

  • Red Hat Enterprise Linux

  • RHEL mit HA

  • SUSE Linux

  • Ubuntu Pro

Überlegungen

Berücksichtigen Sie vor der Verwendung von Kapazitätsblöcken die folgenden Details und Einschränkungen.

  • Kapazitätsblöcke beginnen und enden um 11:30 Uhr koordinierte Weltzeit (UTC).

  • Der Beendigungsprozess für Instances, die in einem Kapazitätsblock ausgeführt werden, beginnt um 11:00 Uhr koordinierter Weltzeit (UTC) am letzten Tag der Reservierung.

  • Kapazitätsblöcke können mit einer Startzeit bis zu 8 Wochen in der Zukunft reserviert werden.

  • Änderungen und Stornierungen von Kapazitätsblöcken sind nicht zulässig.

  • Kapazitätsblöcke können nicht zwischen AWS Konten oder innerhalb Ihrer AWS Organisation gemeinsam genutzt werden.

  • Kapazitätsblöcke können nicht in einer Gruppe von Kapazitätsreservierungen verwendet werden.

  • Die Gesamtzahl der Instanzen, die in Kapazitätsblöcken für alle Konten in Ihrer AWS Organisation reserviert werden können, darf an einem bestimmten Datum 64 Instanzen nicht überschreiten.

  • Um einen Kapazitätsblock zu verwenden, müssen Instances gezielt die Reservierungs-ID verwenden.

  • Instances in einem Kapazitätsblock werden nicht auf Ihre On-Demand-Instances angerechnet.

  • Stellen Sie für P5-Instances, die ein benutzerdefiniertes AMI verwenden, sicher, dass Sie über die erforderliche Software und Konfiguration für EFA verfügen.

  • Kapazitätsblöcke können derzeit nicht mit von Amazon EKS verwalteten Knotengruppen oder verwendet werdenKarpenter. Weitere Informationen zum Erstellen einer selbstverwalteten Amazon EKS-Knotengruppe finden Sie unter Capacity Blocks for ML im Amazon EKS-Benutzerhandbuch.

Nachdem Sie einen Kapazitätsblock erstellt haben, können Sie mit dem Kapazitätsblock Folgendes tun:

Weitere Informationen zu finden Sie AWS ParallelCluster unter Was ist AWS ParallelCluster.