Parallelität von Aufträgen und Warteschlangen für eine serverlose EMR-Anwendung

Geben Sie ab Amazon EMR Version 7.0.0 und höher das Zeitlimit für die Warteschlange bei der Auftragsausführung und die Konfiguration der Parallelität für Ihre Anwendung an. Wenn Sie diese Konfiguration angeben, beginnt Amazon EMR Serverless damit, Ihren Job in die Warteschlange zu stellen, und beginnt mit der Ausführung auf der Grundlage der Parallelitätsnutzung in Ihrer Anwendung. Wenn die Parallelität Ihrer Auftragsausführung beispielsweise 10 beträgt, werden in Ihrer Anwendung jeweils nur zehn Jobs ausgeführt. Die verbleibenden Jobs werden in die Warteschlange gestellt, bis einer der laufenden Jobs beendet wird. Wenn das Zeitlimit für die Warteschlange früher erreicht wird, wird das Zeitlimit für Ihren Job überschritten. Weitere Informationen finden Sie unter Status der Auftragsausführung.

Hauptvorteile von Parallelität und Warteschlangen

Job-Parallelität und Warteschleifenbildung bieten die folgenden Vorteile, wenn viele Jobeinreichungen erforderlich sind:

• Es hilft dabei, gleichzeitig ausgeführte Jobs zu kontrollieren, um Ihre Kapazitätsgrenzen auf Anwendungsebene effizient zu nutzen.

• Die Warteschlange kann einen plötzlichen Anstieg von Auftragsübermittlungen mit einer konfigurierbaren Timeout-Einstellung enthalten.

Erste Schritte mit Parallelität und Warteschleifenbildung

Die folgenden Verfahren zeigen verschiedene Möglichkeiten, Parallelität und Warteschlangen zu implementieren.

Mit dem AWS CLI

1. Erstellen Sie eine serverlose Amazon EMR-Anwendung mit Warteschlangen-Timeout und gleichzeitigen Auftragsausführungen:

   aws emr-serverless create-application \
   --release-label emr-7.0.0 \
   --type SPARK \
   --scheduler-configuration '{"maxConcurrentRuns": 1, "queueTimeoutMinutes": 30}'

2. Aktualisieren Sie eine Anwendung, um das Zeitlimit für die Job-Warteschlange und die Parallelität zu ändern:

   aws emr-serverless update-application \
   --application-id application-id \
   --scheduler-configuration '{"maxConcurrentRuns": 5, "queueTimeoutMinutes": 30}'

   Anmerkung

   Sie können Ihre bestehende Anwendung aktualisieren, um Parallelität und Warteschleifenbildung für Jobs zu aktivieren. Dazu muss die Anwendung das Release-Label emr-7.0.0 oder höher haben.

Unter Verwendung des AWS Management Console

Die folgenden Schritte zeigen, wie Sie mit Job-Parallelität und Queuing beginnen können. Verwenden Sie dazu: AWS Management Console

1. Gehen Sie zu EMR Studio und wählen Sie, ob Sie eine Anwendung mit dem Release-Label EMR-7.0.0 oder höher erstellen möchten.

2. Wählen Sie unter Optionen zur Anwendungskonfiguration die Option Benutzerdefinierte Einstellungen verwenden aus.

3. Unter Zusätzliche Konfigurationen gibt es einen Abschnitt für Job Run Settings. Wählen Sie die Option Jobparallelität aktivieren, um die Funktion zu aktivieren.

4. Wählen Sie nach der Auswahl Gleichzeitige Auftragsausführungen und Warteschlangen-Timeout aus, um die Anzahl der gleichzeitigen Auftragsausführungen bzw. das Warteschlangen-Timeout zu konfigurieren. Wenn Sie keine Werte für diese Einstellungen eingeben, werden die Standardwerte verwendet.

5. Wählen Sie Anwendung erstellen und die Anwendung wird mit aktivierter Funktion erstellt. Gehen Sie zur Überprüfung zum Dashboard, wählen Sie Ihre Anwendung aus und überprüfen Sie auf der Registerkarte Eigenschaften, ob die Funktion aktiviert ist.

Reichen Sie nach der Konfiguration Jobs mit aktivierter Funktion ein.

Überlegungen zu Parallelität und Warteschlangen

Beachten Sie bei der Implementierung von Parallelität und Warteschlangen die folgenden Punkte:

• Job-Parallelität und Warteschlangen werden in Amazon EMR Version 7.0.0 und höher unterstützt.

• Job-Parallelität und Warteschlangen sind in Amazon EMR Version 7.3.0 und höher standardmäßig aktiviert.

• Sie können die Parallelität für eine Anwendung im Status STARTED nicht aktualisieren.

• Der gültige Bereich für maxConcurrentRuns liegt zwischen 1 und 1000 und für queueTimeoutMinutes ihn zwischen 15 und 720.

• Für ein Konto können sich maximal 2000 Aufträge im Status QUEUED befinden.

• Parallelität und Warteschleife gelten für Batch- und Streaming-Jobs. Es kann nicht für interaktive Jobs verwendet werden. Weitere Informationen finden Sie unter Ausführen interaktiver Workloads mit EMR Serverless über EMR Studio.