Debuggen von EMR-Schritten mithilfe der YARN-Anwendung IDs - Amazon EMR
YARN-Anwendungs-ID

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Debuggen von EMR-Schritten mithilfe der YARN-Anwendung IDs

Eine effektive Methode zum Debuggen von Schritten, die Yarn-basierte Anwendungen starten (wie Spark-Schritte), besteht darin, die in der Amazon EMR-Konsole verfügbaren Yarn-Anwendungs-ID-Informationen zu nutzen.

YARN-Anwendungs-ID

Für Schritte, die Spark oder andere Yarn-basierte Jobs ausführen, zeigt die EMR-Konsole die zuletzt ausgeführte YARN-Anwendungs-ID in den Schrittdetails an. Wenn ein Schritt mehrere YARN-Anwendungen startet, wird nur die zuletzt ausgeführte Anwendungs-ID angezeigt.

Warum sollte die Yarn-Anwendung IDs zum Debuggen verwendet werden?

  • Sie können EMR-Schritte direkt mit Yarn-Anwendungen korrelieren: Identifizieren Sie genau, welche Yarn-Anwendung einem problematischen oder interessanten Schritt entspricht.

  • Sie können auf Tools zur Live-Überwachung zugreifen: Verwenden Sie die Anwendungs-ID, um die YARN ResourceManager Live-Benutzeroberfläche oder die Spark History Server-Benutzeroberfläche zu öffnen, um laufende oder abgeschlossene Anwendungen zu überprüfen.

  • Sie können Protokolle für eine detaillierte Fehlerbehebung abrufen: Verwenden Sie die Anwendungs-ID, um in S3 gespeicherte Container-Protokolle zu finden, die mit dieser Anwendung verknüpft sind und Ihnen helfen, Fehler oder Leistungsprobleme genauer zu untersuchen.

Sie können diese Informationen auf verschiedene Arten verwenden:

  1. Navigieren Sie zur Registerkarte Schritte Ihres EMR-Clusters.

  2. Klicken Sie auf den Schritt, den Sie debuggen möchten.

  3. Suchen Sie im Bereich mit den Schrittdetails den Abschnitt Yarn Application ID.

  4. Kopieren Sie die angegebene Anwendungs-ID.

  5. Verwenden Sie die ID, um:

    • Öffnen Sie die YARN ResourceManager Live-Benutzeroberfläche. Die URI sieht wie folgt aus: http: resourcemanager-host //:8088/cluster/app/ application_id

    • Öffnen Sie die Benutzeroberfläche von Spark History Server, um die Details zur Anwendungsausführung zu überprüfen.

    • Greifen Sie unter Pfaden, die mit der Anwendungs-ID gekennzeichnet sind, auf Container-Logs in Ihrem S3-Bucket zu.

Mithilfe der Yarn-Anwendungs-ID können Sie Ihren Debugging-Prozess optimieren und EMR-Schrittfehler auf hoher Ebene mit den zugrunde liegenden Yarn-Anwendungsausführungen verbinden.