Anzeige von -Protokolldateien

Sowohl Amazon EMR als auch Hadoop erstellen Protokolldateien, die Aufschluss über den jeweiligen Status des Clusters geben. Standardmäßig werden diese Dateien im Primärknoten im /mnt/var/log/-Verzeichnis gespeichert. Abhängig von der Konfiguration Ihres Clusters beim Start können diese Protokolle auch in Amazon S3 archiviert und über das grafische Debugging-Tool angezeigt werden.

Es gibt viele Arten von Protokollen, die auf dem Primärknoten gespeichert werden. Amazon EMR schreibt Schritt- und Bootstrap-Aktions- und Instance-Status-Protokolle. Apache Hadoop erstellt Protokolle mit Daten zur Verarbeitung von Aufträgen, Aufgaben und versuchten Aufgaben. Hadoop protokolliert außerdem Protokolle seiner Daemons. Weitere Informationen zu den von Hadoop geschriebenen Protokollen finden Sie unter http://hadoop.apache.org/docs/stable/ hadoop-project-dist ClusterSetup /hadoop-common/ .html.

Protokolldateien auf dem Primärknoten anzeigen

Die folgende Tabelle listet einige der Protokolldateien auf, die auf dem Primärknoten zu finden sind.

Ort	Beschreibung
/emr/instance-controller/log/bootstrap-actions	Protokolle, die bei der Verarbeitung von Bootstrap-Aktionen geschrieben werden.
/mnt/var/log/ hadoop-state-pusher	Protokolle, die vom Hadoop-Status-Push-Prozess geschrieben werden.
/emr/instance-controller/log	Instance-Controller-Protokolle.
/emr/instance-state	instance-Statusprotokolle. Diese enthalten Informationen über die CPU, den Arbeitsspeicher und Garbage Collector-Threads des Knotens.
/emr/service-nanny	Protokolle, die vom Service-Nanny-Prozess geschrieben werden.
/mnt/var/log/Anwendung	Protokolle, die sich auf eine bestimmte Anwendung beziehen, wie z. B. Hadoop, Spark oder Hive.
/mnt/var/log/hadoop/steps/N	Schrittprotokolle, die Informationen über die Verarbeitung des Schritts enthalten. Der Wert N gibt den von Amazon EMR zugewiesenen stepId-Wert an. Beispiel: Ein Cluster verfügt über zwei Schritte: s-1234ABCDEFGH und s-5678IJKLMNOP. Der erste Schritt befindet sich in /mnt/var/log/hadoop/steps/s-1234ABCDEFGH/ und der zweite in /mnt/var/log/hadoop/steps/s-5678IJKLMNOP/. Die von Amazon EMR geschriebenen Schrittprotokolle lauten wie folgt. controller – Informationen zur Verarbeitung des Schritts. Wenn Ihr Schritt beim Laden fehlschlägt, finden Sie den Stack-Trace in diesem Protokoll. syslog – Beschreibt die Ausführung von Hadoop-Jobs in diesem Schritt. stderr – Der Standardfehlerkanal von Hadoop bei der Verarbeitung des Schritts. stdout – Der Standardausgabekanal von Hadoop während der Verarbeitung des Schritts.

So zeigen Sie Protokolldateien auf dem Primärknoten mit dem AWS CLI an.

1. Verwenden Sie SSH für die Verbindung mit dem Primärknoten wie in Mit dem Primärknoten über SSH verbinden beschrieben.

2. Navigieren Sie zu dem Verzeichnis mit den Protokolldateiinformationen, die Sie anzeigen möchten. Die oben stehenden Tabelle gibt eine Liste der verfügbaren Protokolldateien mit dem entsprechenden Speicherort an. Das folgende Beispiel zeigt den Befehl für die Navigation zum Schrittprotokoll mit einer ID, s-1234ABCDEFGH.

   cd /mnt/var/log/hadoop/steps/s-1234ABCDEFGH/

3. Verwenden Sie einen Datei-Viewer Ihrer Wahl, um die Protokolldatei anzuzeigen. Im folgenden Beispiel wird der Linux-Befehl less verwendet, um die Protokolldatei controller anzuzeigen.

   less controller

In Amazon S3 archivierte Protokolldateien anzeigen

Standardmäßig archivieren mit der Konsole gestartete Amazon-EMR-Cluster Protokolldateien in Amazon S3 automatisch. Sie können einen eigenen Protokollpfad angeben, und zulassen, dass die Konsole automatisch einen Protokollpfad generiert. Für Cluster, die mit der CLI oder API gestartet wurden, müssen Sie die Archivierung des Amazon-S3-Protokolls manuell konfigurieren.

Wenn Amazon EMR so konfiguriert ist, dass Protokolldateien in Amazon S3 archiviert werden, werden die Dateien an dem von Ihnen angegebenen S3-Speicherort im Ordner /cluster-id/ abgelegt, wobei cluster-id die Cluster-ID ist.

Die folgende Tabelle listet einige der Protokolldateien auf, die in Amazon S3 zu finden sind.

Ort	Beschreibung
/cluster-id/node/	Knotenprotokolle, einschließlich Bootstrap-Aktion, Instance-Status und Anwendungsprotokollen für den Knoten. Die Protokolle für jeden Knoten werden in einem Ordner mit der Bezeichnung der Kennung der EC2 Instance dieses Knotens gespeichert.
/cluster-id/node/instance-id/application	Die Protokolle, die von einzelnen Anwendungen oder Daemons, die einer Anwendung zugeordnet sind, erstellt wurden. Das Hive-Server-Protokoll befindet sich beispielsweise im Verzeichnis cluster-id/node/instance-id/hive/hive-server.log.
/cluster-id/steps/step-id/	Schrittprotokolle, die Informationen über die Verarbeitung des Schritts enthalten. Der Wert step-id gibt den von Amazon EMR zugewiesenen Schritt–ID-Wert an. Beispiel: Ein Cluster verfügt über zwei Schritte: s-1234ABCDEFGH und s-5678IJKLMNOP. Der erste Schritt befindet sich in /mnt/var/log/hadoop/steps/s-1234ABCDEFGH/ und der zweite in /mnt/var/log/hadoop/steps/s-5678IJKLMNOP/. Die von Amazon EMR geschriebenen Schrittprotokolle lauten wie folgt. controller – Informationen zur Verarbeitung des Schritts. Wenn Ihr Schritt beim Laden fehlschlägt, finden Sie den Stack-Trace in diesem Protokoll. syslog – Beschreibt die Ausführung von Hadoop-Jobs in diesem Schritt. stderr – Der Standardfehlerkanal von Hadoop bei der Verarbeitung des Schritts. stdout – Der Standardausgabekanal von Hadoop während der Verarbeitung des Schritts.
/cluster-id/containers	Anwendungscontainerprotokolle. Die Protokolle für jede YARN-Anwendung werden an diesen Speicherorten abgelegt.
/cluster-id/hadoop-mapreduce/	Die Protokolle, die Informationen über Konfigurationsdetails und den Auftragsverlauf von Jobs enthalten. MapReduce

So zeigen Sie Protokolldateien an, die mit der Amazon-S3-Konsole in Amazon S3 archiviert wurden

1. Melden Sie sich bei der Amazon S3 S3-Konsole an AWS Management Console und öffnen Sie sie unter https://console.aws.amazon.com/s3/.

2. Öffnen Sie den S3-Bucket, den Sie angegeben haben, als Sie den Cluster für die Archivierung von Protokolldateien in Amazon S3 konfiguriert haben.

3. Navigieren Sie zu der Protokolldatei, die die Informationen enthält, die angezeigt werden sollen. Die oben stehenden Tabelle gibt eine Liste der verfügbaren Protokolldateien mit dem entsprechenden Speicherort an.

4. Laden Sie das Protokolldateiobjekt herunter, um es anzuzeigen. Anweisungen finden Sie unter Objekt herunterladen.

Protokolldateien im Debugging-Tool anzeigen

Amazon EMR aktiviert das Debugging-Tool nicht automatisch. Sie müssen diese Funktion beim Starten des Clusters konfigurieren. Beachten Sie, dass die neue Amazon-EMR-Konsole das Debugging-Tool nicht bietet.

So zeigen Sie Cluster-Protokolle mit der alten Konsole an

1. Navigieren Sie zur neuen Amazon-EMR-Konsole und wählen Sie in der Seitennavigation die Option Zur alten Konsole wechseln aus. Weitere Informationen darüber, was Sie erwartet, wenn Sie zur alten Konsole wechseln, finden Sie unter Verwenden der alten Konsole.

2. Wählen Sie auf der Seite Cluster-Liste das Detailsymbol neben dem Cluster aus, den Sie anzeigen möchten.

   Dadurch wird die Cluster-Detailseite geöffnet. Im Abschnitt Schritte werden in den Links rechts neben jedem Schritt die verschiedenen Protokolltypen angezeigt, die für den Schritt verfügbar sind. Diese Protokolle werden von Amazon EMR generiert.

3. Um eine Liste der mit einem bestimmten Schritt verknüpften Hadoop-Aufträge anzuzeigen, klicken Sie rechts neben dem Schritt auf den Link Aufträge anzeigen.

4. Um eine Liste der mit einem bestimmten Auftrag verknüpften Hadoop-Aufgaben anzuzeigen, klicken Sie rechts neben dem Job auf den Link Aufgaben anzeigen.

5. Um eine Liste der Versuche anzuzeigen, die eine bestimmte Aufgabe ausgeführt hat, während sie versucht hat, sie abzuschließen, klicken Sie auf den Link Versuche anzeigen rechts neben der Aufgabe.

6. Um die bei einem Task-Versuch generierten Protokolle anzuzeigen, wählen Sie die Links stderr, stdout und syslog, die sich rechts neben dem Aufgabenversuch befinden.

Das Debugging-Tool zeigt Links zu den Protokolldateien an, nachdem Amazon EMR die Protokolldateien in Ihren Bucket in Amazon S3 hochgeladen hat. Da Protokolldateien in Amazon S3 alle 5 Minuten hochgeladen werden, kann es einige Minuten dauern, bis das Hochladen der Protokolldatei abgeschlossen ist, nachdem der Schritt abgeschlossen wurde.

Amazon EMR aktualisiert regelmäßig den Status von Hadoop-Aufträgen, Aufgaben und versuchten Aufgaben im Debugging-Tool. Sie können in den Debugging-Bereichen auf Liste aktualisieren klicken, um sich einen Überblick über den up-to-date Status dieser Elemente zu verschaffen.