Anzeigen und Neustarten von Amazon-EMR- und Anwendungsprozessen (Daemons)

Wenn Sie in einem Cluster Fehler beheben, möchten Sie möglicherweise laufende Prozesse auflisten. Möglicherweise möchten Sie Prozesse auch beenden oder neu starten. Sie können beispielsweise einen Prozess neu starten, nachdem Sie eine Konfiguration geändert haben, oder ein Problem mit einem bestimmten Prozess feststellen, nachdem Sie Protokolldateien und Fehlermeldungen analysiert haben.

Es gibt zwei Arten von Prozessen, die auf einem Cluster ausgeführt werden: Amazon EMR-Prozesse (z. B. Instance-Controller und Log Pusher) und Prozesse, die mit den auf dem Cluster installierten Anwendungen verknüpft sind (z. B., hadoop-hdfs-namenode und). hadoop-yarn-resourcemanager

Um mit Prozessen direkt auf einem Cluster zu arbeiten, stellen Sie eine Verbindung mit dem Hauptknoten her. Weitere Informationen finden Sie unter Eine Verbindung zu einem Amazon-EMR-Cluster herstellen.

Anzeigen von ausgeführten Prozessen

Die Methode, mit der Sie laufende Prozesse in einem Cluster anzeigen, unterscheidet sich je nach der von Ihnen verwendeten Amazon-EMR-Version.

EMR 5.30.0 and 6.0.0 and later

Beispiel : Listet alle laufenden Prozesse auf

Im folgenden Beispiel wird systemctl verwendet und --type angegeben, um alle Prozesse anzuzeigen.

systemctl --type=service

Beispiel : Listet bestimmte Prozesse auf

Im folgenden Beispiel werden alle Prozesse aufgeführt, deren Namen hadoop enthalten.

systemctl --type=service | grep -i hadoop

Beispielausgabe:

 hadoop-hdfs-namenode.service           loaded active running Hadoop namenode
 hadoop-httpfs.service                  loaded active running Hadoop httpfs
 hadoop-kms.service                     loaded active running Hadoop kms
 hadoop-mapreduce-historyserver.service loaded active running Hadoop historyserver
 hadoop-state-pusher.service            loaded active running Daemon process that processes and serves EMR metrics data.
 hadoop-yarn-proxyserver.service        loaded active running Hadoop proxyserver
 hadoop-yarn-resourcemanager.service    loaded active running Hadoop resourcemanager
 hadoop-yarn-timelineserver.service     loaded active running Hadoop timelineserver

Beispiel : Sehen Sie sich einen detaillierten Statusbericht für einen bestimmten Prozess an

Im folgenden Beispiel wird ein detaillierter Statusbericht für den hadoop-hdfs-namenode-Service angezeigt.

sudo systemctl status hadoop-hdfs-namenode

Beispielausgabe:

hadoop-hdfs-namenode.service - Hadoop namenode
   Loaded: loaded (/etc/systemd/system/hadoop-hdfs-namenode.service; enabled; vendor preset: disabled)
   Active: active (running) since Wed 2021-08-18 21:01:46 UTC; 26min ago
 Main PID: 9733 (java)
    Tasks: 0
   Memory: 1.1M
   CGroup: /system.slice/hadoop-hdfs-namenode.service
           ‣ 9733 /etc/alternatives/jre/bin/java -Dproc_namenode -Xmx1843m -server -XX:OnOutOfMemoryError=kill -9 %p ...

Aug 18 21:01:37 ip-172-31-20-123 systemd[1]: Starting Hadoop namenode...
Aug 18 21:01:37 ip-172-31-20-123 su[9715]: (to hdfs) root on none
Aug 18 21:01:37 ip-172-31-20-123 hadoop-hdfs-namenode[9683]: starting namenode, logging to /var/log/hadoop-hdfs/ha...out
Aug 18 21:01:46 ip-172-31-20-123 hadoop-hdfs-namenode[9683]: Started Hadoop namenode:[  OK  ]
Aug 18 21:01:46 ip-172-31-20-123 systemd[1]: Started Hadoop namenode.
Hint: Some lines were ellipsized, use -l to show in full.

EMR 4.x - 5.29.0

Beispiel : Listet alle laufenden Prozesse auf

Das folgende Beispiel listet alle laufenden Prozesse auf.

initctl list

EMR 2.x - 3.x

Beispiel : Listet alle laufenden Prozesse auf

Das folgende Beispiel listet alle laufenden Prozesse auf.

ls /etc/init.d/

Beenden und Neustarten von Prozessen

Nachdem Sie bestimmen, welche Prozesse ausgeführt werden, können Sie diese beenden und dann neu starten.

EMR 5.30.0 and 6.0.0 and later

Beispiel : Stoppt einen Prozess

Das folgende Beispiel stoppt den hadoop-hdfs-namenode-Prozess.

sudo systemctl stop hadoop-hdfs-namenode

Sie können status abfragen, um zu überprüfen, ob der Prozess gestoppt wurde.

sudo systemctl status hadoop-hdfs-namenode

Beispielausgabe:

hadoop-hdfs-namenode.service - Hadoop namenode
  Loaded: loaded (/etc/systemd/system/hadoop-hdfs-namenode.service; enabled; vendor preset: disabled)
  Active: failed (Result: exit-code) since Wed 2021-08-18 21:37:50 UTC; 8s ago
Main PID: 9733 (code=exited, status=143)

Beispiel : Startet einen Prozess

Das folgende Beispiel startet den hadoop-hdfs-namenode-Prozess.

sudo systemctl start hadoop-hdfs-namenode

Sie können den Status überprüfen, um sicherzustellen, dass der Prozess ausgeführt wird.

sudo systemctl status hadoop-hdfs-namenode

Beispielausgabe:

hadoop-hdfs-namenode.service - Hadoop namenode
   Loaded: loaded (/etc/systemd/system/hadoop-hdfs-namenode.service; enabled; vendor preset: disabled)
   Active: active (running) since Wed 2021-08-18 21:38:24 UTC; 2s ago
  Process: 13748 ExecStart=/etc/init.d/hadoop-hdfs-namenode start (code=exited, status=0/SUCCESS)
 Main PID: 13800 (java)
    Tasks: 0
   Memory: 1.1M
   CGroup: /system.slice/hadoop-hdfs-namenode.service
           ‣ 13800 /etc/alternatives/jre/bin/java -Dproc_namenode -Xmx1843m -server -XX:OnOutOfMemoryError=kill -9 %p...        

EMR 4.x - 5.29.0

Beispiel : Stoppt einen laufenden Prozess

Im folgenden Beispiel wird der hadoop-hdfs-namenode-Service gestoppt.

sudo stop hadoop-hdfs-namenode

Beispiel : Startet einen gestoppten Prozess neu

Im folgenden Beispiel wird der hadoop-hdfs-namenode-Service neu gestartet. Sie müssen den start-Befehl verwenden und nicht restart.

sudo start hadoop-hdfs-namenode

Beispiel : Überprüfen des Prozessstatus

Im Folgenden wird der Status für hadoop-hdfs-namenode abgerufen. Sie können den status Befehl verwenden, um zu überprüfen, ob der Prozess gestoppt oder gestartet wurde.

sudo status hadoop-hdfs-namenode

EMR 2.x - 3.x

Beispiel : Beenden eines Anwendungsprozesses

Im folgenden Beispiel wird der hadoop-hdfs-namenode-Service beendet, der mit der auf dem Cluster installierten Version von Amazon EMR verknüpft ist.

sudo /etc/init.d/hadoop-hdfs-namenode stop

Beispiel : Startet einen Anwendungsprozess neu

Geben Sie den folgenden Befehl ein, um den Prozess hadoop-hdfs-namenode neu zu starten:

sudo /etc/init.d/hadoop-hdfs-namenode start

Beispiel : Beendet einen Amazon-EMR-Prozesses

Das folgende Beispiel stoppt einen Prozess, wie z. B. instance-controller, der nicht mit der Version von Amazon EMR auf dem Cluster verknüpft ist.

sudo /sbin/stop instance-controller

Beispiel : Neustart eines Amazon-EMR-Prozesses

Im folgenden Beispiel wird ein Prozess neu gestartet, z. B. instance-Controller, der nicht mit der Version von Amazon EMR auf dem Cluster verknüpft ist.

sudo /sbin/start instance-controller

Anmerkung

Die Befehle /sbin/start, stop und restart sind symbolische Links zu /sbin/intictl. Weitere Informationen zu initctlfinden Sie auf der initctl man-Seite. Geben Sie man initctl in die Befehlszeile ein.