Lihat dan mulai ulang EMR Amazon dan proses aplikasi (daemon)

Ketika Anda memecahkan masalah klaster, Anda mungkin ingin mencantumkan proses yang berjalan. Anda mungkin juga ingin menghentikan atau memulai ulang ProcesSess. Misalnya, Anda dapat memulai ulang proses setelah mengubah konfigurasi atau melihat masalah dengan proses tertentu setelah Anda menganalisis file log dan pesan kesalahan.

Ada dua jenis proses yang berjalan di cluster: Amazon EMR proses (misalnya, instance-controller dan Log Pusher), dan proses yang terkait dengan aplikasi yang diinstal pada cluster (misalnya,, dan). hadoop-hdfs-namenode hadoop-yarn-resourcemanager

Untuk bekerja dengan proses langsung pada cluster, Anda harus terlebih dahulu terhubung ke node master. Untuk informasi selengkapnya, lihat Connect ke kluster EMR Amazon.

Melihat proses yang berjalan

Metode yang Anda gunakan untuk melihat proses yang sedang berjalan di klaster berbeda sesuai dengan versi EMR Amazon yang Anda gunakan.

EMR 5.30.0 and 6.0.0 and later

contoh : Daftar semua proses yang berjalan

Contoh berikut menggunakan systemctl dan menentukan --type untuk melihat semua proses.

systemctl --type=service

contoh : Daftar proses spesifik

Contoh berikut mencantumkan semua proses dengan nama yang berisihadoop.

systemctl --type=service | grep -i hadoop

Contoh output:

 hadoop-hdfs-namenode.service           loaded active running Hadoop namenode
 hadoop-httpfs.service                  loaded active running Hadoop httpfs
 hadoop-kms.service                     loaded active running Hadoop kms
 hadoop-mapreduce-historyserver.service loaded active running Hadoop historyserver
 hadoop-state-pusher.service            loaded active running Daemon process that processes and serves EMR metrics data.
 hadoop-yarn-proxyserver.service        loaded active running Hadoop proxyserver
 hadoop-yarn-resourcemanager.service    loaded active running Hadoop resourcemanager
 hadoop-yarn-timelineserver.service     loaded active running Hadoop timelineserver

contoh : Lihat laporan status terperinci untuk proses tertentu

Contoh berikut menampilkan laporan status rinci untuk hadoop-hdfs-namenode layanan.

sudo systemctl status hadoop-hdfs-namenode

Contoh output:

hadoop-hdfs-namenode.service - Hadoop namenode
   Loaded: loaded (/etc/systemd/system/hadoop-hdfs-namenode.service; enabled; vendor preset: disabled)
   Active: active (running) since Wed 2021-08-18 21:01:46 UTC; 26min ago
 Main PID: 9733 (java)
    Tasks: 0
   Memory: 1.1M
   CGroup: /system.slice/hadoop-hdfs-namenode.service
           ‣ 9733 /etc/alternatives/jre/bin/java -Dproc_namenode -Xmx1843m -server -XX:OnOutOfMemoryError=kill -9 %p ...

Aug 18 21:01:37 ip-172-31-20-123 systemd[1]: Starting Hadoop namenode...
Aug 18 21:01:37 ip-172-31-20-123 su[9715]: (to hdfs) root on none
Aug 18 21:01:37 ip-172-31-20-123 hadoop-hdfs-namenode[9683]: starting namenode, logging to /var/log/hadoop-hdfs/ha...out
Aug 18 21:01:46 ip-172-31-20-123 hadoop-hdfs-namenode[9683]: Started Hadoop namenode:[  OK  ]
Aug 18 21:01:46 ip-172-31-20-123 systemd[1]: Started Hadoop namenode.
Hint: Some lines were ellipsized, use -l to show in full.

EMR 4.x - 5.29.0

contoh : Daftar semua proses yang berjalan

Contoh berikut mencantumkan semua proses yang berjalan.

initctl list

EMR 2.x - 3.x

contoh : Daftar semua proses yang berjalan

Contoh berikut mencantumkan semua proses yang berjalan.

ls /etc/init.d/

Menghentikan dan memulai kembali proses

Setelah Anda menentukan proses apa yang sedang berjalan, Anda dapat menghentikannya lalu memulai ulang jika diperlukan.

EMR 5.30.0 and 6.0.0 and later

contoh : Hentikan proses

Contoh berikut menghentikan hadoop-hdfs-namenode proses.

sudo systemctl stop hadoop-hdfs-namenode

Anda dapat meminta status untuk memverifikasi bahwa proses dihentikan.

sudo systemctl status hadoop-hdfs-namenode

Contoh output:

hadoop-hdfs-namenode.service - Hadoop namenode
  Loaded: loaded (/etc/systemd/system/hadoop-hdfs-namenode.service; enabled; vendor preset: disabled)
  Active: failed (Result: exit-code) since Wed 2021-08-18 21:37:50 UTC; 8s ago
Main PID: 9733 (code=exited, status=143)

contoh : Memulai proses

Contoh berikut memulai hadoop-hdfs-namenode proses.

sudo systemctl start hadoop-hdfs-namenode

Anda dapat menanyakan status untuk memverifikasi bahwa proses sedang berjalan.

sudo systemctl status hadoop-hdfs-namenode

Contoh output:

hadoop-hdfs-namenode.service - Hadoop namenode
   Loaded: loaded (/etc/systemd/system/hadoop-hdfs-namenode.service; enabled; vendor preset: disabled)
   Active: active (running) since Wed 2021-08-18 21:38:24 UTC; 2s ago
  Process: 13748 ExecStart=/etc/init.d/hadoop-hdfs-namenode start (code=exited, status=0/SUCCESS)
 Main PID: 13800 (java)
    Tasks: 0
   Memory: 1.1M
   CGroup: /system.slice/hadoop-hdfs-namenode.service
           ‣ 13800 /etc/alternatives/jre/bin/java -Dproc_namenode -Xmx1843m -server -XX:OnOutOfMemoryError=kill -9 %p...        

EMR 4.x - 5.29.0

contoh : Hentikan proses yang sedang berjalan

Contoh berikut menghentikan hadoop-hdfs-namenode layanan.

sudo stop hadoop-hdfs-namenode

contoh : Mulai ulang proses yang dihentikan

Contoh berikut memulai ulang hadoop-hdfs-namenode layanan. Anda harus menggunakan start perintah dan tidakrestart.

sudo start hadoop-hdfs-namenode

contoh : Periksa status proses

Berikut ini mengambil status untukhadoop-hdfs-namenode. Anda dapat menggunakan status perintah untuk memverifikasi bahwa proses telah berhenti atau dimulai.

sudo status hadoop-hdfs-namenode

EMR 2.x - 3.x

contoh : Hentikan proses aplikasi

Contoh berikut menghentikan hadoop-hdfs-namenode layanan, yang dikaitkan dengan versi Amazon EMR yang diinstal pada cluster.

sudo /etc/init.d/hadoop-hdfs-namenode stop

contoh : Mulai ulang proses aplikasi

Contoh perintah berikut memulai ulang hadoop-hdfs-namenode proses:

sudo /etc/init.d/hadoop-hdfs-namenode start

contoh : Hentikan proses EMR Amazon

Contoh berikut menghentikan proses, seperti instance-controller, yang tidak terkait dengan versi Amazon EMR di cluster.

sudo /sbin/stop instance-controller

contoh : Mulai ulang proses EMR Amazon

Contoh berikut memulai ulang proses, seperti instance-controller, yang tidak terkait dengan versi Amazon EMR di cluster.

sudo /sbin/start instance-controller

catatan

Perintah /sbin/start, stop dan restart adalah symlink ke /sbin/intictl. Untuk informasi selengkapnya tentang initctl, lihat halaman man initctl dengan mengetik man initctl pada prompt perintah.