Melihat status dan detail klaster

Setelah Anda membuat sebuah klaster, Anda dapat memantau statusnya dan mendapatkan informasi detail tentang eksekusi dan kesalahan yang mungkin terjadi, bahkan setelah klaster tersebut diakhiri. Amazon EMR menyimpan metadata tentang cluster yang dihentikan untuk referensi Anda selama dua bulan, setelah itu metadata dihapus. Anda tidak dapat menghapus klaster dari riwayat klaster, tetapi menggunakan AWS Management Console, Anda dapat menggunakan Filter, dan menggunakan AWS CLI, Anda dapat menggunakan opsi dengan perintah list-clusters untuk fokus pada klaster yang Anda pedulikan.

Anda dapat mengakses riwayat aplikasi yang disimpan di klaster selama satu minggu dari waktu riwayat tersebut dicatat, terlepas dari apakah klaster tersebut berjalan atau diakhiri. Selain itu, antarmuka pengguna aplikasi persisten menyimpan riwayat aplikasi di luar klaster selama 30 hari setelah klaster berakhir. Lihat Melihat riwayat aplikasi.

Untuk informasi selengkapnya tentang status klaster, seperti Menunggu dan Berjalan, lihat Memahami siklus hidup klaster.

Lihat detail cluster menggunakan AWS Management Console

Daftar Cluster di https://console.aws.amazon.com/emr mencantumkan semua cluster di akun dan AWS Wilayah Anda, termasuk cluster yang dihentikan. Daftar ini menunjukkan hal berikut untuk setiap klaster: Nama dan ID, detail Status dan Status, waktu Pembuatan, waktu Berlalu saat cluster berjalan, dan jam instans Normalisasi yang telah diperoleh untuk semua EC2 instance di cluster. Daftar ini adalah titik mulai untuk memantau status klaster Anda. Ini dirancang agar Anda dapat menelusuri detail setiap klaster untuk analisis dan pemecahan masalah.

Console

Untuk melihat informasi cluster dengan konsol

1. Masuk ke AWS Management Console, dan buka EMR konsol Amazon di https://console.aws.amazon.com/emr.

2. EMRDi bawah EC2 di panel navigasi kiri, pilih Clusters, dan pilih cluster yang ingin Anda lihat.

3. Gunakan panel Ringkasan untuk melihat dasar-dasar konfigurasi klaster Anda, seperti status klaster, aplikasi sumber terbuka yang EMR diinstal Amazon di klaster, dan versi Amazon EMR yang Anda gunakan untuk membuat klaster. Gunakan setiap tab di bawah Ringkasan untuk melihat informasi seperti yang dijelaskan dalam tabel berikut.

Lihat detail cluster menggunakan AWS CLI

Contoh-contoh berikut ini mendemonstrasikan cara mengambil detail klaster menggunakan AWS CLI. Untuk informasi selengkapnya tentang perintah yang tersedia, lihat Referensi AWS CLI Perintah untuk Amazon EMR. Anda dapat menggunakan perintah deskripsi-cluster untuk melihat detail tingkat cluster termasuk status, konfigurasi perangkat keras dan perangkat lunak, VPC pengaturan, tindakan bootstrap, grup instance, dan sebagainya. Untuk informasi selengkapnyua tentang status klaster, lihat Memahami siklus hidup klaster. Contoh berikut menunjukkan menggunakan perintah describe-cluster, diikuti oleh contoh-contoh perintah list-clusters.

contoh Melihat status klaster

Untuk menggunakan perintah describe-cluster, Anda memerlukan ID klaster. Contoh ini menunjukkan penggunaan untuk mendapatkan daftar cluster yang dibuat dalam rentang tanggal tertentu, dan kemudian menggunakan salah satu cluster yang IDs dikembalikan untuk mencantumkan informasi lebih lanjut tentang status cluster individu.

Perintah berikut menjelaskan cluster j-1K48XXXXXXHCB, yang Anda ganti dengan ID cluster Anda.

aws emr describe-cluster --cluster-id j-1K48XXXXXXHCB

Output perintah Anda serupa dengan yang berikut ini:

{
    "Cluster": {
        "Status": {
            "Timeline": {
                "ReadyDateTime": 1438281058.061, 
                "CreationDateTime": 1438280702.498
            }, 
            "State": "WAITING", 
            "StateChangeReason": {
                "Message": "Waiting for steps to run"
            }
        }, 
        "Ec2InstanceAttributes": {
            "EmrManagedMasterSecurityGroup": "sg-cXXXXX0", 
            "IamInstanceProfile": "EMR_EC2_DefaultRole", 
            "Ec2KeyName": "myKey", 
            "Ec2AvailabilityZone": "us-east-1c", 
            "EmrManagedSlaveSecurityGroup": "sg-example"
        }, 
        "Name": "Development Cluster", 
        "ServiceRole": "EMR_DefaultRole", 
        "Tags": [], 
        "TerminationProtected": false, 
        "ReleaseLabel": "emr-4.0.0", 
        "NormalizedInstanceHours": 16, 
        "InstanceGroups": [
            {
                "RequestedInstanceCount": 1, 
                "Status": {
                    "Timeline": {
                        "ReadyDateTime": 1438281058.101, 
                        "CreationDateTime": 1438280702.499
                    }, 
                    "State": "RUNNING", 
                    "StateChangeReason": {
                        "Message": ""
                    }
                }, 
                "Name": "CORE", 
                "InstanceGroupType": "CORE", 
                "Id": "ig-2EEXAMPLEXXP", 
                "Configurations": [], 
                "InstanceType": "m5.xlarge", 
                "Market": "ON_DEMAND", 
                "RunningInstanceCount": 1
            }, 
            {
                "RequestedInstanceCount": 1, 
                "Status": {
                    "Timeline": {
                        "ReadyDateTime": 1438281023.879, 
                        "CreationDateTime": 1438280702.499
                    }, 
                    "State": "RUNNING", 
                    "StateChangeReason": {
                        "Message": ""
                    }
                }, 
                "Name": "MASTER", 
                "InstanceGroupType": "MASTER", 
                "Id": "ig-2A1234567XP", 
                "Configurations": [], 
                "InstanceType": "m5.xlarge", 
                "Market": "ON_DEMAND", 
                "RunningInstanceCount": 1
            }
        ], 
        "Applications": [
            {
                "Version": "1.0.0", 
                "Name": "Hive"
            }, 
            {
                "Version": "2.6.0", 
                "Name": "Hadoop"
            }, 
            {
                "Version": "0.14.0", 
                "Name": "Pig"
            }, 
            {
                "Version": "1.4.1", 
                "Name": "Spark"
            }
        ], 
        "BootstrapActions": [], 
        "MasterPublicDnsName": "ec2-X-X-X-X.compute-1.amazonaws.com", 
        "AutoTerminate": false, 
        "Id": "j-jobFlowID", 
        "Configurations": [
            {
                "Properties": {
                    "hadoop.security.groups.cache.secs": "250"
                }, 
                "Classification": "core-site"
            }, 
            {
                "Properties": {
                    "mapreduce.tasktracker.reduce.tasks.maximum": "5", 
                    "mapred.tasktracker.map.tasks.maximum": "2", 
                    "mapreduce.map.sort.spill.percent": "90"
                }, 
                "Classification": "mapred-site"
            }, 
            {
                "Properties": {
                    "hive.join.emit.interval": "1000", 
                    "hive.merge.mapfiles": "true"
                }, 
                "Classification": "hive-site"
            }
        ]
    }
}

contoh Mencantumkan klaster berdasarkan tanggal pembuatan

Untuk mengambil klaster yang dibuat dalam kisaran data tertentu, gunakan perintah list-clusters dengan parameter --created-after dan --created-before.

Perintah berikut mencantumkan semua klaster yang dibuat antara 09 Oktober 2019 dan 12 Oktober 2019.

aws emr list-clusters --created-after 2019-10-09T00:12:00 --created-before 2019-10-12T00:12:00

contoh Mencantumkan klaster berdasarkan status

Untuk mencantumkan klaster berdasarkan status, gunakan perintah list-clusters dengan parameter --cluster-states. Status cluster yang valid meliputi: STARTINGBOOTSTRAPPING,,RUNNING,WAITING,TERMINATING,TERMINATED, dan TERMINATED _ WITH _ERRORS.

aws emr list-clusters --cluster-states TERMINATED

Anda juga dapat menggunakan parameter jalan pintas berikut untuk mencantumkan semua klaster dalam status yang ditentukan. :

• --activemenyaring cluster diSTARTING,,, BOOTSTRAPPING RUNNINGWAITING, atau TERMINATING negara bagian.

• --terminatedfilter cluster di TERMINATED negara bagian.

• --failedparameter menyaring cluster dalam ERRORS status TERMINATED _ WITH _.

Perintah berikut mengembalikan hasil yang sama.

aws emr list-clusters --cluster-states TERMINATED

aws emr list-clusters --terminated

Untuk informasi selengkapnyua tentang status klaster, lihat Memahami siklus hidup klaster.