Melihat status dan detail klaster

Setelah Anda membuat sebuah klaster, Anda dapat memantau statusnya dan mendapatkan informasi detail tentang eksekusi dan kesalahan yang mungkin terjadi, bahkan setelah klaster tersebut diakhiri. Amazon EMR menyimpan metadata tentang klaster yang diakhiri untuk referensi Anda selama dua bulan, setelah metadata dihapus. Anda tidak dapat menghapus klaster dari riwayat klaster, tetapi menggunakan AWS Management Console, Anda dapat menggunakan Filter, dan menggunakan AWS CLI, Anda dapat menggunakan opsi dengan perintah list-clusters untuk fokus pada klaster yang Anda pedulikan.

Anda dapat mengakses riwayat aplikasi yang disimpan di klaster selama satu minggu dari waktu riwayat tersebut dicatat, terlepas dari apakah klaster tersebut berjalan atau diakhiri. Selain itu, antarmuka pengguna aplikasi persisten menyimpan riwayat aplikasi di luar klaster selama 30 hari setelah klaster berakhir. Lihat Melihat riwayat aplikasi.

Untuk informasi selengkapnya tentang status klaster, seperti Menunggu dan Berjalan, lihat Memahami siklus hidup klaster.

Lihat detail klaster menggunakan AWS Management Console

Daftar Cluster di https://console.aws.amazon.com/emr mencantumkan semua cluster di akun dan AWS Wilayah Anda, termasuk cluster yang dihentikan. Daftar ini menunjukkan hal berikut untuk setiap cluster: Nama dan ID, detail Status dan Status, waktu Pembuatan, waktu Berlalu saat cluster berjalan, dan jam instans Normalisasi yang telah diperoleh untuk semua instans EC2 di cluster. Daftar ini adalah titik mulai untuk memantau status klaster Anda. Ini dirancang agar Anda dapat menelusuri detail setiap klaster untuk analisis dan pemecahan masalah.

catatan

Kami telah mendesain ulang konsol EMR Amazon agar lebih mudah digunakan. Lihat Apa yang baru dengan konsol? untuk mempelajari tentang perbedaan antara pengalaman konsol lama dan baru.

New console

Untuk melihat informasi cluster dengan konsol baru

1. Masuk keAWS Management Console, dan buka konsol EMR Amazon di https://console.aws.amazon.com/emr.

2. Di bawah EMR pada EC2 di panel navigasi kiri, pilih Clusters, dan pilih cluster yang ingin Anda lihat.

3. Gunakan panel Ringkasan untuk melihat dasar-dasar konfigurasi klaster Anda, seperti status klaster, aplikasi sumber terbuka yang diinstal Amazon EMR di klaster, dan versi Amazon EMR yang Anda gunakan untuk membuat klaster. Gunakan setiap tab di bawah Ringkasan untuk melihat informasi seperti yang dijelaskan dalam tabel berikut.

Old console

Untuk melihat informasi cluster dengan konsol lama

1. Arahkan ke konsol EMR Amazon baru dan pilih Beralih ke konsol lama dari navigasi samping. Untuk informasi selengkapnya tentang apa yang diharapkan saat beralih ke konsol lama, lihat Menggunakan konsol lama.

2. Untuk melihat ringkasan singkat informasi klaster, pilih panah bawah di sebelah tautan untuk cluster di bawah Nama. Baris klaster diperluas untuk memberikan informasi lebih lanjut tentang klaster tersebut, perangkat keras, langkah-langkah, dan tindakan bootstrap. Gunakan tautan di bagian ini untuk menggali hal-hal spesifik. Misalnya, klik tautan di bawah Langkah-Langkah untuk mengakses berkas log langkah, melihat JAR terkait langkah tersebut, mendalami pekerjaan dan tugas dalam langkah tersebut, dan mengakses berkas log.

3. Untuk melihat informasi klaster secara mendalam, pilih tautan cluster di bawah Nama untuk membuka halaman detail cluster. Informasi berikut tersedia di halaman detail cluster di konsol lama:

Tab (Konsol lama)	Deskripsi (Konsol lama)
Sifat-sifat	Gunakan tab ini untuk melihat sistem operasi klaster Anda, penghentian klaster dan konfigurasi keamanan, informasi VPC dan subnet Anda, dan tempat Anda menyimpan log di Amazon S3.
Tindakan Bootstrap	Gunakan tab ini untuk melihat status dari setiap tindakan bootstrap yang dijalankan klaster ketika ia diluncurkan. Tindakan bootstrap digunakan untuk instalasi perangkat lunak kustom dan konfigurasi lanjutan. Untuk informasi selengkapnya, lihat Buat tindakan bootstrap untuk menginstal perangkat lunak tambahan.
Pemantauan	Gunakan tab ini untuk melihat metrik utama operasi klaster. Anda dapat melihat data tingkat klaster, data tingkat simpul, dan informasi tentang I/O dan penyimpanan data.
Contoh	Gunakan tab ini untuk melihat informasi tentang node di klaster Anda, termasuk ID instans EC2, nama DNS, volume EBS, dan lainnya.
Langkah-langkah	Gunakan tab ini untuk melihat status dan mengakses berkas log untuk langkah-langkah yang Anda kirimkan. Untuk informasi selengkapnya tentang langkah-langkahnya, lihat Kirim pekerjaan ke sebuah klaster.
Aplikasi	Gunakan tab ini untuk melihat server timeline YARN luar klaster persisten dan detail aplikasi Tez UI. Anda juga dapat melihat informasi tentang aplikasi yang diinstal, konfigurasi klaster, dan grup instans. Antarmuka pengguna aplikasi di klaster tersedia saat klaster berjalan.
Kejadian	Gunakan tab ini untuk melihat log peristiwa untuk klaster Anda. Untuk informasi selengkapnya, lihat Memantau peristiwa EMR Amazon dengan CloudWatch.
Tanda	Gunakan tab ini untuk melihat tag apa pun yang Anda terapkan ke cluster.

Lihat detail klaster menggunakan AWS CLI

Contoh-contoh berikut ini mendemonstrasikan cara mengambil detail klaster menggunakan AWS CLI. Untuk informasi selengkapnya tentang perintah yang tersedia, lihat AWS CLI Referensi Perintah untuk Amazon EMR. Anda dapat menggunakan perintah describe-cluster untuk melihat detail tingkat klaster termasuk status, konfigurasi perangkat keras dan perangkat lunak, pengaturan VPC, tindakan bootstrap, grup instans, dan sebagainya. Untuk informasi selengkapnyua tentang status klaster, lihat Memahami siklus hidup klaster. Contoh berikut menunjukkan menggunakan perintah describe-cluster, diikuti oleh contoh-contoh perintah list-clusters.

contoh Melihat status klaster

Untuk menggunakan perintah describe-cluster, Anda memerlukan ID klaster. Contoh ini menunjukkan menggunakan untuk mendapatkan daftar klaster yang dibuat dalam kisaran tanggal tertentu, dan kemudian menggunakan salah satu ID klaster yang dikembalikan untuk mencantumkan informasi selengkapnya tentang status klaster individu.

Perintah berikut menggambarkan klaster j-1K48XXXXXXHCB, yang Anda ganti dengan ID klaster Anda.

aws emr describe-cluster --cluster-id j-1K48XXXXXXHCB

Output perintah Anda serupa dengan yang berikut ini:

{
    "Cluster": {
        "Status": {
            "Timeline": {
                "ReadyDateTime": 1438281058.061, 
                "CreationDateTime": 1438280702.498
            }, 
            "State": "WAITING", 
            "StateChangeReason": {
                "Message": "Waiting for steps to run"
            }
        }, 
        "Ec2InstanceAttributes": {
            "EmrManagedMasterSecurityGroup": "sg-cXXXXX0", 
            "IamInstanceProfile": "EMR_EC2_DefaultRole", 
            "Ec2KeyName": "myKey", 
            "Ec2AvailabilityZone": "us-east-1c", 
            "EmrManagedSlaveSecurityGroup": "sg-example"
        }, 
        "Name": "Development Cluster", 
        "ServiceRole": "EMR_DefaultRole", 
        "Tags": [], 
        "TerminationProtected": false, 
        "ReleaseLabel": "emr-4.0.0", 
        "NormalizedInstanceHours": 16, 
        "InstanceGroups": [
            {
                "RequestedInstanceCount": 1, 
                "Status": {
                    "Timeline": {
                        "ReadyDateTime": 1438281058.101, 
                        "CreationDateTime": 1438280702.499
                    }, 
                    "State": "RUNNING", 
                    "StateChangeReason": {
                        "Message": ""
                    }
                }, 
                "Name": "CORE", 
                "InstanceGroupType": "CORE", 
                "Id": "ig-2EEXAMPLEXXP", 
                "Configurations": [], 
                "InstanceType": "m5.xlarge", 
                "Market": "ON_DEMAND", 
                "RunningInstanceCount": 1
            }, 
            {
                "RequestedInstanceCount": 1, 
                "Status": {
                    "Timeline": {
                        "ReadyDateTime": 1438281023.879, 
                        "CreationDateTime": 1438280702.499
                    }, 
                    "State": "RUNNING", 
                    "StateChangeReason": {
                        "Message": ""
                    }
                }, 
                "Name": "MASTER", 
                "InstanceGroupType": "MASTER", 
                "Id": "ig-2A1234567XP", 
                "Configurations": [], 
                "InstanceType": "m5.xlarge", 
                "Market": "ON_DEMAND", 
                "RunningInstanceCount": 1
            }
        ], 
        "Applications": [
            {
                "Version": "1.0.0", 
                "Name": "Hive"
            }, 
            {
                "Version": "2.6.0", 
                "Name": "Hadoop"
            }, 
            {
                "Version": "0.14.0", 
                "Name": "Pig"
            }, 
            {
                "Version": "1.4.1", 
                "Name": "Spark"
            }
        ], 
        "BootstrapActions": [], 
        "MasterPublicDnsName": "ec2-X-X-X-X.compute-1.amazonaws.com", 
        "AutoTerminate": false, 
        "Id": "j-jobFlowID", 
        "Configurations": [
            {
                "Properties": {
                    "hadoop.security.groups.cache.secs": "250"
                }, 
                "Classification": "core-site"
            }, 
            {
                "Properties": {
                    "mapreduce.tasktracker.reduce.tasks.maximum": "5", 
                    "mapred.tasktracker.map.tasks.maximum": "2", 
                    "mapreduce.map.sort.spill.percent": "90"
                }, 
                "Classification": "mapred-site"
            }, 
            {
                "Properties": {
                    "hive.join.emit.interval": "1000", 
                    "hive.merge.mapfiles": "true"
                }, 
                "Classification": "hive-site"
            }
        ]
    }
}

contoh Mencantumkan klaster berdasarkan tanggal pembuatan

Untuk mengambil klaster yang dibuat dalam kisaran data tertentu, gunakan perintah list-clusters dengan parameter --created-after dan --created-before.

Perintah berikut mencantumkan semua klaster yang dibuat antara 09 Oktober 2019 dan 12 Oktober 2019.

aws emr list-clusters --created-after 2019-10-09T00:12:00 --created-before 2019-10-12T00:12:00

contoh Mencantumkan klaster berdasarkan status

Untuk mencantumkan klaster berdasarkan status, gunakan perintah list-clusters dengan parameter --cluster-states. Status klaster yang valid meliputi: MULAI, BOOTSTRAPPING, BERJALAN, MENUNGGU, MENGAKHIRI, DIAKHIRI, dan DIAKHIRI_DENGAN_KESALAHAN.

aws emr list-clusters --cluster-states TERMINATED

Anda juga dapat menggunakan parameter jalan pintas berikut untuk mencantumkan semua klaster dalam status yang ditentukan. :

• --active mem-filter klaster dalam status MULAI, BOOTSTRAPPING, BERJALAN, MENUNGGU, atau MENGAKHIRI.

• --terminated mem-filter klaster dalam status DIAKHIRI.

• Parameter --failed mem-filter klaster dalam status DIAKHIRI_DENGAN_KESALAHAN.

Perintah berikut mengembalikan hasil yang sama.

aws emr list-clusters --cluster-states TERMINATED

aws emr list-clusters --terminated

Untuk informasi selengkapnyua tentang status klaster, lihat Memahami siklus hidup klaster.