Memahami metrik penskalaan terkelola

Amazon EMR menerbitkan metrik resolusi tinggi dengan data pada rincian satu menit ketika penskalaan terkelola diaktifkan untuk suatu klaster. Anda dapat melihat peristiwa pada setiap inisiasi dan penyelesaian pengubahan ukuran yang dikendalikan oleh penskalaan terkelola dengan konsol EMR Amazon atau konsol Amazon. CloudWatch CloudWatch metrik sangat penting agar penskalaan terkelola Amazon EMR dapat beroperasi. Kami menyarankan Anda memantau CloudWatch metrik dengan cermat untuk memastikan data tidak hilang. Untuk informasi selengkapnya tentang cara mengonfigurasi CloudWatch alarm untuk mendeteksi metrik yang hilang, lihat Menggunakan alarm Amazon CloudWatch . Untuk informasi selengkapnya tentang penggunaan CloudWatch peristiwa dengan Amazon EMR, lihat Memantau CloudWatch peristiwa.

Metrik berikut menunjukkan kapasitas saat ini atau kapasitas target suatu klaster. Metrik ini hanya tersedia apabila penskalaan terkelola diaktifkan. Untuk klaster yang terdiri dari armada instans, metrik kapasitas klaster diukur dalam Units. Untuk klaster yang terdiri dari grup instans, metrik kapasitas klaster diukur dalam Nodes atau vCPU berdasarkan jenis unit yang digunakan dalam kebijakan penskalaan terkelola.

Metrik	Deskripsi
TotalUnitsRequested TotalNodesRequested TotalVCPURequested	Target jumlah total unit/simpul/vCPU dalam sebuah klaster yang ditentukan oleh penskalaan terkelola. Unit: Jumlah
TotalUnitsRunning TotalNodesRunning TotalVCPURunning	Jumlah total unit/simpul/vCPU saat ini yang tersedia dalam klaster yang sedang berjalan. Ketika ada permintaan perubahan ukuran klaster, metrik ini akan diperbarui setelah instans baru ditambahkan atau dihapus dari klaster. Unit: Jumlah
CoreUnitsRequested CoreNodesRequested CoreVCPURequested	Target jumlah unit/simpul/vCPU INTI dalam sebuah klaster yang ditentukan oleh penskalaan terkelola. Unit: Jumlah
CoreUnitsRunning CoreNodesRunning CoreVCPURunning	Jumlah unit/simpul/vCPU INTI saat ini yang berjalan dalam suatu klaster. Unit: Jumlah
TaskUnitsRequested TaskNodesRequested TaskVCPURequested	Jumlah target unit/simpul/vCPU TUGAS dalam sebuah klaster yang ditentukan oleh penskalaan terkelola. Unit: Jumlah
TaskUnitsRunning TaskNodesRunning TaskVCPURunning	Jumlah unit/simpul/vCPU TUGAS saat ini yang berjalan dalam suatu klaster. Unit: Jumlah

Metrik berikut menunjukkan status penggunaan klaster dan aplikasi. Metrik ini tersedia untuk semua fitur Amazon EMR, tetapi diterbitkan pada resolusi yang lebih tinggi dengan data pada rincian satu menit ketika penskalaan terkelola diaktifkan untuk sebuah klaster. Anda dapat mengkorelasikan metrik berikut dengan metrik kapasitas klaster di tabel sebelumnya untuk memahami keputusan penskalaan terkelola.

Metrik	Deskripsi
AppsCompleted	Jumlah aplikasi yang dikirimkan ke YARN yang telah selesai. Kasus penggunaan: Memantau kemajuan klaster Unit: Jumlah
AppsPending	Jumlah aplikasi yang dikirimkan ke YARN yang berada dalam status tertunda. Kasus penggunaan: Memantau kemajuan klaster Unit: Jumlah
AppsRunning	Jumlah aplikasi yang dikirimkan ke YARN yang sedang berjalan. Kasus penggunaan: Memantau kemajuan klaster Unit: Jumlah
ContainerAllocated	Jumlah wadah sumber daya yang dialokasikan oleh. ResourceManager Kasus penggunaan: Memantau kemajuan klaster Unit: Jumlah
ContainerPending	Jumlah kontainer dalam antrean yang belum dialokasikan. Kasus penggunaan: Memantau kemajuan klaster Unit: Jumlah
ContainerPendingRatio	Rasio kontainer yang tertunda dengan kontainer yang dialokasikan (ContainerPendingRatio = ContainerPending / ContainerAllocated). Jika ContainerAllocated = 0, maka ContainerPendingRatio =ContainerPending. Nilai ContainerPendingRatio mewakili angka, bukan persentase. Nilai ini berguna untuk menskalakan sumber daya klaster berdasarkan perilaku alokasi kontainer. Unit: Jumlah
HDFSUtilization	Persentase penyimpanan HDFS yang saat ini digunakan. Kasus penggunaan: Menganalisis performa klaster Unit: Persen
IsIdle	Menunjukkan bahwa klaster tidak lagi melakukan pekerjaan, tetapi masih hidup dan menimbulkan biaya. Diatur ke 1 jika tidak ada tugas yang berjalan dan tidak ada pekerjaan yang berjalan, dan diatur ke 0 jika sebaliknya. Nilai ini diperiksa pada interval lima menit dan nilai 1 hanya menunjukkan bahwa klaster tersebut menganggur ketika diperiksa, bukan bahwa klaster tersebut menganggur selama lima menit tersebut. Untuk menghindari positif yang salah, Anda harus menyalakan alarm ketika nilai ini 1 selama lebih dari satu pemeriksaan lima menit berturut-turut. Misalnya, Anda mungkin menyalakan alarm pada nilai ini jika telah 1 selama tiga puluh menit atau lebih. Kasus penggunaan: Memantau performa klaster Unit: Boolean
MemoryAvailableMB	Jumlah memori yang tersedia untuk dialokasikan. Kasus penggunaan: Memantau kemajuan klaster Unit: Jumlah
MRActiveNodes	Jumlah node yang saat ini menjalankan MapReduce tugas atau pekerjaan. Setara dengan metrik YARN mapred.resourcemanager.NoOfActiveNodes. Kasus penggunaan: Memantau kemajuan klaster Unit: Jumlah
YARNMemoryAvailablePercentage	Persentase sisa memori yang tersedia untuk YARN (YARN MemoryAvailablePercentage = MemoryAvailable MB/MemoryTotalMB). Nilai ini berguna untuk menskalakan sumber daya klaster berdasarkan penggunaan memori YARN. Unit: Persen

Membuat grafik metrik penskalaan terkelola

Anda dapat membuat grafik metrik untuk memvisualisasikan pola beban kerja klaster Anda dan keputusan penskalaan terkait yang dibuat oleh penskalaan terkelola Amazon EMR seperti yang ditunjukkan oleh langkah-langkah berikut.

Untuk membuat grafik metrik penskalaan terkelola di konsol CloudWatch

1. Buka konsol CloudWatch.

2. Di panel navigasi, pilih Amazon EMR. Anda dapat mencari di pengidentifikasi klaster pada klaster tersebut untuk memantau.

3. Gulir ke bawah ke metrik untuk membuat grafik. Buka metrik untuk menampilkan grafik.

4. Untuk membuat grafik pada satu metrik atau lebih, pilih kotak centang di samping setiap metrik.

Contoh berikut menggambarkan aktivitas penskalaan terkelola Amazon EMR dari sebuah cluster. Grafik menunjukkan tiga periode penskalaan otomatis, yang menghemat biaya ketika ada beban kerja yang kurang aktif.

Semua metrik penggunaan dan kapasitas klaster dipublikasikan pada interval satu menit. Informasi statistik tambahan juga dikaitkan dengan setiap data satu menit, yang memungkinkan Anda merencanakan berbagai fungsi seperti Percentiles, Min, Max, Sum, Average, SampleCount.

Misalnya, grafik berikut menggambarkan metrik YARNMemoryAvailablePercentage yang sama pada persentil yang berbeda, P10, P50, P90, P99, bersama dengan Sum, Average, Min, SampleCount.