Langkah 2: Periksa lingkungan

Amazon EMR beroperasi sebagai bagian dari ekosistem layanan web dan perangkat lunak sumber terbuka. Hal-hal yang mempengaruhi dependensi tersebut dapat mempengaruhi performa Amazon EMR.

Periksa pemadaman layanan

Amazon EMR menggunakan beberapa Amazon Web Services secara internal. Ini menjalankan server virtual di Amazon EC2, menyimpan data dan skrip di Amazon S3, dan melaporkan metrik ke. CloudWatch Peristiwa yang mengganggu layanan ini jarang terjadi — tetapi ketika terjadi — dapat menyebabkan masalah di Amazon EMR.

Sebelum Anda melangkah lebih jauh, periksa Service Health Dashboard. Periksa Wilayah tempat Anda meluncurkan klaster untuk melihat apakah ada peristiwa gangguan di salah satu layanan ini.

Periksa batas penggunaan

Jika Anda meluncurkan cluster besar, telah meluncurkan banyak cluster secara bersamaan, atau Anda adalah pengguna yang berbagi Akun AWS dengan pengguna lain, cluster mungkin gagal karena Anda melebihi batas AWS layanan.

Amazon EC2 membatasi jumlah instans server virtual yang berjalan di satu AWS Wilayah hingga 20 instans sesuai permintaan atau cadangan. Jika Anda meluncurkan klaster dengan lebih dari 20 node, atau meluncurkan klaster yang menyebabkan jumlah total EC2 instance yang aktif pada Anda Akun AWS melebihi 20, cluster tidak akan dapat meluncurkan semua EC2 instance yang diperlukan dan mungkin gagal. Ketika ini terjadi, Amazon EMR mengembalikan kesalahan EC2 QUOTA EXCEEDED. Anda dapat meminta untuk AWS menambah jumlah EC2 instans yang dapat dijalankan di akun Anda dengan mengirimkan aplikasi Permintaan untuk Meningkatkan Batas EC2 Instans Amazon.

Hal lain yang dapat menyebabkan Anda melebihi batas penggunaan Anda adalah penundaan antara ketika sebuah klaster diakhiri dan ketika klaster merilis seluruh sumber dayanya. Tergantung pada konfigurasinya, mungkin memakan waktu hingga 5-20 menit bagi klaster untuk sepenuhnya mengakhiri dan melepaskan sumber daya yang teralokasi. Jika Anda mendapatkan kesalahan EC2 QUOTA EXCEEDED ketika Anda mencoba untuk memulai sebuah klaster, ini mungkin karena sumber daya dari klaster yang baru diakhiri belum dirilis. Dalam hal ini, Anda dapat meminta agar EC2 kuota Amazon Anda ditingkatkan, atau Anda dapat menunggu dua puluh menit dan meluncurkan kembali cluster.

Amazon S3 membatasi jumlah bucket yang dibuat pada sebuah akun hingga 100. Jika klaster Anda menciptakan bucket baru yang melebihi batas ini, pembuatan bucket akan gagal dan dapat menyebabkan klaster gagal.

Periksa versi rilis

Bandingkan label rilis yang Anda gunakan untuk meluncurkan klaster dengan rilis Amazon EMR terbaru. Setiap rilis Amazon EMR mencakup perbaikan seperti aplikasi, fitur, patch, dan perbaikan bug yang baru. Masalah yang mempengaruhi klaster Anda mungkin telah diperbaiki dalam versi rilis terbaru. Jika memungkinkan, jalankan kembali klaster Anda menggunakan versi terbaru.

Periksa konfigurasi subnet Amazon VPC

Jika klaster Anda diluncurkan di subnet Amazon VPC, subnet harus dikonfigurasi seperti yang dijelaskan di Konfigurasikan jaringan di VPC untuk Amazon EMR. Selain itu, periksa bahwa subnet tempat Anda meluncurkan klaster memiliki alamat IP elastis kosong yang cukup untuk menugaskan satu untuk setiap simpul dalam klaster.