Mendebug langkah EMR Menggunakan aplikasi YARN IDs

Salah satu cara efektif untuk men-debug langkah-langkah yang meluncurkan aplikasi berbasis Benang (seperti langkah Spark) adalah dengan memanfaatkan informasi ID Aplikasi Benang yang tersedia di konsol EMR Amazon.

ID aplikasi YARN

Untuk langkah-langkah yang menjalankan Spark atau pekerjaan berbasis Benang lainnya, Konsol EMR menunjukkan ID Aplikasi YARN yang paling baru dijalankan dalam detail langkah. Jika sebuah langkah meluncurkan beberapa aplikasi YARN, hanya ID Aplikasi terakhir yang dieksekusi yang ditampilkan.

Mengapa menggunakan aplikasi Yarn IDs untuk debugging?

• Anda dapat secara langsung menghubungkan langkah-langkah EMR ke aplikasi Yarn: Identifikasi dengan tepat aplikasi Yarn mana yang sesuai dengan langkah yang bermasalah atau menarik.

• Anda dapat mengakses alat pemantauan langsung: Gunakan ID aplikasi untuk membuka UI YARN ResourceManager Live atau UI Server Riwayat Spark untuk memeriksa aplikasi yang sedang berjalan atau selesai.

• Anda dapat mengambil log untuk pemecahan masalah terperinci: Gunakan ID aplikasi untuk menemukan log kontainer yang disimpan di S3, yang terkait dengan aplikasi itu, yang membantu Anda menggali lebih dalam kegagalan atau masalah kinerja.

Anda dapat menggunakan informasi ini dengan berbagai cara:

1. Arahkan ke tab Langkah di kluster EMR Anda.

2. Klik pada langkah yang ingin Anda debug.

3. Temukan bagian ID Aplikasi Benang di panel detail langkah.

4. Salin ID aplikasi yang disediakan.

5. Gunakan ID untuk:

   • Buka UI YARN ResourceManager Live. URI muncul seperti berikut: http: //:8088/cluster/app/ resourcemanager-host application_id

   • Buka UI Server Sejarah Spark untuk meninjau detail eksekusi aplikasi.

   • Akses log kontainer di bucket S3 Anda di bawah jalur yang ditandai oleh ID aplikasi.

Dengan menggunakan ID aplikasi Yarn, Anda dapat merampingkan proses debugging dan menghubungkan kegagalan langkah EMR tingkat tinggi ke eksekusi aplikasi Yarn yang mendasarinya.