Débogage des étapes de l'EMR à l'aide de l'application YARN IDs - Amazon EMR
ID de l'application YARN

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Débogage des étapes de l'EMR à l'aide de l'application YARN IDs

Un moyen efficace de déboguer les étapes qui lancent des applications basées sur Yarn (telles que les étapes Spark) consiste à exploiter les informations d'ID d'application Yarn disponibles dans la console Amazon EMR.

ID de l'application YARN

Pour les étapes qui exécutent Spark ou d'autres tâches basées sur YARN, la console EMR indique l'ID d'application YARN le plus récemment exécuté dans les détails de l'étape. Si une étape lance plusieurs applications YARN, seul le dernier ID d'application exécuté est affiché.

Pourquoi utiliser l'application Yarn IDs pour le débogage ?

  • Vous pouvez directement corréler les étapes EMR aux applications Yarn : identifiez exactement quelle application Yarn correspond à une étape problématique ou intéressante.

  • Vous pouvez accéder aux outils de surveillance en direct : utilisez l'ID de l'application pour ouvrir l'interface utilisateur YARN ResourceManager Live ou l'interface utilisateur du serveur Spark History pour inspecter les applications en cours d'exécution ou terminées.

  • Vous pouvez récupérer les journaux pour un dépannage détaillé : utilisez l'ID de l'application pour rechercher les journaux de conteneur stockés dans S3, associés à cette application, qui vous aideront à approfondir les défaillances ou les problèmes de performance.

Vous pouvez utiliser ces informations de différentes manières :

  1. Accédez à l'onglet Étapes de votre cluster EMR.

  2. Cliquez sur l'étape que vous souhaitez débuguer.

  3. Localisez la section Yarn Application ID dans le panneau des détails de l'étape.

  4. Copiez l'identifiant de candidature fourni.

  5. Utilisez l'ID pour :

    • Ouvrez l'interface utilisateur YARN ResourceManager Live. L'URI apparaît comme suit : http : resourcemanager-host //:8088/cluster/app/ application_id

    • Ouvrez l'interface utilisateur du serveur Spark History pour consulter les détails relatifs à l'exécution de l'application.

    • Accédez aux journaux des conteneurs dans votre compartiment S3 sous des chemins marqués par l'ID de l'application.

En utilisant l'ID d'application Yarn, vous pouvez rationaliser votre processus de débogage et relier les échecs d'étapes EMR de haut niveau aux exécutions des applications Yarn sous-jacentes.