Étape 5 : Test du cluster étape par étape - Amazon EMR

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Étape 5 : Test du cluster étape par étape

Une technique utile lorsque vous essayez de déceler la source d'une erreur consiste à redémarrer le cluster et à lui soumettre les étapes une par une. Cela vous permet de vérifier les résultats de chaque étape avant de traiter la suivante, et vous donne l'occasion de corriger et de réexécuter une étape qui a échoué. Cela présente également l'avantage de vous faire charger une seule fois les données d'entrée.

Pour tester un cluster étape par étape
  1. Lancez un nouveau cluster avec les deux options keep-alive et protection contre l'arrêt activées. L'option keep-alive maintient le cluster actif après qu'il a traité toutes ses étapes en suspens. La protection contre l'arrêt empêche un cluster de s'arrêter en cas d'erreur. Pour plus d’informations, consultez Configuration d'un cluster pour qu'il continue ou se résilie après l'exécution de l'étape et Utilisation de la protection contre les interruptions pour protéger vos clusters contre les arrêts accidentels.

  2. Soumettez une étape au cluster. Pour de plus amples informations, veuillez consulter Soumission de travail à un cluster.

  3. À la fin du traitement de l'étape, recherchez les erreurs dans les fichiers journaux d'étape. Pour de plus amples informations, veuillez consulter Étape 4 : Examiner les fichiers journaux. Le moyen le plus rapide de localiser ces fichiers journaux est de se connecter au nœud maître et d'y afficher les fichiers journaux. Les fichiers journaux d'étape n'apparaissent pas tant que l'étape ne s'est pas exécutée assez longtemps, ne s'est pas terminée ou n'a pas échoué.

  4. Si l'étape a réussi sans erreur, exécutez l'étape suivante. Si des erreurs se sont produites, enquêtez sur l'erreur dans les fichiers journaux. Si l'erreur se situe dans votre code, effectuez la correction et réexécutez l'étape. Continuez jusqu'à ce que toutes les étapes s'exécutent sans erreur.

  5. Lorsque vous avez terminé le débogage du cluster et souhaitez arrêter ce dernier, vous devez l'arrêter manuellement. Cela est nécessaire car le cluster a été lancé avec la protection contre l'arrêt activée. Pour de plus amples informations, veuillez consulter Utilisation de la protection contre les interruptions pour protéger vos clusters contre les arrêts accidentels.