Soumission de travail à un cluster
Cette section décrit les méthodes que vous pouvez utiliser pour soumettre du travail à un cluster Amazon EMR. Pour soumettre un travail, vous pouvez ajouter des étapes ou soumettre des tâches Hadoop de manière interactive au nœud primaire.
Tenez compte des règles suivantes relatives au comportement des étapes lorsque vous soumettez des étapes à un cluster :
-
Un identifiant d'étape peut contenir jusqu'à 256 caractères.
-
Vous pouvez avoir jusqu'à 256 étapes en attente et en cours dans un cluster.
-
Même si vous avez 256 étapes actives sur un cluster, vous pouvez soumettre interactivement des travaux au nœud primaire. Vous pouvez soumettre un nombre illimité d'étapes pendant la durée de vie d'un cluster de longue durée, mais seules 256 étapes peuvent présenter l'état ACTIF ou EN ATTENTE à un moment donné.
-
Avec Amazon EMR version 4.8.0 et ultérieures, à l'exception de la version 5.0.0, vous pouvez annuler les étapes qui sont en attente. Pour de plus amples informations, veuillez consulter Annulation d'étapes.
-
Avec Amazon EMR versions 5.28.0 et ultérieures, vous pouvez annuler les étapes en attente et actives. Vous pouvez également choisir d'exécuter plusieurs étapes en parallèle pour améliorer l'utilisation du cluster et faire des économies. Pour de plus amples informations, veuillez consulter Considérations relatives à l'exécution de plusieurs étapes en parallèle.
Note
Pour de meilleures performances, nous vous recommandons de stocker les actions d'amorçage personnalisées, les scripts et les autres fichiers que vous souhaitez utiliser avec Amazon EMR dans un compartiment Amazon S3 Région AWS identique à celui de votre cluster.
Rubriques
