Ajouter des étapes à un cluster avec la console de gestion Amazon EMR - Amazon EMR
Lors de la création du clusterCluster en coursModifier la simultanéité des étapesAjouter des arguments d'étape

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Ajouter des étapes à un cluster avec la console de gestion Amazon EMR

Utilisez les procédures suivantes pour ajouter des étapes à un cluster avecAWS Management Console. Pour obtenir des informations détaillées sur la procédure à suivre pour des applications de mégadonnées spécifiques, consultez les sections suivantes duGuide de mise à jour d'Amazon EMR:

Ajouter des étapes lors de la création du cluster

À partir duAWS Management Console, vous pouvez ajouter des étapes lorsque vous créez un cluster.

Note

Nous avons repensé la console Amazon EMR pour la rendre plus facile à utiliser. VoirQuelles sont les nouveautés de la console ?pour en savoir plus sur les différences entre l'ancienne et la nouvelle expérience sur console.

New console
Pour ajouter des étapes lorsque vous créez un cluster avec la nouvelle console

  1. Connectez-vous auAWS Management Console, et ouvrez la console Amazon EMR à l'adressehttps://console.aws.amazon.com/emr.

  2. SousEMR sur EC2dans le volet de navigation de gauche, choisissezClusters, puis choisissezCréer un cluster.

  3. SousÉtapes, choisissezAjouter une étape. Entrez les valeurs appropriées dans les champs duAjouter une étapedialogue. Pour plus d'informations sur la mise en forme de vos arguments d'étape, voirAjouter des arguments d'étape. Les options diffèrent selon le type d'étape. Pour ajouter votre étape et quitter la boîte de dialogue, sélectionnezAjouter une étape.

  4. Choisissez toutes les autres options qui s'appliquent à votre cluster.

  5. Pour lancer votre cluster, choisissezCréer un cluster.

Old console
Pour ajouter des étapes lorsque vous créez un cluster avec l'ancienne console

  1. Ouvrez la console Amazon EMR à l'adressehttps://console.aws.amazon.com/elasticmapreduce/home. ChoisissezCréer un cluster - Options avancées.

  2. Sur la page Step 1: Software and Steps (Étape 1 : Logiciels et étapes) pour Steps (optional) (Étapes (facultatif)), sélectionnez Run multiple steps in parallel to improve cluster utilization and save cost (Exécuter plusieurs étapes en parallèle pour améliorer l'utilisation du cluster et réduire les coûts). La valeur par défaut du niveau de simultanéité est 10. Vous pouvez choisir entre 2 et 256 étapes pouvant s'exécuter en parallèle.

    Note

    L'exécution de plusieurs étapes en parallèle n'est prise en charge qu'avec Amazon EMR version 5.28.0 et versions ultérieures.

  3. Pour After last step completes (Après la fin de la dernière étape), choisissez Cluster enters waiting state (Le cluster passe à l'état d'attente) ou Auto-terminate the cluster (Résilier automatiquement le cluster).

  4. Choisissez Step type (Type d'étape), puis Add step (Ajouter une étape).

  5. Entrez les valeurs appropriées dans les champs de la boîte de dialogue Add step (Ajouter une étape). Pour plus d'informations sur la mise en forme de vos arguments d'étape, voirAjouter des arguments d'étape. Les options diffèrent selon le type d'étape. Si vous avez activéExécutez plusieurs étapes en parallèle pour améliorer l'utilisation du cluster et réduire les coûts, la seule option pourAction en cas de défaillanceestContinuez. Ensuite, choisissez Add (Ajouter).

Ajouter des étapes à un cluster en cours d'exécution

Avec leAWS Management Console, vous pouvez ajouter des étapes à un cluster en désactivant l'option d'arrêt automatique.

New console
Pour ajouter des étapes à un cluster en cours d'exécution avec la nouvelle console

  1. Connectez-vous auAWS Management Console, et ouvrez la console Amazon EMR à l'adressehttps://console.aws.amazon.com/emr.

  2. SousEMR sur EC2dans le volet de navigation de gauche, choisissezClusters, puis sélectionnez le cluster que vous souhaitez mettre à jour.

  3. Sur leÉtapessur la page des détails du cluster, sélectionnezAjouter une étape. Pour cloner une étape existante, choisissezActionsmenu déroulant et sélectionnezÉtape de clonage.

  4. Entrez les valeurs appropriées dans les champs duAjouter une étapedialogue. Les options diffèrent selon le type d'étape. Pour ajouter votre étape et quitter la boîte de dialogue, choisissezAjouter une étape.

Old console
Pour ajouter des étapes à un cluster en cours d'exécution avec l'ancienne console

  1. Ouvrez la console Amazon EMR à l'adressehttps://console.aws.amazon.com/elasticmapreduce/home. Dans la page Liste de clusters, sélectionnez le lien de votre cluster.

  2. Sur la page Cluster Details (Détails du cluster), choisissez l'onglet Steps (Étapes).

  3. Sous l'onglet Steps (Étapes) choisissez Add step (Ajouter une étape).

  4. Entrez les valeurs appropriées dans les champs de la boîte de dialogue Add step (Ajouter une étape), puis cliquez sur Add (Ajouter). Les options varient selon le type d'étape.

Modifier le niveau de simultanéité des étapes dans un cluster en cours d'exécution

Avec leAWS Management Console, vous pouvez modifier le niveau de simultanéité des étapes dans un cluster en cours d'exécution.

Note

Vous ne pouvez exécuter plusieurs étapes qu'en parallèle avec Amazon EMR version 5.28.0 et versions ultérieures.

New console
Pour modifier la simultanéité des étapes dans un cluster en cours d'exécution à l'aide de la nouvelle console

  1. Connectez-vous auAWS Management Console, et ouvrez la console Amazon EMR à l'adressehttps://console.aws.amazon.com/emr.

  2. SousEMR sur EC2dans le volet de navigation de gauche, choisissezClusters, puis sélectionnez le cluster que vous souhaitez mettre à jour. Le cluster doit être en cours d'exécution pour modifier son attribut de concurrence.

  3. Sur leÉtapessur la page de détails du cluster, recherchez leAttributssection. SélectionnezModifierpour modifier la concurrence. Entrez une valeur comprise entre 1 et 256.

Old console
Pour modifier la simultanéité des étapes dans un cluster en cours d'exécution avec l'ancienne console

  1. Ouvrez la console Amazon EMR à l'adressehttps://console.aws.amazon.com/elasticmapreduce/home. Dans la page Liste de clusters, sélectionnez le lien de votre cluster.

  2. Sur la page Cluster Details (Détails du cluster), choisissez l'onglet Steps (Étapes).

  3. Pour Concurrency (Simultanéité), choisissez Change (Modifier). Sélectionnez une nouvelle valeur pour le niveau de simultanéité des étapes, puis enregistrez.

Ajouter des arguments d'étape

Lorsque vous utilisezAWS Management Consolepour ajouter une étape à votre cluster, vous pouvez spécifier des arguments pour cette étape dansArgumentsterrain. Vous devez séparer les arguments par des espaces et entourer les arguments de chaîne composés de caractèresetespaces blancs entre guillemets.

Exemple : Arguments corrects

Les exemples d'arguments suivants sont correctement formatés pourAWS Management Console, avec des guillemets autour du dernier argument de chaîne.

bash -c "aws s3 cp s3://DOC-EXAMPLE-BUCKET/my-script.sh ."

Vous pouvez également placer chaque argument sur une ligne distincte pour des raisons de lisibilité, comme indiqué dans l'exemple suivant.

bash 
-c 
"aws s3 cp s3://DOC-EXAMPLE-BUCKET/my-script.sh ."
Exemple : Arguments incorrects

Les exemples d'arguments suivants ne sont pas correctement formatés pourAWS Management Console. Notez que le dernier argument de chaîne,aws s3 cp s3://DOC-EXAMPLE-BUCKET/my-script.sh ., contient des espaces et n'est pas entouré de guillemets.

bash -c aws s3 cp s3://DOC-EXAMPLE-BUCKET/my-script.sh .