Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra. # Remplacement des nœuds défectueux par Amazon EMR Amazon EMR utilise régulièrement le [NodeManager service de contrôle de santé](https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/NodeManager.html#Health_checker_service) dans Apache Hadoop pour surveiller l'état des nœuds principaux de votre Amazon EMR sur les clusters Amazon EC2. Si un nœud ne fonctionne pas de manière optimale, il est marqué comme étant défectueux et le vérificateur d'état signale ce nœud au contrôleur Amazon EMR. Le contrôleur Amazon EMR ajoute le nœud à une liste de refus, empêchant ainsi le nœud de recevoir de nouvelles applications YARN jusqu'à ce que son état s'améliore. **Note** L'une des raisons courantes pour lesquelles un nœud est défectueux est qu'il manque d'espace disque. Pour plus d'informations sur les moments où un nœud principal est presque à court d'espace disque, consultez la page suivante **Centre de connaissances Re:POST** l'article est utile : [Pourquoi le nœud principal de mon cluster Amazon EMR manque-t-il d'espace disque ?](https://repost.aws/knowledge-center/core-node-emr-cluster-disk-space) **Note** Hadoop permet d'exécuter des contrôles personnalisés de l'état des nœuds. Ceci est expliqué plus en détail dans la documentation d'Apache Hadoop à l'adresse [NodeManager](https://hadoop.apache.org/docs/r3.3.2/hadoop-yarn/hadoop-yarn-site/NodeManager.html). Vous pouvez choisir si Amazon EMR doit mettre fin aux nœuds défectueux ou les conserver dans le cluster. Si vous désactivez le remplacement des nœuds défectueux, ils restent dans la liste des nœuds refusés et continuent à être pris en compte dans la capacité du cluster. Vous pouvez toujours vous connecter à votre instance principale Amazon EC2 pour la configuration et la restauration. Vous pouvez donc redimensionner votre cluster si vous souhaitez ajouter de la capacité. Pour plus d'informations sur le fonctionnement du remplacement et de la terminaison des nœuds, consultez [Utilisation de la protection de résiliation](https://docs.aws.amazon.com/emr/latest/ManagementGuide/UsingEMR_TerminationProtection.html). Si le remplacement des nœuds défectueux est activé, Amazon EMR met fin à un nœud principal défectueux et provisionne une nouvelle instance, en fonction du nombre d'instances du groupe d'instances ou en fonction de la capacité cible pour les parcs d'instances. Si l'un des nœuds est défectueux pendant plus de 45 minutes, Amazon EMR [remplacez gracieusement les nœuds](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-scaledown-behavior.html#emr-scaledown-terminate-task). Si la mise hors service progressive d'un nœud n'est pas terminée dans un délai d'une heure, le nœud est arrêté de force, sauf si cette fermeture amène le cluster à un niveau inférieur au facteur de réplication ou aux contraintes de capacité HDFS. **Important** Notez que le temps nécessaire pour qu'un nœud soit correctement mis hors service ou résilié peut être sujet à modification. Bien que le remplacement défectueux des nœuds atténue de manière significative les risques de perte de données, il n'élimine pas complètement le risque. Les données HDFS peuvent être définitivement perdues lors du remplacement progressif d'une instance principale défectueuse. Nous vous recommandons de toujours sauvegarder vos données. Pour plus d'informations sur l'identification des nœuds défectueux et la restauration, consultez [Erreurs liées aux ressources](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-troubleshoot-error-resource.html). En outre, pour d'autres bonnes pratiques que vous pouvez suivre afin de maintenir l'état de santé d'un cluster, consultez la documentation suivante concernant l'erreur de ressource [Le cluster Amazon EMR se termine par NO\_SLAVE\_LEFT et les nœuds principaux FAILED\_BY\_MASTER](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-cluster-NO_SLAVE_LEFT-FAILED_BY_MASTER.html). Amazon EMR publie Amazon CloudWatch Événements relatifs au remplacement de nœuds défectueux, afin que vous puissiez suivre ce qui se passe avec vos instances principales défectueuses. Pour plus d'informations, voir [événements de remplacement de nœuds défectueux](https://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-manage-cloudwatch-events.html#emr-cloudwatch-unhealthy-node-replacement-events). ## Paramètres de protection par défaut pour le remplacement et la terminaison des nœuds Le remplacement des nœuds défectueux est disponible pour toutes les versions d'Amazon EMR, mais les paramètres par défaut dépendent de l'étiquette de version que vous choisissez. Vous pouvez modifier n'importe lequel de ces paramètres en configurant le remplacement des nœuds défectueux lors de la création d'un nouveau cluster ou en accédant à la section Configuration du cluster à tout moment. Si vous créez un cluster à nœud unique ou un cluster à haute disponibilité qui exécute Amazon EMR version 7.0 ou antérieure, le paramètre par défaut de remplacement de nœud défectueux dépend de la protection contre les interruptions : + Activer la protection contre les résiliations **désactive** remplacement de nœud défectueux. + Désactivation de la protection contre la résiliation **permet** remplacement de nœud défectueux. ## Configuration du remplacement d'un nœud défectueux lorsque vous lancez un cluster Vous pouvez activer ou désactiver le remplacement de nœuds défectueux lorsque vous lancez un cluster à l'aide de la console, AWS CLI, ou l'API. Le paramètre de remplacement des nœuds défectueux par défaut dépend de la manière dont vous lancez le cluster : + Console Amazon EMR : le remplacement d'un nœud défectueux est **activé** par défaut. + AWS CLI `aws emr create-cluster` — un remplacement de nœud défectueux est **activé** par défaut, sauf si vous le spécifiez `--no-unhealthy-node-replacement`. + Amazon EMR [RunJobFlow Commande d'API](https://docs.aws.amazon.com/emr/latest/APIReference/API_RunJobFlow.html) — un remplacement de nœud défectueux est **activé** par défaut, sauf si vous définissez `UnhealthyNodeReplacement` Valeur booléenne pour `True` ou `False`. ------ #### [ Console ] **Pour activer ou désactiver le remplacement de nœuds défectueux lorsque vous créez un cluster à l'aide de la console** 1. Connectez-vous au Console de gestion AWS, et ouvrez la console Amazon EMR à l'adresse [https://console.aws.amazon.com/emr](https://console.aws.amazon.com/emr). 1. Sous **EMR sur EC2** dans le volet de navigation de gauche, choisissez **Clusters**, puis **Créer un cluster**. 1. Pour **Version de sortie d'EMR**, choisissez le label de sortie Amazon EMR que vous souhaitez. 1. En dessous **Arrêt du cluster et remplacement des nœuds**, assurez-vous que **Remplacement de nœud défectueux (recommandé)** est présélectionné, ou effacez la sélection pour la désactiver. 1. Choisissez toutes les autres options qui s'appliquent à votre cluster. 1. Pour lancer cluster, choisissez **Créer un cluster**. ------ #### [ AWS CLI ] **Pour activer ou désactiver le remplacement de nœuds défectueux lorsque vous créez un cluster à l'aide du AWS CLI** + Avec le AWS CLI, vous pouvez lancer un cluster dont le remplacement des nœuds défectueux est activé à l'aide du `create-cluster` commande avec `--unhealthy-node-replacement ` paramètre. Le remplacement des nœuds défectueux est activé par défaut. L'exemple suivant crée un cluster dans lequel le remplacement des nœuds défectueux est activé : **Note** Les caractères de continuation de ligne Linux (\\) sont inclus pour des raisons de lisibilité. Ils peuvent être supprimés ou utilisés dans les commandes Linux. Pour Windows, supprimez-les ou remplacez-les par un caret (^). ``` aws emr create-cluster --name "{{SampleCluster}}" --release-label {{emr-7.14.0}} \ --applications Name={{Hadoop}} Name={{Hive}} Name={{Pig}} \ --use-default-roles --ec2-attributes KeyName={{myKey}} --instance-type {{m5.xlarge}} \ --instance-count {{3}} --unhealthy-node-replacement ``` Pour plus d'informations sur l'utilisation des commandes Amazon EMR dans AWS CLI, voir [Amazon EMR AWS CLI commandes](https://docs.aws.amazon.com/cli/latest/reference/emr). ------ ## Configuration du remplacement de nœuds défectueux dans un cluster en cours d'exécution Vous pouvez activer ou désactiver le remplacement des nœuds défectueux pour un cluster en cours d'exécution à l'aide de la console, AWS CLI, ou l'API. ------ #### [ Console ] **Pour activer ou désactiver le remplacement de nœuds défectueux pour un cluster en cours d'exécution à l'aide de la console** 1. Connectez-vous au Console de gestion AWS, et ouvrez la console Amazon EMR à l'adresse [https://console.aws.amazon.com/emr](https://console.aws.amazon.com/emr). 1. Sous **EMR sur EC2**, dans le volet de navigation de gauche, choisissez **Clusters**, puis sélectionnez le cluster que vous souhaitez mettre à jour. 1. Sur le **Propriétés** onglet sur la page des détails du cluster, recherchez **Arrêt du cluster et remplacement des nœuds** et sélectionnez **Modifier**. 1. Sélectionnez ou désactivez le **remplacement de nœud défectueux** case à cocher pour activer ou désactiver la fonction. Sélectionnez ensuite **Enregistrer les modifications** pour confirmer. ------ #### [ AWS CLI ] **Pour activer ou désactiver le remplacement de nœuds défectueux pour un cluster en cours d'exécution à l'aide du AWS CLI** + Pour activer le remplacement de nœuds défectueux sur un cluster en cours d'exécution avec AWS CLI, utilisez le `modify-cluster-attributes` commande avec `--unhealthy-node-replacement` paramètre. Pour la désactiver, utilisez le paramètre `--no-unhealthy-node-replacement`. L'exemple suivant active le remplacement d'un nœud défectueux sur le cluster avec ID {{j-3KVTXXXXXX7UG}}: ``` 1. aws emr modify-cluster-attributes --cluster-id {{j-3KVTXXXXXX7UG}} --unhealthy-node-replacement ``` L'exemple suivant désactive le remplacement de nœuds défectueux sur le même cluster : ``` 1. aws emr modify-cluster-attributes --cluster-id {{j-3KVTXXXXXX7UG}} --no-unhealthy-node-replacement ``` ------