Gérez le basculement multi-AZ pour les clusters EMR à l'aide d'Application Recovery Controller - Recommandations AWS
RécapitulatifConditions préalables et limitationsArchitectureOutilsBonnes pratiquesÉpopéesRessources connexes

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Gérez le basculement multi-AZ pour les clusters EMR à l'aide d'Application Recovery Controller

Créée par Aarti Rajput (AWS), Ashish Bhatt (AWS), Neeti Mishra (AWS) et Nidhi Sharma (AWS)

Récapitulatif

Ce modèle propose une stratégie de reprise après sinistre efficace pour les charges de travail Amazon EMR afin de garantir la haute disponibilité et la cohérence des données entre plusieurs zones de disponibilité au sein d'une même zone. Région AWS La conception utilise Amazon Application Recovery Controller et un Application Load Balancer pour gérer les opérations de basculement et la distribution du trafic pour un cluster EMR basé sur Apache Spark.

Dans des conditions standard, la zone de disponibilité principale héberge un cluster EMR actif et une application avec des fonctionnalités de lecture/écriture complètes. En cas de défaillance inattendue d'une zone de disponibilité, le trafic est automatiquement redirigé vers la zone de disponibilité secondaire, où un nouveau cluster EMR est lancé. Les deux zones de disponibilité accèdent à un bucket Amazon Simple Storage Service (Amazon S3) partagé via des points de terminaison de passerelle dédiés, ce qui garantit une gestion cohérente des données. Cette approche minimise les temps d'arrêt et permet une restauration rapide des charges de travail critiques liées au Big Data en cas de défaillance de la zone de disponibilité. La solution est utile dans des secteurs tels que la finance ou le commerce de détail, où les analyses en temps réel sont cruciales.

Conditions préalables et limitations

Prérequis

  • Un actif Compte AWS

  • Amazon EMR sur Amazon Elastic Compute Cloud (Amazon) EC2

  • Accès depuis le nœud principal du cluster EMR à Amazon S3.

  • AWS Infrastructure multi-AZ

Limites

Versions du produit

Architecture

Pile technologique cible

  • Cluster Amazon EMR

  • Contrôleur Amazon Application Recovery

  • Application Load Balancer

  • Compartiment Amazon S3

  • Points de terminaison de passerelle pour Amazon S3

Architecture cible

Architecture pour un mécanisme de restauration automatique avec Application Recovery Controller.

Cette architecture assure la résilience des applications en utilisant plusieurs zones de disponibilité et en mettant en œuvre un mécanisme de restauration automatique via l'Application Recovery Controller.

  1. L'Application Load Balancer achemine le trafic vers l'environnement Amazon EMR actif, qui est généralement le cluster EMR principal de la zone de disponibilité principale.

  2. Le cluster EMR actif traite les demandes d'application et se connecte à Amazon S3 via son point de terminaison dédié à la passerelle Amazon S3 pour les opérations de lecture et d'écriture.

  3. Amazon S3 sert de référentiel de données central et est potentiellement utilisé comme point de contrôle ou comme stockage partagé entre des clusters EMR. Les clusters EMR préservent la cohérence des données lorsqu'ils écrivent directement sur Amazon S3 via le s3:// protocole et le système de fichiers EMR (EMRFS).

  4. Application Recovery Controller surveille en permanence l'état de santé de la zone de disponibilité principale et gère automatiquement les opérations de basculement lorsque cela est nécessaire.

  5. Si l'Application Recovery Controller détecte une défaillance dans le cluster EMR principal, il prend les mesures suivantes :

    • Lance le processus de basculement vers le cluster EMR secondaire dans la zone de disponibilité 2.

    • Met à jour les configurations de routage pour diriger le trafic vers le cluster secondaire.

Outils

Services AWS

  • Amazon Application Recovery Controller vous aide à gérer et à coordonner la restauration de vos applications dans toutes Régions AWS les zones de disponibilité. Ce service simplifie le processus et améliore la fiabilité de la restauration des applications en réduisant les étapes manuelles requises par les outils et processus traditionnels.

  • Application Load Balancer fonctionne au niveau de la couche application, qui est la septième couche du modèle d'interconnexion des systèmes ouverts (OSI). Il répartit le trafic applicatif entrant sur plusieurs cibles, telles que EC2 les instances, dans plusieurs zones de disponibilité. La disponibilité de votre application s'en trouve accrue.

  • AWS Command Line Interface (AWS CLI) est un outil open source qui vous permet d'interagir Services AWS par le biais de commandes dans votre interface de ligne de commande.

  • Amazon EMR est une plateforme de mégadonnées qui fournit le traitement des données, l'analyse interactive et l'apprentissage automatique pour les frameworks open source tels qu'Apache Spark, Apache Hive et Presto.

  • AWS Identity and Access Management (IAM) vous aide à gérer en toute sécurité l'accès à vos AWS ressources en contrôlant qui est authentifié et autorisé à les utiliser.

  • Amazon S3 fournit une interface de service Web simple que vous pouvez utiliser pour stocker et récupérer n'importe quel volume de données, à tout moment et en tout lieu. Grâce à ce service, vous pouvez facilement créer des applications qui utilisent le stockage cloud natif.

  • Les points de terminaison de passerelle pour Amazon S3 sont des passerelles que vous spécifiez dans votre table de routage pour accéder à Amazon S3 depuis votre cloud privé virtuel (VPC) via le réseau. AWS

Bonnes pratiques

Épopées

TâcheDescriptionCompétences requises

Connectez-vous au AWS Management Console.

Connectez-vous au en AWS Management Consoletant qu'utilisateur IAM. Pour obtenir des instructions, consultez la AWS documentation.

AWS DevOps

Configurez le AWS CLI.

Installez le AWS CLI ou mettez-le à jour vers la dernière version afin de pouvoir interagir avec Services AWS le AWS Management Console. Pour obtenir des instructions, consultez la AWS CLI documentation.

AWS DevOps
TâcheDescriptionCompétences requises

Créez un compartiment S3.

  1. Créez un compartiment S3 pour stocker le jeu de données en entrée, les journaux, les applications et les données de sortie. Pour obtenir des instructions, consultez la documentation Amazon S3.

  2. Organisez le compartiment dans des dossiers distincts pour les données d'entrée (dataset), les journaux (logs), l'application Spark (spark-app) et les données de sortie (output).

AWS DevOps

Créez un cluster EMR.

  1. Utilisez les AWS CLI commandes suivantes pour créer un cluster EMR (par exemple, version 6.12 ou ultérieure) avec des instances réparties sur deux zones de disponibilité (telles que us-east-1a etus-east-1b) pour une haute disponibilité. La commande indique le type d'm4.largeinstance à titre d'exemple.

    aws emr create-cluster \
    --ec2-attributes AvailabilityZone=<AZ-name-1> \
    --release-label emr-6.12.0 \
    --instance-groups InstanceGroupType=MASTER,InstanceCount=1,InstanceType=m4.large InstanceGroupType=CORE,InstanceCount=2,InstanceType=m4.large
    aws emr create-cluster \
    --ec2-attributes AvailabilityZone=<AZ-name-2> \
    --release-label emr-6.12.0 \
    --instance-groups InstanceGroupType=MASTER,InstanceCount=1,InstanceType=m4.large InstanceGroupType=CORE,InstanceCount=2,InstanceType=m4.large

    Pour plus d'informations, consultez la commande create-cluster et la documentation Amazon EMR.

  2. Fournissez à la paire de clés, au rôle de service et au profil d'instance les autorisations requises, le cas échéant.

AWS DevOps

Configurez les paramètres de sécurité pour le cluster EMR.

  1. Identifiez le groupe de sécurité associé au nœud principal du cluster EMR à l'aide de la commande AWS CLI describe-cluster :

    aws emr describe-cluster --cluster-id j-XXXXXXXX

  2. Pour améliorer la sécurité, modifiez les paramètres du groupe de sécurité pour autoriser l'accès SSH (port TCP 22) au nœud principal, mais limitez-le à votre adresse IP spécifique.

    Pour plus d'informations, consultez la documentation Amazon EMR.

AWS DevOps

Connectez-vous au cluster EMR.

Connectez-vous au nœud principal du cluster EMR via SSH à l'aide de la paire de clés fournie.

Assurez-vous que le fichier de paires de clés se trouve dans le même répertoire que votre application.

Exécutez les commandes suivantes pour définir les autorisations correctes pour la paire de clés et établir la connexion SSH :

chmod 400 <key-pair-name>
ssh -i ./<key-pair-name> hadoop@<master-node-public-dns>
AWS DevOps

Déployez l'application Spark.

Après avoir établi la connexion SSH, vous serez dans la console Hadoop.

  1. Créez ou modifiez le fichier d'application Spark (main.py) à l'aide d'un éditeur de texte tel que vim :

    vim main.py

    Pour plus d'informations sur la création et la modification de l'application Spark, consultez la documentation Amazon EMR.

  2. Soumettez l'application Spark au cluster EMR, en spécifiant les emplacements des données d'entrée et de sortie dans le compartiment S3 :

    spark-submit main.py —data_source <input-data-folder-in-s3> —output_uri <output-folder-in-s3>

    Voici un exemple basé sur les dossiers que vous avez configurés précédemment :

    spark-submit main.py —data_source dataset —output_uri output

  3. Surveillez la progression de l'application en consultant les journaux de l'application :

    yarn logs -applicationId <application-id>
AWS DevOps

Surveillez l'application Spark.

  1. Ouvrez une autre fenêtre de terminal et établissez un tunnel SSH vers l'interface utilisateur Web du gestionnaire de ressources du cluster EMR :

    ssh -i <key-pair-name> -N -L 8157:<resource-manager-public-dns>:8088 hadoop@<resource-manager-public-dns>

  2. Pour surveiller l'application, accédez à l'interface utilisateur Web du gestionnaire de ressources en accédant http://localhost:8157 à votre navigateur Web.

AWS DevOps
TâcheDescriptionCompétences requises

Créez un Application Load Balancer.

Configurez le groupe cible qui achemine le trafic entre les nœuds principaux Amazon EMR déployés dans deux zones de disponibilité au sein d'un. Région AWS

Pour obtenir des instructions, consultez la section Création d'un groupe cible pour votre Application Load Balancer dans la documentation d'Elastic Load Balancing.

AWS DevOps

Configurez le décalage zonal dans Application Recovery Controller.

Au cours de cette étape, vous allez utiliser la fonction de changement de zone d'Application Recovery Controller pour transférer le trafic vers une autre zone de disponibilité.

  1. Ouvrez la console Application Recovery Controller.

  2. Sous Mise en route, choisissez Déplacement de zone, puis Démarrer le décalage de zone.

  3. Sélectionnez la zone de disponibilité à partir de laquelle vous souhaitez déplacer le trafic.

  4. Sélectionnez une ressource prise en charge (par exemple, Application Load Balancer) pour le décalage de zone dans le tableau Resources.

  5. Pour Définir l'expiration du décalage de zone, choisissez ou entrez une date d'expiration pour le décalage de zone. Vous pouvez définir une durée comprise entre 1 minute et trois jours (72 heures).

    Tous les changements de zone sont temporaires. Vous devez définir une date d'expiration, mais vous pouvez mettre à jour les équipes actives ultérieurement pour définir une nouvelle période d'expiration pouvant aller jusqu'à trois jours.

  6. Entrez un commentaire à propos de ce changement de zone.

  7. Cochez la case pour confirmer que le lancement d'un changement de zone réduira la capacité disponible pour votre application en déplaçant le trafic hors de la zone de disponibilité.

  8. Sélectionnez Démarrer.

Pour utiliser le AWS CLI, consultez les exemples d'utilisation du AWS CLI avec décalage de zone dans la documentation d'Application Recovery Controller.

AWS DevOps

Vérifiez la configuration et la progression du changement de zone.

  1. Vérifiez les ressources enregistrées avec Zonal Shift :

    aws arc-zonal-shift list-managed-resources --region <AWS-region-name>

    Par exemple, le résultat suivant confirme que les ressources sont opérationnelles dans les deux zones de disponibilité.

    "appliedWeights": {
        "use1-az1": 1.0,
        "use1-az2": 1.0
    },

  2. Pour visualiser le décalage de zone, utilisez la AWS CLI commande suivante pour démarrer le décalage de zone :

    aws arc-zonal-shift start-zonal-shift \
   --resource-identifier <application-load-balancer-arn> \
   --away-from <source-AZ> \
   --expires-in 10m --comment "testing" \
   --region <AWS-region-name>

    où se <source-AZ> trouve l'identifiant de la zone de disponibilité dont vous souhaitez éloigner le trafic et <application-load-balancer-arn> l'Amazon Resource Name (ARN) de votre Application Load Balancer.

  3. Vérifiez que le trafic s'est déplacé vers une autre zone de disponibilité.

    aws arc-zonal-shift get-managed-resource \
   --resource-identifier <application-load-balancer-arn> \
   --region <AWS-region-name>

    Vous pouvez voir le décalage zonal confirmé par ces pondérations :

    "appliedWeights": {
        "use1-az1": 0.0,
        "use1-az2": 1.0
    },
AWS DevOps

Ressources connexes