Surveillance de HBase à l'aide de Ganglia - Amazon EMR

Surveillance de HBase à l'aide de Ganglia

Le projet open source Ganglia est un système distribué évolutif, conçu pour surveiller les clusters et les grilles tout en réduisant au maximum l'impact sur leurs performances. Lorsque vous activez Ganglia sur votre cluster, vous pouvez générer des rapports et afficher la performance du cluster dans son ensemble, ainsi qu'inspecter la performance des instances de chaque nœud. Pour plus d'informations sur le projet open source Ganglia, consultez http://ganglia.info/. Pour plus d'informations sur l'utilisation de Ganglia avec les clusters Amazon EMR, consultez Ganglia.

Une fois que le cluster a été lancé et Ganglia configuré, vous pouvez accéder aux graphiques et rapports Ganglia à l'aide de l'interface graphique en cours d'exécution sur le nœud maître.

Ganglia stocke des fichiers journaux sur le nœud principal dans le répertoire /mnt/var/lib/ganglia/rrds/. Les versions antérieures d'Amazon EMR peuvent stocker des fichiers journaux dans le répertoire /var/log/ganglia/rrds/.

Pour configurer un cluster pour Ganglia et HBase à l'aide de l'AWS CLI

  • Utilisez une commande create-cluster similaire à la commande suivante :

    aws emr create-cluster --name "Test cluster" --release-label emr-5.36.1 \
--applications Name=HBase Name=Ganglia --use-default-roles \
--ec2-attributes KeyName=myKey --instance-type m5.xlarge \
--instance-count 3
    Note

    Si le rôle de service Amazon EMR par défaut et le profil d'instance Amazon EC2 n'existent pas, une erreur se produit. Utilisez la commande aws emr create-default-roles pour les créer, puis réessayez.

    Pour plus d'informations sur l'utilisation des commandes, consultez Commandes Amazon EMR dans l'interface AWS CLI.

Pour afficher les métriques HBase dans l'interface web de Ganglia

  1. Utilisez SSH pour accéder par tunnel au nœud maître et créer une connexion sécurisée. Pour plus d'informations, consultez Option 2, partie 1 : Configuration d'un tunnel SSH vers le nœud principal à l'aide du réacheminement de port dynamique dans le Guide de gestion d'Amazon EMR.

  2. Installez un navigateur web à l'aide d'un outil de proxy, tel que le plug-in FoxyProxy pour Firefox, afin de créer un proxy SOCKS pour les domaines AWS. Pour plus d'informations, consultez Option 2, partie 2 : Configuration des paramètres de proxy pour afficher les sites web hébergés sur le nœud principal dans le Guide de gestion d'Amazon EMR.

  3. Le proxy étant défini et la connexion SSH ouverte, vous pouvez afficher les métriques Ganglia en ouvrant une fenêtre de navigateur avec http://master-public-dns-name/ganglia/, où master-public-dns-name est l'adresse DNS publique du serveur principal dans le cluster HBase.

Pour afficher les fichiers journaux Ganglia sur le nœud maître

  • Si le cluster est encore en cours d'exécution, vous pouvez accéder aux fichiers journaux en utilisant SSH pour vous connecter au nœud maître et accéder au répertoire /mnt/var/lib/ganglia/rrds/. Pour EMR 3.x, naviguez jusqu'au répertoire /var/log/ganglia/rrds. Pour plus d'informations, consultez Connexion au nœud principal à l'aide de SSH dans le Guide de gestion d'Amazon EMR.

Pour afficher les fichiers journaux de Ganglia sur Amazon S3

  • Les fichiers journaux Ganglia ne sont pas automatiquement écrits dans Amazon S3 même si vous activez la journalisation pour votre cluster. Pour afficher les fichiers journaux Ganglia sur Amazon S3, vous devez les pousser manuellement de /mnt/var/lib/ganglia/rrds/ vers le compartiment S3.