Überwachen von HBase mit Ganglia

Das Open-Source-Projekt Ganglia ist ein skalierbares, verteiltes System zur Überwachung von Clustern und Grids, das zugleich die Auswirkungen auf die Leistung minimiert. Wenn Sie Ganglia in Ihrem Cluster aktivieren, können Sie Berichte erstellen und die Leistung des Clusters als Ganzes betrachten. Ebenso können Sie die Leistung einzelner Knoten-Instances überprüfen. Weitere Informationen zum Open-Source-Projekt Ganglia finden Sie unter http://ganglia.info/. Weitere Informationen zur Verwendung von Ganglia mit Amazon-EMR-Clustern finden Sie unter Ganglia.

Nachdem der Cluster gestartet wurde, für den Ganglia konfiguriert ist, können Sie auf die Ganglia-Grafiken und -Berichte über die Benutzeroberfläche auf dem Master-Knoten zugreifen.

Ganglia speichert Protokolldateien im Masterknoten im Verzeichnis /mnt/var/lib/ganglia/rrds/. Frühere Versionen von Amazon EMR speichern Protokolldateien möglicherweise im /var/log/ganglia/rrds/-Verzeichnis.

So konfigurieren Sie einen Cluster für Ganglia und HBase mit der AWS CLI

• Verwenden Sie einen create-cluster-Befehl ähnlich dem folgenden:

  aws emr create-cluster --name "Test cluster" --release-label emr-5.36.1 \
  --applications Name=HBase Name=Ganglia --use-default-roles \
  --ec2-attributes KeyName=myKey --instance-type m5.xlarge \
  --instance-count 3

  Anmerkung

  Wenn die Standard-Amazon-EMR-Servicerolle und das Amazon-EC2-Instance-Profil nicht vorhanden sind, tritt ein Fehler auf. Verwenden Sie den Befehl aws emr create-default-roles, um die Rolle und das Profil zu erstellen, und versuchen Sie es erneut.

  Weitere Informationen finden Sie unter Amazon-EMR-Befehle in der AWS CLI.

So zeigen Sie HBase-Metriken auf der Weboberfläche von Ganglia an

1. Verwenden Sie SSH, um einen Tunnel zum Master-Knoten und eine sichere Verbindung zu erstellen. Weitere Informationen finden Sie unter Option 2, Teil 1: Einen SSH-Tunnel zum Hauptknoten mithilfe der dynamischen Port-Weiterleitung einrichten im Verwaltungshandbuch für Amazon EMR.

2. Installieren Sie einen Webbrowser mit einem Proxy-Tool, wie z. B. das FoxyProxy-Plug-in für Firefox, um einen SOCKS-Proxy für AWS-Domains zu erstellen. Weitere Informationen finden Sie unter Option 2, Teil 2: Proxy-Einstellungen konfigurieren, um auf dem Hauptknoten gehostete Websites anzeigen zu lassen im Verwaltungshandbuch für Amazon EMR.

3. Wenn der Proxy definiert und die SSH-Verbindung offen ist, können Sie die Ganglia-Metriken anzeigen, indem Sie ein Browser-Fenster mit http://master-public-dns-name/ganglia/ öffnen, wobei master-public-dns-name die öffentliche DNS-Adresse des Master-Servers im HBase-Cluster ist.

So zeigen Sie Ganglia-Protokolldateien auf dem Master-Knoten an

• Wenn der Cluster noch ausgeführt wird, können Sie auf die Protokolldateien mithilfe von SSH zugreifen, um eine Verbindung mit dem Master-Knoten herzustellen und zum Verzeichnis /mnt/var/lib/ganglia/rrds/ zu navigieren. Navigieren Sie für EMR 3.x zum Verzeichnis /var/log/ganglia/rrds. Weitere Informationen finden Sie unter Mit SSH eine Verbindung zum Hauptknoten herstellen im Verwaltungshandbuch für Amazon EMR.

So zeigen Sie Ganglia-Protokolldateien in Amazon S3 an

• Die Ganglia-Protokolldateien werden nicht automatisch nach Amazon S3 geschrieben, auch wenn Sie die Protokollierung für den Cluster aktivieren. Um die Ganglia-Protokolldateien in Amazon S3 anzuzeigen, müssen Sie die Protokolle manuell per Push von /mnt/var/lib/ganglia/rrds/ in den S3-Bucket übertragen.