HBase 使用 Ganglia 进行监控

PDFRSS

注意

使用 Ganglia 的最后一个 Amazon EMR 版本为 Amazon EMR 6.15.0。为了监控您的集群，6.15.0 以上的版本中包含了 A ma CloudWatch zon 代理。

Ganglia 开源项目是一个可扩展的分布式系统，旨在监控集群和网格，同时尽量减少对其性能的影响。当您在集群上启用 Ganglia 时，您可以生成报告并查看整个集群的性能，还可以检查单个节点实例的性能。有关 Ganglia 开源项目的更多信息，请参阅 http://ganglia.info/。有关结合 Amazon EMR 集群使用 Ganglia 的更多信息，请参阅Ganglia。

在配置了 Ganglia 的情况下启动集群后，您就可以使用主节点上运行的图形界面来访问 Ganglia 图形和报告。

Ganglia 将日志文件存在主节点上的 /mnt/var/lib/ganglia/rrds/ 目录中。早期版本的 Amazon EMR 可将日志文件存储在 /var/log/ganglia/rrds/ 目录中。

要为 Ganglia 配置集群并 HBase 使用 AWS CLI

• 使用类似于以下内容的 create-cluster 命令：

  aws emr create-cluster --name "Test cluster" --release-label emr-7.7.0 \
  --applications Name=HBase Name=Ganglia --use-default-roles \
  --ec2-attributes KeyName=myKey --instance-type m5.xlarge \
  --instance-count 3

  注意

  如果默认的 Amazon EMR 服务角色和亚马逊 EC2 实例配置文件不存在，则会发生错误。请使用 aws emr create-default-roles 命令创建它们，然后重试。

  有关更多信息，请参阅 AWS CLI中的 Amazon EMR 命令。

在 Ganglia 网页界面中查看 HBase 指标

1. 使用 SSH 隧道进入主节点并创建安全连接。有关更多信息，请参阅《Amazon EMR 管理指南》中的选项 2，第 1 部分：使用动态端口转发设置到主节点的 SSH 隧道。

2. 安装带有代理工具（例如适用于 Firefox 的 FoxyProxy 插件）的 Web 浏览器，为 AWS 域名创建 SOCKS 代理。有关更多信息，请参阅《Amazon EMR 管理指南》中的选项 2，第 2 部分：配置代理设置以查看主节点上托管的网站。

3. 设置代理并打开 SSH 连接后，您可以通过打开带有 http: master-public-dns-name //ganglia/ 的浏览器窗口来查看 Ganglia 指标，其中master-public-dns-name是集群中主服务器的公有 DNS 地址。 HBase

查看主节点上的 Ganglia 日志文件

• 如果集群仍在运行，您可以使用 SSH 连接主节点，然后导航到 /mnt/var/lib/ganglia/rrds/ 目录访问日志文件。对于 EMR 3.x，请导航到 /var/log/ganglia/rrds 目录。有关更多信息，请参阅《Amazon EMR 管理指南》中的使用 SSH 连接到主节点。

查看 Amazon S3 上的 Ganglia 日志文件

• 即使您为集群启用日志记录，Ganglia 日志文件也不会自动写入 Amazon S3。要在 Amazon S3 上查看 Ganglia 日志文件，您必须手动将日志从 /mnt/var/lib/ganglia/rrds/ 推送到 S3 存储桶。