本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
HBase使用 Ganglia 进行监控
注意
亚马逊EMR最后一个包含Ganglia的版本是亚马逊 EMR 6.15.0。为了监控您的集群,6.15.0 以上的版本包含了 A ma CloudWatch zon 代理。
Ganglia 开源项目是一个可扩展的分布式系统,旨在监控集群和网格,同时尽量减少对其性能的影响。当您在集群上启用 Ganglia 时,您可以生成报告并查看整个集群的性能,还可以检查单个节点实例的性能。有关 Ganglia 开源项目的更多信息,请参阅 http://ganglia.info/
在配置了 Ganglia 的情况下启动集群后,您就可以使用主节点上运行的图形界面来访问 Ganglia 图形和报告。
Ganglia 将日志文件存在主节点上的 /mnt/var/lib/ganglia/rrds/
目录中。早期版本的 Amazon EMR 可能会在/var/log/ganglia/rrds/
目录中存储日志文件。
要为 Ganglia 配置集群并HBase使用 AWS CLI
-
使用类似于以下内容的
create-cluster
命令:aws emr create-cluster --name "
Test cluster
" --release-labelemr-7.5.0
\ --applications Name=HBase
Name=Ganglia
--use-default-roles \ --ec2-attributes KeyName=myKey
--instance-typem5.xlarge
\ --instance-count3
注意
如果默认的 Amazon EMR 服务角色和 Amazon EC2 实例配置文件不存在,则会发生错误。请使用
aws emr create-default-roles
命令创建它们,然后重试。有关更多信息,请参阅中的 Amazon EMR 命令 AWS CLI。
在 Ganglia 网页界面中查看HBase指标
-
SSH用于通过隧道进入主节点并创建安全连接。有关更多信息,请参阅 Amazon EMR 管理指南中的选项 2,第 1 部分:使用动态端口转发设置通往主节点的SSH隧道。
-
安装带有代理工具(例如 Firefox FoxyProxy 插件)的 Web 浏览器,为 AWS 域名创建SOCKS代理。有关更多信息,请参阅《亚马逊EMR管理指南》中的选项 2,第 2 部分:配置代理设置以查看主节点上托管的网站。
-
设置代理并打开SSH连接后,您可以通过打开带有 http:
master-public-dns-name
//ganglia/ 的浏览器窗口来查看 Ganglia 指标,其中master-public-dns-name
是集群中主服务器的公共DNS地址。HBase
查看主节点上的 Ganglia 日志文件
-
如果集群仍在运行,则可以使用连接到主节点并导航到该
/mnt/var/lib/ganglia/rrds/
目录来访问日志文件。SSH对于 EMR 3.x,请导航到该/var/log/ganglia/rrds
目录。有关更多信息,请参阅《Amazon EMR 管理指南》SSH中的 “使用连接到主节点”。
查看 Amazon S3 上的 Ganglia 日志文件
-
即使您为集群启用日志记录,Ganglia 日志文件也不会自动写入 Amazon S3。要在 Amazon S3 上查看 Ganglia 日志文件,您必须手动将日志从
/mnt/var/lib/ganglia/rrds/
推送到 S3 存储桶。