亚马逊 CloudWatch 代理 - Amazon EMR

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

亚马逊 CloudWatch 代理

亚马逊上的亚马逊 CloudWatch 代理EMR是一种可以监控EMR集群中亚马逊EC2实例的工具。您可以存储和查看通过 CloudWatch 代理收集的指标 CloudWatch。有关 CloudWatch 代理的更多信息,请参阅 Amazon CloudWatch 用户指南

注意

如果您使用其他 AWS 服务 方式发布、查询或查看 Amazon CloudWatch 代理指标,则会产生额外费用。有关更多定价信息,请参阅以下页面。

这些指标与 Amazon 在AWS/ElasticMapReduce命名空间下EMR提供的免费指标是分开的 CloudWatch。有关 CloudWatch 代理未发布的指标的更多信息,请参阅使用监控 Amazon EMR 指标 CloudWatch

在 Amazon EMR 7.0 及更高版本中,您可以在集群上安装自定义版本的 Amazon CloudWatch 代理,以便从集EMR群中收集指标。代理从集群中的所有节点收集指标,在主节点上收集这些指标,然后将指标从该节点发布到云端。

您可以在控制台中创建新集群时安装代理,也可以在使用时安装代理create-clusterAPI。有关更多信息,请参阅 创建使用 Amazon CloudWatch 代理的EMR集群。默认情况下,运行 7.x 版系列的 Amazon EMR 集群以 60 秒的间隔向 CloudWatch 发布 34 个系统级指标,但您可以将代理配置为发布不同的指标。另一种选择是将指标发布到适用于 Prometheus 的亚马逊托管服务,您也可以选择发布哪些指标。对于不同的用例和设置,您可以将代理配置为在 CloudWatch 控制台、Amazon Managed Grafana 中或通过 for 或 Amazon Prometheus 托管APIs服务 CloudWatch 查看和查询指标。当您使用它们来存储和查询指标时,它们会 AWS 服务 产生费用。

Amazon 上的 CloudWatch 代理EMR可以在您的 Amazon EMR 集群上发布系统JMX指标以及以下服务的指标。

  • Hadoop DataNode

  • Hadoop NameNode

  • 纱线 NodeManager

  • 纱线 ResourceManager

  • HBaseMaster — 仅限亚马逊 EMR 7.1+

  • HBase RegionServer — 仅限亚马逊 EMR 7.1+

  • HBase ThriftServer — 仅限亚马逊 EMR 7.1+

有关可用指标以及如何在亚马逊上配置 CloudWatch 代理的更多信息EMR,请参阅为亚马逊配置 CloudWatch 代理EMR

下表列出了最新版本的 Amazon EMR 7.x 系列中 AmazonCloudWatchAgent 包含的版本以及亚马逊随之EMR安装的组件。 AmazonCloudWatchAgent

有关此版本 AmazonCloudWatchAgent 中安装的组件的版本,请参阅 7.2.0 版组件版本

AmazonCloudWatchAgent emr-7.2.0 的版本信息
亚马逊EMR发行标签 AmazonCloudWatchAgent 版本 安装的组件 AmazonCloudWatchAgent

emr-7.2.0

AmazonCloudWatchAgent 1.300032.2

adot-java-agent, emrfs, emr-amazon-cloudwatch-agent, emr-ddb, emr-goodies, emr-kinesis, emr-s3-dist-cp, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-mapred, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server