创建使用 Amazon CloudWatch 代理的EMR集群 - Amazon EMR

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

创建使用 Amazon CloudWatch 代理的EMR集群

本节中的过程描述了使用和中的亚马逊 CloudWatch 代理在 Amaz EMR on 中创建集群 AWS Management Console 的步骤 AWS CLI。

CloudWatch 代理所需的IAM权限

CloudWatch 代理需要亚马逊EC2实例配置文件中的 AWS Identity and Access Management (IAM) cloudwatch:PutMetricData 权限EMR。Amazon EMR 默认角色已经拥有此权限。您可以使用创建默认角色aws emr create-default-roles。 AWS CLI 有关更多信息,请参阅 Amazon EMR 管理指南中的集群EC2EC2实例服务角色(实例配置文件)

以下示例IAM策略包括cloudwatch:PutMetricData权限:

{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": "cloudwatch:PutMetricData", "Resource": "*" } ] }

所需的 CloudWatch 代理端点

要向私有子网中的EMR集群发布指标,请创建 CloudWatch 代理终端节点并与私有子网所在VPC的代理终端节点相关联。 CloudWatch

有关每个 CloudWatch 终端节点的更多信息 AWS 区域,请参阅《AWS 通用参考指南》中的 Amazon CloudWatch 终端节点和配额

创建 EMR 集群

设置了与 CloudWatch 代理一起使用的所需权限和终端节点后,使用 AWS Management Console 或创建安装了代理的新集群。 AWS CLI

Console
通过控制台使用 Amazon CloudWatch 代理创建集群
  1. 导航至 Amazon EMR 控制台。

  2. 选择创建集群

  3. 在 “名称和应用程序” 下,选择 7.0.0 或更高EMR版本的 Amazon 版本。

  4. 在 “应用程序捆绑包” 下,选择要安装到集群中的一个或多个应用程序,并在您的选择中加入CloudWatch 代理

  5. 继续创建集群以满足您的应用场景需求。

AWS CLI

在中 AWS CLI,您可以使用--applications参数将 Amazon CloudWatch 代理添加到集群create-cluster

要使用 Amazon CloudWatch 代理创建集群,请访问 AWS CLI
  • 创建集群时,使用类似于以下内容的命令来包含 Amazon CloudWatch 代理。myKey替换为您的 EC2 key pair 的名称。

    aws emr create-cluster --name "Spark cluster with CloudWatch agent" \ --release-label emr-7.0.0 \ --applications Name=Spark Name=AmazonCloudWatchAgent \ --ec2-attributes KeyName=myKey --instance-type m7g.2xlarge \ --instance-count 3 --use-default-roles

有关如何将 Amazon EMR 与配合使用的更多详情 AWS CLI,请参阅AWS CLI 命令参考