创建使用 Amazon 代理的 EMR 集群 CloudWatch

本节中的过程描述了使用和中的亚马逊 CloudWatch 代理在 Amazon EMR 中创建集群 AWS Management Console 的步骤。 AWS CLI

CloudWatch 代理所需的 IAM 权限

CloudWatch 代理需要亚马逊 EM AWS Identity and Access Management R 的亚马逊 EC2 实例配置文件中的 (IAM) cloudwatch:PutMetricData 权限。Amazon EMR 的默认角色已经拥有此权限。您可以使用创建默认角色aws emr create-default-roles。 AWS CLI 有关更多信息，请参阅 Amazon EMR 管理指南中的集群 EC2 EC2 实例服务角色（实例配置文件）。

以下示例 IAM policy 包括 cloudwatch:PutMetricData 权限：

JSON

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "cloudwatch:PutMetricData"
      ],
      "Resource": [
        "*"
      ],
      "Sid": "AllowCLOUDWATCHPutmetricdata"
    }
  ]
}

必需的 CloudWatch 代理端点

要向私有子网中的 EMR 集群发布指标，请创建 CloudWatch 代理终端节点并与私有子网所在的 VPC 关联。 CloudWatch

有关每个 CloudWatch 终端节点的更多信息 AWS 区域，请参阅《AWS 通用参考指南》中的 Amazon CloudWatch 终端节点和配额。

创建 EMR 集群

设置了与 CloudWatch 代理一起使用的所需权限和终端节点后，使用 AWS Management Console 或创建安装了代理的新集群。 AWS CLI

Console

通过控制台使用 Amazon CloudWatch 代理创建集群

1. 导航到 Amazon EMR 控制台。

2. 选择创建集群。

3. 在名称和应用程序下，选择 7.0.0 或更高版本的 Amazon EMR 发行版。

4. 在 “应用程序捆绑包” 下，选择要安装到集群中的一个或多个应用程序，并在您的选择中加入CloudWatch 代理。

5. 继续创建集群以满足您的应用场景需求。

AWS CLI

在中 AWS CLI，您可以使用--applications参数将 Amazon CloudWatch 代理添加到集群create-cluster。

要使用 Amazon CloudWatch 代理创建集群，请访问 AWS CLI

• 创建集群时，使用类似于以下内容的命令来包含 Amazon CloudWatch 代理。myKey替换为您的 EC2 key pair 的名称。

  aws emr create-cluster --name "Spark cluster with CloudWatch agent" \
  --release-label emr-7.0.0 \
  --applications Name=Spark Name=AmazonCloudWatchAgent \
  --ec2-attributes KeyName=myKey --instance-type m7g.2xlarge \
  --instance-count 3 --use-default-roles

有关如何将 Amazon EMR 与配合使用的更多详细信息 AWS CLI，请参阅AWS CLI 命令参考。