建立使用 Amazon CloudWatch 代理程式的 EMR 叢集 - Amazon EMR

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

建立使用 Amazon CloudWatch 代理程式的 EMR 叢集

本節中的程序說明在 Amazon EMR 中使用 Amazon CloudWatch 代理程式從 AWS Management Console 和 建立叢集的步驟 AWS CLI。

CloudWatch 代理程式所需的 IAM 許可

CloudWatch 代理程式需要 Amazon EMR Amazon EC2 執行個體設定檔中的 AWS Identity and Access Management (IAM) cloudwatch:PutMetricData許可。Amazon EMR 預設角色已具有此許可。您可以從 AWS CLI 使用 建立預設角色aws emr create-default-roles。如需詳細資訊,請參閱《Amazon EMR 管理指南》中的叢集 EC2 執行個體的服務角色 (EC2 執行個體設定檔)

以下範例 IAM 政策包含 cloudwatch:PutMetricData 許可:

{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": "cloudwatch:PutMetricData", "Resource": "*" } ] }

所需的 CloudWatch 代理程式端點

若要為私有子網路中的 EMR 叢集,將指標發布至 CloudWatch,請建立 CloudWatch 代理程式端點,並與私有子網路所在的 VPC 建立關聯。

如需每個 的 CloudWatch 端點的詳細資訊 AWS 區域,請參閱 AWS 一般參考指南中的 Amazon CloudWatch 端點和配額

建立 EMR 叢集

設定與 CloudWatch 代理程式搭配使用的必要許可和端點後,請使用 AWS Management Console 或 AWS CLI 來建立已安裝代理程式的新叢集。

Console
在主控台中使用 Amazon CloudWatch 代理程式建立叢集
  1. 導覽至 Amazon EMR 主控台。

  2. 選擇建立叢集

  3. 名稱和應用程式下,選擇 7.0.0 或更高版本的 Amazon EMR 版本。

  4. 應用程式套件下,選取您要安裝至叢集的套件或應用程式,然後在您的選擇中納入 CloudWatch 代理程式

  5. 繼續建立叢集以滿足您的使用案例需求。

AWS CLI

在 中 AWS CLI,您可以使用 的 --applications 參數,將 Amazon CloudWatch 代理程式新增至叢集create-cluster

從 使用 Amazon CloudWatch 代理程式建立叢集 AWS CLI
  • 在建立叢集時,請使用類似以下的命令來納入 Amazon CloudWatch 代理程式。使用 EC2 金鑰對名稱取代 myKey

    aws emr create-cluster --name "Spark cluster with CloudWatch agent" \ --release-label emr-7.0.0 \ --applications Name=Spark Name=AmazonCloudWatchAgent \ --ec2-attributes KeyName=myKey --instance-type m7g.2xlarge \ --instance-count 3 --use-default-roles

如需如何搭配 使用 Amazon EMR 的詳細資訊 AWS CLI,請參閱 AWS CLI 命令參考