本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
建立使用 Amazon CloudWatch 代理程式的 EMR 叢集
本節中的程序說明從 AWS Management Console 和 使用 Amazon CloudWatch 代理程式在 Amazon EMR 中建立叢集的步驟 AWS CLI。
CloudWatch 代理程式所需的 IAM 許可
CloudWatch 代理程式需要 Amazon EMR 的 Amazon EC2 執行個體設定檔中的 AWS Identity and Access Management (IAM) cloudwatch:PutMetricData
許可。Amazon EMR 預設角色已具有此許可。您可以使用 從 AWS CLI 建立預設角色aws emr create-default-roles
。如需詳細資訊,請參閱《Amazon EMR 管理指南》中的叢集 EC2 執行個體的服務角色 (EC2 執行個體設定檔)。
以下範例 IAM 政策包含 cloudwatch:PutMetricData
許可:
- JSON
-
-
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": [
"cloudwatch:PutMetricData"
],
"Resource": [
"*"
],
"Sid": "AllowCLOUDWATCHPutmetricdata"
}
]
}
所需的 CloudWatch 代理程式端點
若要為私有子網路中的 EMR 叢集,將指標發布至 CloudWatch,請建立 CloudWatch 代理程式端點,並與私有子網路所在的 VPC 建立關聯。
如需每個 CloudWatch 端點的詳細資訊 AWS 區域,請參閱《 AWS 一般參考指南》中的 Amazon CloudWatch 端點和配額。
建立 EMR 叢集
設定與 CloudWatch 代理程式搭配使用的必要許可和端點後,請使用 AWS Management Console 或 AWS CLI 來建立已安裝代理程式的新叢集。
- Console
-
在主控台中使用 Amazon CloudWatch 代理程式建立叢集
-
導覽至 Amazon EMR 主控台。
-
選擇 建立叢集。
-
在名稱和應用程式下,選擇 7.0.0 或更高版本的 Amazon EMR 版本。
-
在應用程式套件下,選取您要安裝至叢集的套件或應用程式,然後在您的選擇中納入 CloudWatch 代理程式。
-
繼續建立叢集以滿足您的使用案例需求。
- AWS CLI
-
在 中 AWS CLI,您可以使用 的 --applications
參數,將 Amazon CloudWatch 代理程式新增至叢集create-cluster
。
從 使用 Amazon CloudWatch 代理程式建立叢集 AWS CLI
-
在建立叢集時,請使用類似以下的命令來納入 Amazon CloudWatch 代理程式。使用 EC2 金鑰對名稱取代 myKey
。
aws emr create-cluster --name "Spark cluster with CloudWatch agent
" \
--release-label emr-7.0.0 \
--applications Name=Spark Name=AmazonCloudWatchAgent \
--ec2-attributes KeyName=myKey
--instance-type m7g.2xlarge \
--instance-count 3 --use-default-roles
如需如何搭配 使用 Amazon EMR 的詳細資訊 AWS CLI,請參閱 AWS CLI 命令參考。