Créez un cluster EMR qui utilise l'agent Amazon CloudWatch - Amazon EMR

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Créez un cluster EMR qui utilise l'agent Amazon CloudWatch

Les procédures décrites dans cette section décrivent les étapes à suivre pour créer un cluster dans Amazon EMR avec l' CloudWatch agent Amazon depuis AWS Management Console et le. AWS CLI

Autorisations IAM requises pour l'agent CloudWatch

L' CloudWatch agent a besoin de l'cloudwatch:PutMetricDataautorisation AWS Identity and Access Management (IAM) dans le profil d' EC2 instance Amazon pour Amazon EMR. Le rôle par défaut d’Amazon EMR dispose déjà de cette autorisation. Vous pouvez créer le rôle par défaut à partir du AWS CLI withaws emr create-default-roles. Pour plus d'informations, consultez la section Rôle de service pour les EC2 instances de cluster (profil d'EC2 instance) dans le guide de gestion Amazon EMR.

L’exemple de politique IAM suivant inclut l’autorisation cloudwatch:PutMetricData.

JSON
{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "cloudwatch:PutMetricData" ], "Resource": [ "*" ], "Sid": "AllowCLOUDWATCHPutmetricdata" } ] }

Point de terminaison CloudWatch d'agent requis

Pour publier des métriques CloudWatch pour un cluster EMR dans un sous-réseau privé, créez un point de terminaison d' CloudWatch agent et associez-le au VPC dans lequel se trouve le sous-réseau privé.

Pour plus d'informations sur les CloudWatch points de terminaison de chacun Région AWS, consultez la section CloudWatch Points de terminaison et quotas Amazon dans le Guide de référence AWS général.

Créer un cluster EMR

Une fois que vous avez configuré les autorisations et le point de terminaison requis pour une utilisation avec l' CloudWatch agent, utilisez le AWS Management Console ou le AWS CLI pour créer un nouveau cluster avec l'agent installé.

Console
Pour créer un cluster avec CloudWatch l'agent Amazon depuis la console
  1. Accédez à la console Amazon EMR.

  2. Choisissez Créer un cluster.

  3. Sous Nom et applications, choisissez Amazon EMR 7.0.0 ou version ultérieure.

  4. Sous Ensemble d'applications, sélectionnez le ou les applications que vous souhaitez installer sur votre cluster et incluez CloudWatch l'agent dans vos sélections.

  5. Procédez à la création du cluster adapté à votre cas d’utilisation.

AWS CLI

Dans le AWS CLI, vous pouvez ajouter CloudWatch l'agent Amazon à un cluster avec le --applications paramètre pourcreate-cluster.

Pour créer un cluster avec l' CloudWatch agent Amazon à partir du AWS CLI
  • Lorsque vous créez un cluster, utilisez une commande similaire à la suivante pour inclure l' CloudWatch agent Amazon. myKeyRemplacez-le par le nom de votre paire de EC2 clés.

    aws emr create-cluster --name "Spark cluster with CloudWatch agent" \ --release-label emr-7.0.0 \ --applications Name=Spark Name=AmazonCloudWatchAgent \ --ec2-attributes KeyName=myKey --instance-type m7g.2xlarge \ --instance-count 3 --use-default-roles

Pour plus de détails sur l'utilisation d'Amazon EMR avec le AWS CLI, consultez la référence des AWS CLI commandes.