Cree un clúster de EMR que utilice Amazon Agent CloudWatch - Amazon EMR

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Cree un clúster de EMR que utilice Amazon Agent CloudWatch

Los procedimientos de esta sección describen los pasos para crear un clúster en Amazon EMR con un CloudWatch agente de Amazon desde AWS Management Console y desde. AWS CLI

Permisos de IAM necesarios para el agente CloudWatch

El CloudWatch agente necesita el cloudwatch:PutMetricData permiso AWS Identity and Access Management (IAM) en el perfil de EC2 instancia de Amazon para Amazon EMR. El rol predeterminado de Amazon EMR ya tiene este permiso. Puede crear el rol predeterminado desde aquí. AWS CLI aws emr create-default-roles Para obtener más información, consulte Función de servicio para EC2 instancias de clúster (perfil de EC2 instancia) en la Guía de administración de Amazon EMR.

El siguiente ejemplo de política de IAM incluye el permiso cloudwatch:PutMetricData:

{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": "cloudwatch:PutMetricData", "Resource": "*" } ] }

Punto de enlace del CloudWatch agente obligatorio

Para publicar las métricas de un clúster de EMR en una subred privada, cree un punto final de CloudWatch agente y asócielo a la VPC en la que se encuentra la subred privada. CloudWatch

Para obtener más información sobre los CloudWatch puntos de enlace de cada uno Región de AWS, consulta los CloudWatch puntos de enlace y las cuotas de Amazon en la Guía de referencia AWS general.

Creación de un clúster de EMR

Una vez que haya configurado los permisos y el punto de conexión necesarios para su uso con el CloudWatch agente, utilice el AWS Management Console o el AWS CLI para crear un nuevo clúster con el agente instalado.

Console
Para crear un clúster con el CloudWatch agente de Amazon desde la consola
  1. Vaya a la consola de Amazon EMR.

  2. Elija Create cluster.

  3. En Nombre y aplicaciones, elija la versión de Amazon EMR 7.0.0 o posterior.

  4. En Paquete de aplicaciones, selecciona el paquete o las aplicaciones que deseas instalar en tu clúster e incluye el CloudWatch agente entre tus selecciones.

  5. Continúe con la creación del clúster que se ajuste a las necesidades del caso de uso.

AWS CLI

En AWS CLI, puedes añadir un CloudWatch agente de Amazon a un clúster con el --applications parámetro forcreate-cluster.

Para crear un clúster con Amazon CloudWatch Agent desde AWS CLI
  • Cuando crees un clúster, usa un comando similar al siguiente para incluir el CloudWatch agente de Amazon. myKeySustitúyalo por el nombre de tu EC2 key pair.

    aws emr create-cluster --name "Spark cluster with CloudWatch agent" \ --release-label emr-7.0.0 \ --applications Name=Spark Name=AmazonCloudWatchAgent \ --ec2-attributes KeyName=myKey --instance-type m7g.2xlarge \ --instance-count 3 --use-default-roles

Para obtener más información sobre cómo utilizar Amazon EMR con el AWS CLI, consulte la Referencia de AWS CLI comandos.