Crea un EMR clúster que utilice Amazon CloudWatch Agent - Amazon EMR

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Crea un EMR clúster que utilice Amazon CloudWatch Agent

Los procedimientos de esta sección describen los pasos para crear un clúster en Amazon EMR con un CloudWatch agente de Amazon desde AWS Management Console y el AWS CLI.

IAMPermisos necesarios para el CloudWatch agente

El CloudWatch agente necesita el cloudwatch:PutMetricData permiso AWS Identity and Access Management (IAM) en el perfil de EC2 instancia de Amazon para AmazonEMR. El rol EMR predeterminado de Amazon ya tiene este permiso. Puede crear el rol predeterminado desde AWS CLI aquíaws emr create-default-roles. Para obtener más información, consulte Función de servicio para EC2 instancias de clúster (perfil de EC2 instancia) en la Amazon EMR Management Guide.

El siguiente ejemplo IAM de política incluye el cloudwatch:PutMetricData permiso:

{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": "cloudwatch:PutMetricData", "Resource": "*" } ] }

Punto final CloudWatch de agente obligatorio

Para publicar las métricas de un EMR clúster de una subred privada, cree un punto final de CloudWatch agente y asócielo al punto en el VPC que se encuentra la subred privada. CloudWatch

Para obtener más información sobre los CloudWatch puntos de enlace de cada uno Región de AWS, consulta los CloudWatch puntos de enlace y las cuotas de Amazon en la Guía de referencia AWS general.

Crear un clúster de EMR

Una vez que haya configurado los permisos y el punto de conexión necesarios para su uso con el CloudWatch agente, utilice el AWS Management Console o el AWS CLI para crear un nuevo clúster con el agente instalado.

Console
Para crear un clúster con Amazon CloudWatch Agent desde la consola
  1. Ve a la EMR consola de Amazon.

  2. Elija Create cluster.

  3. En Nombre y aplicaciones, selecciona una EMR versión de Amazon 7.0.0 o superior.

  4. En Paquete de aplicaciones, seleccione el paquete o las aplicaciones que desee instalar en su clúster e incluya el CloudWatch agente en sus selecciones.

  5. Continúe con la creación del clúster que se ajuste a las necesidades del caso de uso.

AWS CLI

En AWS CLI, puedes añadir un CloudWatch agente de Amazon a un clúster con el --applications parámetro forcreate-cluster.

Para crear un clúster con un CloudWatch agente de Amazon desde el AWS CLI
  • Cuando crees un clúster, usa un comando similar al siguiente para incluir el CloudWatch agente de Amazon. myKeySustitúyalo por el nombre de tu EC2 key pair.

    aws emr create-cluster --name "Spark cluster with CloudWatch agent" \ --release-label emr-7.0.0 \ --applications Name=Spark Name=AmazonCloudWatchAgent \ --ec2-attributes KeyName=myKey --instance-type m7g.2xlarge \ --instance-count 3 --use-default-roles

Para obtener más información sobre cómo usar Amazon EMR con AWS CLI, consulta la Referencia de AWS CLI comandos.