Crie um cluster EMR que use o agente da Amazon CloudWatch - Amazon EMR

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Crie um cluster EMR que use o agente da Amazon CloudWatch

Os procedimentos nesta seção descrevem as etapas para criar um cluster no Amazon EMR com o CloudWatch agente da Amazon a partir do AWS Management Console e do. AWS CLI

Permissões de IAM necessárias para o CloudWatch agente

O CloudWatch agente exige a cloudwatch:PutMetricData permissão AWS Identity and Access Management (IAM) no perfil de instância do Amazon EC2 para o Amazon EMR. O perfil padrão do Amazon EMR já tem essa permissão. Você pode criar a função padrão a partir do AWS CLI withaws emr create-default-roles. Para obter mais informações, consulte Perfil de serviço para instâncias do EC2 de cluster (perfil de instância do EC2) no Guia de gerenciamento do Amazon EMR.

O seguinte exemplo de política do IAM inclui a permissão cloudwatch:PutMetricData:

{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": "cloudwatch:PutMetricData", "Resource": "*" } ] }

Endpoint de CloudWatch agente necessário

Para publicar métricas CloudWatch para um cluster do EMR em uma sub-rede privada, crie um endpoint de CloudWatch agente e associe-o à VPC na qual a sub-rede privada está.

Para obter mais informações sobre os CloudWatch endpoints de cada um Região da AWS, consulte os CloudWatch endpoints e cotas da Amazon no Guia de referência AWS geral.

Criação de um cluster do EMR

Depois de configurar as permissões e o endpoint necessários para uso com o CloudWatch agente, use o AWS Management Console ou o AWS CLI para criar um novo cluster com o agente instalado.

Console
Para criar um cluster com o CloudWatch agente da Amazon a partir do console
  1. Navegue até o console do Amazon EMR.

  2. Selecione Criar cluster.

  3. Em Nome e aplicações, escolha uma versão 7.0.0 ou superior do Amazon EMR.

  4. Em Pacote de aplicativos, selecione o pacote ou os aplicativos que você deseja instalar no seu cluster e inclua o CloudWatch agente nas suas seleções.

  5. Prossiga com a criação do cluster para atender às necessidades do seu caso de uso.

AWS CLI

No AWS CLI, você pode adicionar o CloudWatch agente da Amazon a um cluster com o --applications parâmetro paracreate-cluster.

Para criar um cluster com o CloudWatch agente da Amazon a partir do AWS CLI
  • Ao criar um cluster, use um comando semelhante ao seguinte para incluir o CloudWatch agente da Amazon. Substitua myKey pelo nome do seu par de chaves do EC2.

    aws emr create-cluster --name "Spark cluster with CloudWatch agent" \ --release-label emr-7.0.0 \ --applications Name=Spark Name=AmazonCloudWatchAgent \ --ec2-attributes KeyName=myKey --instance-type m7g.2xlarge \ --instance-count 3 --use-default-roles

Para obter mais detalhes sobre como usar o Amazon EMR com o AWS CLI, consulte a Referência de AWS CLI comandos.