Configurar CloudWatch agente para Amazon EMR 7.0.0 - Amazon EMR
Métricas do sistemaMétricas da aplicaçãoPrometheus como armazenamento

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Configurar CloudWatch agente para Amazon EMR 7.0.0

Você pode configurar o CloudWatch agente da Amazon para usar métricas de sistema adicionais além daquelas fornecidas pela configuração padrão do CloudWatch agente. A configuração da versão 7.0.0 requer o uso de ações de bootstrap, das quais fornecemos exemplos nas seções a seguir. Em uma próxima versão, a Amazon EMR fornecerá opções adicionais de configuração por meio da Amazon EMRAPI.

Configure métricas adicionais do sistema com o Amazon EMR 7.0.0

Use as etapas a seguir para configurar o agente para usar um conjunto diferente de métricas do sistema na Amazon EMR 7.0.0:

  1. Crie ou escolha um bucket na sua conta do Amazon S3 onde você deseja armazenar os arquivos de configuração que especificam as métricas do CloudWatch agente.

  2. Crie o arquivo de configuração emr-amazon-cloudwatch-agent.json com suas métricas preferenciais especificadas. Para fazer isso, use um dos métodos explicados em Criar o arquivo de configuração do CloudWatch agente. Para obter mais informações sobre a estrutura do arquivo de configuração do CloudWatch agente, consulte Criar ou editar manualmente o arquivo de configuração do CloudWatch agente no Guia CloudWatch do usuário da Amazon.

  3. Em seguida, navegue até aws-emr-utilities acesse GitHub e baixe os seguintes scripts de métricas do sistema:

    • install_system_metrics_launcher.sh: um script que baixa e executa install_system_metrics.sh em segundo plano para que o nó possa concluir o bootstrapping.

    • install_system_metrics.sh— Um script que espera que a instância em que é executado conclua a inicialização e, em seguida, baixa e aplica a configuração no arquivo. JSON

  4. Abra cada arquivo SH e substitua amzn-s3-demo-bucket pelo nome do seu bucket da Etapa 1.

  5. Faça upload de um JSON e dois arquivos SH em seu bucket do S3.

  6. Agora, você pode navegar até o EMR console da Amazon e criar um novo cluster com o CloudWatch agente. Em Ativado, EMREC2na navegação à esquerda, selecione Clusters e, em seguida, Criar cluster.

  7. Na seção Nome e aplicativos, escolha uma EMR versão 7.0.0 ou superior da Amazon.

  8. Em Pacote de aplicativos, selecione o pacote ou aplicativos que você deseja instalar em seu cluster e inclua o Amazon CloudWatch Agent em suas seleções.

  9. Na seção Ações de bootstrap, selecione Adicionar.

    • Em Nome, insira install_system_metrics_launcher.sh.

    • Na Localização do script, insira s3://amzn-s3-demo-bucket/install_system_metrics_launcher.sh. Substitua amzn-s3-demo-bucket pelo caminho para o bucket do S3.

    • Deixe o bloco Argumentos vazio.

  10. Selecione Adicionar ação de bootstrap.

  11. Continue criando o cluster para atender às necessidades da sua workload.

Quando seu cluster é iniciado, o CloudWatch agente publica as métricas do sistema que você especificou no arquivo de configuração para CloudWatch.

Configure métricas de aplicativos com o Amazon EMR 7.0.0

Você pode configurar o CloudWatch agente da Amazon para publicar métricas de aplicativos para HDFS e YARN além das métricas do sistema. Use as etapas a seguir para configurar o agente para publicar as métricas de aplicações.

  1. Crie ou escolha um bucket na sua conta do Amazon S3 onde você deseja armazenar os arquivos de configuração que especificam as métricas do CloudWatch agente.

  2. Em seguida, navegue até aws-emr-utilities acesse GitHub e baixe os seguintes scripts:

    • install_app_metrics_launcher.sh: um script que baixa e executa install_app_metrics.sh em segundo plano para que o nó possa concluir o bootstrapping.

    • install_app_metrics.sh— Um script que espera que a instância em que é executado conclua a inicialização e, em seguida, baixa e aplica a configuração nos YAML arquivos que você baixará em uma próxima etapa.

  3. Abra cada arquivo e substitua amzn-s3-demo-bucket pelo nome do seu bucket da Etapa 1.

  4. Em seguida, baixe os seguintes arquivos de YAML mapeamento. Para obter informações sobre como esses YAML arquivos são estruturados, consulte javaagentno OpenTelemetry Instrumentation for Java GitHub recompra.

  5. Faça upload dos dois arquivos SH e YAML dos quatro arquivos em seu bucket do S3.

  6. Agora, você pode navegar até o EMR console da Amazon e criar um novo cluster com o CloudWatch agente. Em Ativado, EMREC2na navegação à esquerda, selecione Clusters e, em seguida, Criar cluster.

  7. Na seção Nome e aplicativos, escolha uma EMR versão 7.0.0 ou superior da Amazon.

  8. Em Pacote de aplicativos, selecione o pacote ou grupo personalizado de aplicativos que você deseja instalar no seu cluster e inclua o CloudWatch agente em suas seleções.

  9. Na seção Ações de bootstrap, selecione Adicionar.

    • Em Nome, insira install_app_metrics_launcher.sh.

    • Na Localização do script, insira s3://amzn-s3-demo-bucket/install_app_metrics_launcher.sh. Substitua amzn-s3-demo-bucket pelo caminho para o bucket do S3.

    • Deixe o bloco Argumentos vazio.

  10. Selecione Adicionar ação de bootstrap.

  11. Continue criando o cluster para atender às necessidades da sua workload.

Quando seu cluster é iniciado, o CloudWatch agente publica as métricas do aplicativo que você especificou junto com as métricas do sistema para CloudWatch.

Configure o Amazon Managed Service para Prometheus como armazenamento em nuvem para métricas com o Amazon 7.0.0 EMR

Você pode configurar o CloudWatch agente da Amazon para publicar métricas no Amazon Managed Service for Prometheus em vez de. CloudWatch

nota

Você pode publicar métricas do CloudWatch agente da Amazon no Amazon Managed Service for Prometheus ou na CloudWatch Amazon, mas não pode publicar as métricas nos dois serviços do mesmo cluster.

Para configurar o agente para publicar métricas no Amazon Managed Service for Prometheus, você deve adicionar aps:RemoteWrite AWS Identity and Access Management a permissão IAM () ao perfil de instância da Amazon para a EC2 Amazon. EMR O seguinte exemplo de política contém a permissão necessária:

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": "aps:RemoteWrite",
      "Resource": "*"
    }
  ]
}
Use o CloudWatch agente em um EMR cluster para publicar métricas no Amazon Managed Service for Prometheus

Depois que a política de serviço tiver as permissões corretas, use as etapas a seguir para iniciar um cluster que usa o CloudWatch agente para publicar métricas no Amazon Managed Service for Prometheus.

  1. Use o AWS Management Console ou AWS CLI para criar um espaço de trabalho do Amazon Managed Service para Prometheus. Para obter mais informações, consulte Criação de um espaço de trabalho no Guia do usuário do Amazon Managed Service for Prometheus.

  2. Crie ou escolha um bucket na sua conta do Amazon S3 onde deseja armazenar os arquivos de execução que especificam o Amazon Managed Service for Prometheus como armazenamento em nuvem.

  3. Em seguida, navegue até aws-emr-utilities acesse GitHub e baixe os seguintes scripts:

    • add_prometheus_endpoint_launcher.sh: um script que baixa e executa add_prometheus_endpoint.sh em segundo plano para que o nó possa concluir o bootstrapping.

    • add_prometheus_endpoint.sh— Um script que espera que a instância em que é executado conclua a inicialização e, em seguida, configura o CloudWatch agente para publicar no endpoint do Amazon Managed Service for Prometheus, que você fornece como argumento ao iniciar seu cluster.

  4. Abra cada arquivo e substitua amzn-s3-demo-bucket pelo nome do seu bucket da Etapa 2.

  5. Use o AWS CLI para criar um EMR cluster com a ação add_prometheus_endpoint_launcher.sh bootstrap. No comando a seguir, substitua amzn-s3-demo-bucket pelo bucket que contém a ação de bootstrap e substitua managedpro-remote-write-workspace-url pelo endpoint de gravação remota do seu espaço de trabalho do Amazon Managed Service for Prometheus. Certifique-se de especificar uma etiqueta de EMR lançamento da Amazon igual emr-7.0.0 ou superior.

    aws emr create-cluster --name managedpro-cluster \
    --release-label emr-7.0.0 \
    --applications Name=Hadoop Name=AmazonCloudWatchAgent \
    --ec2-attributes KeyName=myKey --instance-type m7g.2xlarge \
    --instance-count 3 --use-default-roles
   --bootstrap-actions Name='Add Prometheus Endpoint',Path=s3://amzn-s3-demo-bucket/add_prometheus_endpoint_launcher.sh,Args='managedpro-remote-write-workspace-url'

Quando seu cluster é iniciado, o CloudWatch agente publica as métricas coletadas no Amazon Managed Service for Prometheus.

Como usar o Amazon Managed Service for Prometheus como fonte de dados do Amazon Managed Grafana

Depois que a Amazon EMR publicar as métricas do cluster no Amazon Managed Service for Prometheus, você poderá usar as seguintes etapas para visualizar as métricas com o Amazon Managed Grafana:

  1. Use o AWS Management Console para criar um espaço de trabalho e um usuário do Amazon Managed Grafana com as permissões apropriadas. Para obter mais informações, consulte Criação de um espaço de trabalho no Guia do usuário do Amazon Managed Grafana.

  2. Adicione seu espaço de trabalho do Amazon Managed Service for Prometheus como fonte de dados no Amazon Managed Grafana. Para obter mais informações, consulte Use AWS data source configuration to add Amazon Managed Service for Prometheus as a data source no Guia do usuário do Amazon Managed Grafana.

nota

O CloudWatch agente tem um exportador Prometheus que renomeia determinados atributos. Para os rótulos de métricas padrão, o Amazon Managed Service for Prometheus usa caracteres de sublinhado no lugar dos períodos que a Amazon usa. CloudWatch Portanto, se você usar o Amazon Managed Grafana para visualizar as métricas padrão no Amazon Managed Service for Prometheus, os rótulos aparecerão como jobflow_id, instance_id e service_name.

Além disso, qualquer métrica de aplicativo que o CloudWatch agente publica no Amazon Managed Service for Prometheus usa o rótulo em vez de. job service_name No entanto, as métricas do sistema continuam usando o rótulo service_name.