Configurare CloudWatch l'agente per Amazon EMR 7.0.0 - Amazon EMR
Parametri del sistemaParametri di applicazionePrometheus come archiviazione

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Configurare CloudWatch l'agente per Amazon EMR 7.0.0

Puoi configurare l' CloudWatch agente Amazon per utilizzare parametri di sistema aggiuntivi oltre a quelli forniti dalla configurazione predefinita CloudWatch dell'agente. La configurazione per 7.0.0 richiede l'utilizzo di operazioni di bootstrap, di cui abbiamo fornito esempi nelle sezioni seguenti. In una prossima versione, Amazon EMR fornirà opzioni di configurazione aggiuntive tramite Amazon EMRAPI.

Configura parametri di sistema aggiuntivi con Amazon 7.0.0 EMR

Utilizza i seguenti passaggi per configurare l'agente in modo che utilizzi un set diverso di parametri di sistema in Amazon EMR 7.0.0:

  1. Crea o scegli un bucket nel tuo account Amazon S3 in cui archiviare i file di configurazione che specificano le metriche CloudWatch dell'agente.

  2. Crea il file di configurazione emr-amazon-cloudwatch-agent.json specificando i parametri preferiti. A tale scopo, utilizza uno dei metodi spiegati in Creare il file di configurazione dell' CloudWatch agente. Per ulteriori informazioni sulla struttura del file di configurazione dell' CloudWatch agente, consulta Creare o modificare manualmente il file di configurazione dell' CloudWatch agente nella Amazon CloudWatch User Guide.

  3. Successivamente, vai al aws-emr-utilities accendi GitHub e scarica i seguenti script di metriche di sistema:

    • install_system_metrics_launcher.sh: uno script da scaricare e che poi esegue install_system_metrics.sh in background in modo che il nodo possa completare il bootstrap.

    • install_system_metrics.sh— Uno script che attende che l'istanza su cui viene eseguito completi il bootstrap, quindi scarica e applica la configurazione nel file. JSON

  4. Apri ogni file SH e sostituisci amzn-s3-demo-bucket con il nome del bucket del passaggio 1.

  5. Carica uno JSON e due file SH nel tuo bucket S3.

  6. Ora puoi accedere alla EMR console Amazon e creare un nuovo cluster con l' CloudWatch agente. In EMRon EC2 nella barra di navigazione a sinistra, seleziona Clusters, quindi Crea cluster.

  7. Nella sezione Nome e applicazioni, scegli una EMR versione Amazon 7.0.0 o successiva.

  8. In Pacchetto di applicazioni, seleziona il pacchetto o le app che desideri installare nel cluster e includi Amazon CloudWatch Agent tra le tue selezioni.

  9. Nella sezione Operazioni di bootstrap, seleziona Aggiungi.

    • In Nome, inserisci install_system_metrics_launcher.sh.

    • In Posizione dello script, inserisci s3://amzn-s3-demo-bucket/install_system_metrics_launcher.sh. Sostituisci amzn-s3-demo-bucket con il percorso del bucket S3.

    • Lascia vuoto il blocco Argomenti.

  10. Seleziona Add bootstrap action (Aggiungi operazione di bootstrap).

  11. Continua a creare il cluster per soddisfare le tue esigenze di carico di lavoro.

All'avvio del cluster, l' CloudWatch agente pubblica le metriche di sistema specificate nel file di configurazione. CloudWatch

Configura i parametri delle applicazioni con Amazon 7.0.0 EMR

Puoi configurare l' CloudWatch agente Amazon per pubblicare i parametri delle applicazioni per HDFS e YARN in aggiunta ai parametri di sistema. Completa la procedura seguente per configurare l'agente e pubblicare i parametri delle applicazioni:

  1. Crea o scegli un bucket nel tuo account Amazon S3 in cui archiviare i file di configurazione che specificano le metriche CloudWatch dell'agente.

  2. Quindi, vai al aws-emr-utilities accendi GitHub e scarica i seguenti script:

    • install_app_metrics_launcher.sh: uno script da scaricare e che poi esegue install_app_metrics.sh in background in modo che il nodo possa completare il bootstrap.

    • install_app_metrics.sh— Uno script che attende che l'istanza su cui viene eseguito completi il bootstrap, quindi scarica e applica la configurazione nei YAML file che scaricherai nel passaggio successivo.

  3. Apri ogni file e sostituisci amzn-s3-demo-bucket con il nome del bucket del passaggio 1.

  4. Successivamente, scarica i seguenti YAML file di mappatura. Per informazioni sulla struttura di questi YAML file, consulta javaagentla OpenTelemetry Instrumentation for Java GitHub pronti contro termine.

  5. Carica i due YAML file SH e quattro nel tuo bucket S3.

  6. Ora puoi accedere alla EMR console Amazon e creare un nuovo cluster con l' CloudWatch agente. In EMRon EC2 nella barra di navigazione a sinistra, seleziona Clusters, quindi Crea cluster.

  7. Nella sezione Nome e applicazioni, scegli una EMR versione Amazon 7.0.0 o successiva.

  8. In Application bundle, seleziona il pacchetto o il gruppo personalizzato di app che desideri installare nel cluster e includi l'CloudWatch agente tra le tue selezioni.

  9. Nella sezione Operazioni di bootstrap, seleziona Aggiungi.

    • In Nome, inserisci install_app_metrics_launcher.sh.

    • In Posizione dello script, inserisci s3://amzn-s3-demo-bucket/install_app_metrics_launcher.sh. Sostituisci amzn-s3-demo-bucket con il percorso del bucket S3.

    • Lascia vuoto il blocco Argomenti.

  10. Seleziona Add bootstrap action (Aggiungi operazione di bootstrap).

  11. Continua a creare il cluster per soddisfare le tue esigenze di carico di lavoro.

All'avvio del cluster, l' CloudWatch agente pubblica le metriche dell'applicazione che hai specificato insieme alle metriche di sistema. CloudWatch

Configura Amazon Managed Service for Prometheus come spazio di archiviazione cloud per le metriche con Amazon 7.0.0 EMR

Puoi configurare l' CloudWatch agente Amazon per pubblicare i parametri su Amazon Managed Service for Prometheus anziché. CloudWatch

Nota

Puoi pubblicare i parametri dell' CloudWatch agente Amazon su Amazon Managed Service for Prometheus o su CloudWatch Amazon, ma non puoi pubblicare i parametri su entrambi i servizi per lo stesso cluster.

Per configurare l'agente per pubblicare metriche su Amazon Managed Service for Prometheus, devi aggiungere l'autorizzazione aps:RemoteWrite AWS Identity and Access Management (IAM) al profilo dell'istanza Amazon per Amazon. EC2 EMR La seguente policy di esempio contiene le autorizzazioni necessarie:

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": "aps:RemoteWrite",
      "Resource": "*"
    }
  ]
}
Usa l' CloudWatch agente su un EMR cluster per pubblicare i parametri su Amazon Managed Service for Prometheus

Una volta che la policy del servizio ha le autorizzazioni corrette, utilizza i seguenti passaggi per avviare un cluster che utilizza l' CloudWatch agente per pubblicare i parametri su Amazon Managed Service for Prometheus.

  1. Usa AWS Management Console o AWS CLI per creare un'area di lavoro Amazon Managed Service for Prometheus. Per ulteriori informazioni, consulta Crea un workspace nella Guida per l'utente del servizio gestito da Amazon per Prometheus.

  2. Crea o scegli un bucket nel tuo account Amazon S3 in cui archiviare i file di avvio che specificano il servizio gestito da Amazon per Prometheus come spazio di archiviazione cloud.

  3. Quindi, vai al aws-emr-utilities accendi GitHub e scarica i seguenti script:

    • add_prometheus_endpoint_launcher.sh: uno script da scaricare e che poi esegue add_prometheus_endpoint.sh in background in modo che il nodo possa completare il bootstrap.

    • add_prometheus_endpoint.sh— Uno script che attende che l'istanza su cui viene eseguita completi il bootstrap, quindi configura l' CloudWatch agente per la pubblicazione sull'endpoint Amazon Managed Service for Prometheus fornito come argomento all'avvio del cluster.

  4. Apri ogni file e sostituisci amzn-s3-demo-bucket con il nome del bucket del passaggio 2.

  5. Usa il per creare un cluster con l'azione AWS CLI bootstrap. EMR add_prometheus_endpoint_launcher.sh Nel comando seguente, sostituisci amzn-s3-demo-bucket con il bucket che contiene l'operazione di bootstrap e sostituisci managedpro-remote-write-workspace-url con l'endpoint di scrittura remoto per il workspace del servizio gestito da Amazon per Prometheus. Assicurati di specificare un'etichetta di EMR rilascio Amazon uguale emr-7.0.0 o superiore.

    aws emr create-cluster --name managedpro-cluster \
    --release-label emr-7.0.0 \
    --applications Name=Hadoop Name=AmazonCloudWatchAgent \
    --ec2-attributes KeyName=myKey --instance-type m7g.2xlarge \
    --instance-count 3 --use-default-roles
   --bootstrap-actions Name='Add Prometheus Endpoint',Path=s3://amzn-s3-demo-bucket/add_prometheus_endpoint_launcher.sh,Args='managedpro-remote-write-workspace-url'

All'avvio del cluster, l' CloudWatch agente pubblica le metriche raccolte su Amazon Managed Service for Prometheus.

Utilizza il servizio gestito da Amazon per Prometheus come origine dati per Grafana gestito da Amazon

Una volta EMR che Amazon ha pubblicato i parametri del cluster su Amazon Managed Service for Prometheus, puoi utilizzare i seguenti passaggi per visualizzare i parametri con Amazon Managed Grafana:

  1. Usa il AWS Management Console per creare uno spazio di lavoro e un utente Amazon Managed Grafana con le autorizzazioni appropriate. Per ulteriori informazioni, consulta Crea un workspace nella Guida per l'utente di Grafana gestito da Amazon.

  2. Aggiungi il workspace del servizio gestito da Amazon per Prometheus come origine dati per Grafana gestito da Amazon. Per ulteriori informazioni, consulta Utilizza la configurazione dell'origine dati AWS per aggiungere il servizio gestito da Amazon per Prometheus come origine dati nella Guida per l'utente di Grafana gestito da Amazon.

Nota

L' CloudWatch agente dispone di un esportatore Prometheus che rinomina determinati attributi. Per le etichette delle metriche predefinite, Amazon Managed Service for Prometheus utilizza caratteri di sottolineatura al posto dei periodi utilizzati da Amazon. CloudWatch Quindi, se usi Grafana gestito da Amazon per visualizzare i parametri predefiniti nel servizio gestito da Amazon per Prometheus, le etichette appaiono come jobflow_id, instance_id e service_name.

Inoltre, tutte le metriche dell'applicazione pubblicate dall' CloudWatch agente su Amazon Managed Service for Prometheus utilizzano l'etichetta anziché. job service_name Tuttavia, i parametri del sistema continuano a utilizzare l'etichetta service_name.