Configurer CloudWatch l'agent pour Amazon EMR 7.1.0 - Amazon EMR
Schéma de configurationExemples de configurations de métriques du systèmeExemples de configurations de métriques d'applicationsExemple d'Amazon Managed Service pour Prometheus

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Configurer CloudWatch l'agent pour Amazon EMR 7.1.0

À partir d'Amazon EMR 7.1.0, vous pouvez configurer l' CloudWatch agent Amazon pour utiliser des métriques système supplémentaires, ajouter des métriques d'application et modifier la destination des métriques en utilisant la EMR configuration API Amazon. Pour plus d'informations sur l'utilisation de la EMR configuration API pour configurer les applications de votre cluster, consultez la section Configurer les applications.

Note

La version 7.1.0 ne prend en charge que le type de reconfiguration. OVERWRITE Pour plus d'informations sur les types de reconfiguration, consultez la section Considérations relatives à la reconfiguration d'un groupe d'instances.

Schéma de configuration

emr-metricspossède les classifications suivantes :

  • emr-system-metrics— configurez les métriques du systèmeCPU, telles que le disque et la mémoire.

  • emr-hadoop-hdfs-datanode-metrics— configurer les métriques Hadoop DataNode JMX

  • emr-hadoop-hdfs-namenode-metrics— configurer les métriques Hadoop NameNode JMX

  • emr-hadoop-yarn-nodemanager-metrics— configure les NodeManager JMX métriques Yarn

  • emr-hadoop-yarn-resourcemanager-metrics— configure les ResourceManager JMX métriques Yarn

  • emr-hbase-master-metrics— configurer les JMX métriques HBase principales

  • emr-hbase-region-server-metrics— configurer les JMX métriques du serveur HBase régional

  • emr-hbase-rest-server-metrics— configurer les JMX métriques HBase REST du serveur

  • emr-hbase-thrift-server-metrics— configurer les métriques de HBase Thrift Server JMX

Les tableaux suivants décrivent les propriétés et les configurations disponibles pour toutes les classifications.

propriétés emr-metrics

Propriété Obligatoire Description Valeur par défaut Valeurs possibles Remarques
metrics_destination Facultatif Détermine si les métriques du cluster sont publiées sur Amazon CloudWatch ou sur Amazon Managed Service for Prometheus. "CLOUDWATCH" "CLOUDWATCH", "PROMETHEUS" Cette propriété ne distingue pas les majuscules et minuscules. Par exemple, « Cloudwatch » est identique à « CLOUDWATCH ».
prometheus_endpoint Facultatif Si elle metrics_destination est définie sur PROMETHEUS « », cette propriété configure l' CloudWatch agent pour qu'il envoie des métriques au point de terminaison d'écriture à distance Amazon Managed Service for Prometheus fourni. N/A Tout service géré Amazon valide pour l'écriture à distance de Prometheus. URL Le URL format d'écriture à distance est 
https://aps-workspaces.<region>.amazonaws.com/workspaces/<workspace_id>/api/v1/remote_write
 Ce champ est obligatoire s'il metrics_destination est défini sur « PROMETHEUS ». Le provisionnement échouera si vous ne fournissez pas de clé ou si la valeur est une chaîne vide.

emr-system-metrics propriétés

Propriété Obligatoire Description Valeur par défaut Valeurs possibles Remarques
metrics_collection_interval Facultatif Fréquence en quelques secondes à laquelle les métriques sont collectées et publiées par l' CloudWatch agent. « 60 » Chaîne spécifiant le nombre de secondes. Accepte uniquement les nombres entiers. Vous pouvez remplacer cette propriété par la metrics_collection_interval propriété provenant de groupes de mesures individuels.

emr-system-metrics configurations

cpu
Propriété Obligatoire Description Valeur par défaut Valeurs possibles Remarques
metrics Facultatif Liste des CPU métriques que l'agent doit collecter. Voir les statistiques par défaut pour les CloudWatch agents auprès d'Amazon EMR Liste de noms de CPU métriques valides séparés par des virgules, avec ou sans le cpu_ préfixe, tels que et. usage_active cpu_time_idle Consultez la section Mesures collectées par l' CloudWatch agent pour connaître les mesures valides. Spécifier une chaîne vide signifie ne publier aucune CPU métrique.
metrics_collection_interval Facultatif Fréquence en secondes à laquelle l'agent doit collecter et publier CPU les métriques. La valeur du globalmetrics_collection_interval. Chaîne spécifiant le nombre de secondes. Accepte uniquement les nombres entiers. Cette valeur remplace la metrics_collection_interval propriété globale uniquement pour les CPU métriques.
drop_original_metrics Facultatif Liste des CPU mesures pour lesquelles il ne faut pas publier de mesures non agrégées. Aucune CPU métrique non agrégée n'a été publiée. Liste de mesures séparées par des CPU virgules qui sont également spécifiées dans la propriété metrics. Une chaîne vide signifie que toutes les CPU métriques doivent être publiées. L' CloudWatch agent agrège toutes les métriques par ID de cluster, ID d'instance, type de nœud et nom de service. Par défaut, l' CloudWatch agent ne publie pas les métriques par ressource pour les métriques comportant plusieurs ressources.
resources Facultatif Détermine si l'agent publiera des métriques par cœur. "*" « * » active les métriques par cœur. « » désactive les métriques par cœur. L' CloudWatch agent publie uniquement les métriques par cœur pour les CPU métriques qui ne sont pas enregistrées. drop_original_metrics
disk
Propriété Obligatoire Description Valeur par défaut Valeurs possibles Remarques
metrics Facultatif Liste des métriques de disque que l'agent doit collecter. Voir les statistiques par défaut pour les CloudWatch agents auprès d'Amazon EMR Liste séparée par des virgules de noms de métriques de disque valides avec ou sans le disk_ préfixe, tel que et. disk_total used_percent Consultez la section Mesures collectées par l' CloudWatch agent pour connaître les mesures valides. Spécifier une chaîne vide signifie ne publier aucune métrique de disque.
metrics_collection_interval Facultatif Fréquence en secondes à laquelle l'agent doit collecter et publier les métriques du disque. La valeur du globalmetrics_collection_interval. Chaîne spécifiant le nombre de secondes. Accepte uniquement les nombres entiers. Cette valeur remplace la metrics_collection_interval propriété globale uniquement pour les métriques de disque.
drop_original_metrics Facultatif Liste des mesures de disque pour lesquelles il ne faut pas publier de mesures non agrégées. Aucune métrique de disque non agrégée n'a été publiée. Liste séparée par des virgules de métriques de disque qui sont également spécifiées dans la propriété metrics. Une chaîne vide signifie que toutes les métriques du disque doivent être publiées. L' CloudWatch agent agrège toutes les métriques par ID de cluster, ID d'instance, type de nœud et nom de service. Par défaut, l' CloudWatch agent ne publie pas les métriques par ressource pour les métriques comportant plusieurs ressources.
resources Facultatif Détermine si l'agent publiera per-mount-point des métriques. "*" « * » signifie tous les points de montage, « » signifie aucun point de montage ou une liste de points de montage séparés par des virgules. Par exemple, "/,/emr". L' CloudWatch agent publie uniquement per-mount-point les métriques de disque qui ne sont pas enregistréesdrop_original_metrics.
diskio
Propriété Obligatoire Description Valeur par défaut Valeurs possibles Remarques
metrics Facultatif Liste des métriques d'E/S de disque que l'agent doit collecter. Voir les statistiques par défaut pour les CloudWatch agents auprès d'Amazon EMR Liste séparée par des virgules de noms de métriques d'E/S de disque valides avec ou sans le diskio_ préfixe, tel que et. diskio_reads writes Consultez la section Mesures collectées par l' CloudWatch agent pour connaître les mesures valides. Si vous spécifiez une chaîne vide, vous ne publiez aucune métrique d'E/S sur disque.
metrics_collection_interval Facultatif Fréquence en secondes à laquelle l'agent doit collecter et publier les métriques d'E/S du disque. La valeur du globalmetrics_collection_interval. Chaîne spécifiant le nombre de secondes. Accepte uniquement les nombres entiers. Cette valeur remplace la metrics_collection_interval propriété globale uniquement pour les métriques d'E/S de disque.
drop_original_metrics Facultatif Liste des mesures d'E/S sur disque pour lesquelles il ne faut pas publier de mesures non agrégées. Aucune métrique d'E/S de disque non agrégée n'a été publiée. Liste séparée par des virgules de métriques d'E/S sur disque qui sont également spécifiées dans la propriété metrics. Une chaîne vide signifie que toutes les métriques d'E/S du disque doivent être publiées. L' CloudWatch agent agrège toutes les métriques par ID de cluster, ID d'instance, type de nœud et nom de service. Par défaut, l' CloudWatch agent ne publie pas les métriques par ressource pour les métriques comportant plusieurs ressources.
resources Facultatif Détermine si l'agent publiera des métriques par appareil. "*" « * » désigne tous les périphériques de stockage, « » signifie aucun périphérique de stockage ou une liste de noms de périphériques séparés par des virgules. Par exemple, "nvme0n1,nvme1n1". L' CloudWatch agent publie uniquement les métriques par appareil pour les métriques d'E/S sur disque qui ne sont pas introduites. drop_original_metrics
mem
Propriété Obligatoire Description Valeur par défaut Valeurs possibles Remarques
metrics Facultatif Liste des métriques de mémoire que l'agent doit collecter. Voir les statistiques par défaut pour les CloudWatch agents auprès d'Amazon EMR Liste séparée par des virgules de noms de métriques de mémoire valides avec ou sans le mem_ préfixe, tels que et. mem_available available_percent Consultez la section Mesures collectées par l' CloudWatch agent pour connaître les mesures valides. Spécifier une chaîne vide signifie ne publier aucune métrique de mémoire.
metrics_collection_interval Facultatif Fréquence en secondes à laquelle l'agent doit collecter et publier les métriques de mémoire. La valeur du globalmetrics_collection_interval. Chaîne spécifiant le nombre de secondes. Accepte uniquement les nombres entiers. Cette valeur remplace la metrics_collection_interval propriété globale uniquement pour les métriques de mémoire.
net
Propriété Obligatoire Description Valeur par défaut Valeurs possibles Remarques
metrics Facultatif Liste des métriques réseau que l'agent doit collecter. Voir les statistiques par défaut pour les CloudWatch agents auprès d'Amazon EMR Liste séparée par des virgules de noms de métriques réseau valides avec ou sans le net_ préfixe, tels que et. net_packets_sent packets_recv Consultez la section Mesures collectées par l' CloudWatch agent pour connaître les mesures valides. Spécifier une chaîne vide signifie ne publier aucune métrique réseau.
metrics_collection_interval Facultatif Fréquence en secondes à laquelle l'agent doit collecter et publier les métriques du réseau. La valeur du globalmetrics_collection_interval. Chaîne spécifiant le nombre de secondes. Accepte uniquement les nombres entiers. Cette valeur remplace la metrics_collection_interval propriété globale uniquement pour les métriques du réseau.
drop_original_metrics Facultatif Liste des mesures réseau pour lesquelles il ne faut pas publier de mesures non agrégées. Aucune métrique de réseau non agrégée n'a été publiée. Liste séparée par des virgules de métriques réseau qui sont également spécifiées dans la propriété metrics. Une chaîne vide signifie que toutes les métriques du réseau sont publiées. L' CloudWatch agent agrège toutes les métriques par ID de cluster, ID d'instance, type de nœud et nom de service. Par défaut, l' CloudWatch agent ne publie pas les métriques par ressource pour les métriques comportant plusieurs ressources.
resources Facultatif Détermine si l'agent publiera des métriques par interface. "*" « * » signifie toutes les interfaces réseau, « » signifie aucune interface réseau ou une liste de noms d'interfaces séparés par des virgules. Par exemple, "eth0,eth1". L' CloudWatch agent publie uniquement les métriques par interface pour les métriques réseau qui ne sont pas intégrées. drop_original_metrics
netstat
Propriété Obligatoire Description Valeur par défaut Valeurs possibles Remarques
metrics Facultatif Liste des statistiques réseau que l'agent doit collecter. Voir les statistiques par défaut pour les CloudWatch agents auprès d'Amazon EMR Liste séparée par des virgules de noms de métriques de mémoire valides avec ou sans le netstat_ préfixe, tels que et. tcp_listen netstat_udp_socket Consultez la section Mesures collectées par l' CloudWatch agent pour connaître les mesures valides. Si vous spécifiez une chaîne vide, vous ne publiez aucune métrique statistique du réseau.
metrics_collection_interval Facultatif Fréquence en secondes à laquelle l'agent doit collecter et publier les statistiques du réseau. La valeur du globalmetrics_collection_interval. Chaîne spécifiant le nombre de secondes. Accepte uniquement les nombres entiers. Cette valeur remplace la metrics_collection_interval propriété globale uniquement pour les métriques statistiques du réseau.
processes
Propriété Obligatoire Description Valeur par défaut Valeurs possibles Remarques
metrics Facultatif Liste des métriques de processus que l'agent doit collecter. Voir les statistiques par défaut pour les CloudWatch agents auprès d'Amazon EMR Liste séparée par des virgules de noms de métriques de mémoire valides avec ou sans le processes_ préfixe, tels que et. processes_running total Consultez la section Mesures collectées par l' CloudWatch agent pour connaître les mesures valides. Spécifier une chaîne vide signifie ne publier aucune métrique de processus.
metrics_collection_interval Facultatif Fréquence en secondes à laquelle l'agent doit collecter et publier les métriques des processus du système. La valeur du globalmetrics_collection_interval. Chaîne spécifiant le nombre de secondes. Accepte uniquement les nombres entiers. Cette valeur remplace la metrics_collection_interval propriété globale uniquement pour les métriques de processus du système.
swap
Propriété Obligatoire Description Valeur par défaut Valeurs possibles Remarques
metrics Facultatif La liste des métriques de swap que l'agent doit collecter. Voir les statistiques par défaut pour les CloudWatch agents auprès d'Amazon EMR Liste séparée par des virgules de noms de métriques de mémoire valides avec ou sans le swap_ préfixe, tels que et. swap_free used_percent Consultez la section Mesures collectées par l' CloudWatch agent pour connaître les mesures valides. Spécifier une chaîne vide signifie ne publier aucune métrique de swap.
metrics_collection_interval Facultatif Fréquence en secondes à laquelle l'agent doit collecter et publier les métriques de swap. La valeur du globalmetrics_collection_interval. Chaîne spécifiant le nombre de secondes. Accepte uniquement les nombres entiers. Cette valeur remplace la metrics_collection_interval propriété globale uniquement pour les métriques de swap.

emr-hadoop-hdfs-datanode-propriétés des métriques

Propriété Obligatoire Description Valeur par défaut Valeurs possibles
<custom_bean_name> Facultatif N/A MBeanCet CloudWatch agent doit collecter des métriques, telles queHadoop:service=DataNode,name=DataNodeActivity. Vous trouverez des exemples de MBean noms et les statistiques correspondantes dans les JMXYAMLfichiers d'exemple pour Amazon EMR version 7.0. Chaîne contenant la liste séparée par des virgules des métriques associées au. MBean Par exemple, BlocksCached,BlocksRead.
otel.metric.export.interval Facultatif Fréquence, en millisecondes, de collecte des métriques Hadoop. DataNode « 60 000 » Chaîne indiquant le nombre de millisecondes. Accepte uniquement les nombres entiers.

emr-hadoop-hdfs-namenode-propriétés des métriques

Propriété Obligatoire Description Valeur par défaut Valeurs possibles
<custom_bean_name> Facultatif N/A MBeanCet CloudWatch agent doit collecter des métriques, telles queHadoop:service=NameNode,name=FSNamesystem. Vous trouverez des exemples de MBean noms et les statistiques correspondantes dans les JMXYAMLfichiers d'exemple pour Amazon EMR version 7.0. Chaîne contenant la liste séparée par des virgules des métriques associées au. MBean Par exemple, BlockCapacity,CapacityUsedGB.
otel.metric.export.interval Facultatif Fréquence, en millisecondes, de collecte des métriques Hadoop. NameNode « 60 000 » Chaîne indiquant le nombre de millisecondes. Accepte uniquement les nombres entiers.

emr-hadoop-yarn-nodemanager-propriétés des métriques

Propriété Obligatoire Description Valeur par défaut Valeurs possibles
<custom_bean_name> Facultatif N/A MBeanCet CloudWatch agent doit collecter des métriques, telles queHadoop:service=NodeManager,name=NodeManagerMetrics. Vous trouverez des exemples de MBean noms et les statistiques correspondantes dans les JMXYAMLfichiers d'exemple pour Amazon EMR version 7.0. Chaîne contenant la liste séparée par des virgules des métriques associées au. MBean Par exemple, MaxCapacity,AllocatedGB.
otel.metric.export.interval Facultatif Fréquence, en millisecondes, de collecte des métriques Hadoop. YARN NodeManager « 60 000 » Chaîne indiquant le nombre de millisecondes. Accepte uniquement les nombres entiers.

emr-hadoop-yarn-resourcemanager-propriétés des métriques

Propriété Obligatoire Description Valeur par défaut Valeurs possibles
<custom_bean_name> Facultatif N/A MBeanCet CloudWatch agent doit collecter des métriques, telles queHadoop:service=ResourceManager,name=PartitionQueueMetrics. Vous trouverez des exemples de MBean noms et les statistiques correspondantes dans les JMXYAMLfichiers d'exemple pour Amazon EMR version 7.0. Chaîne contenant la liste séparée par des virgules des métriques associées au. MBean Par exemple, MaxCapacity,MaxCapacityVCores.
otel.metric.export.interval Facultatif Fréquence, en millisecondes, de collecte des métriques Hadoop. YARN ResourceManager « 60 000 » Chaîne indiquant le nombre de millisecondes. Accepte uniquement les nombres entiers.

emr-hbase-master-metrics propriétés

Propriété Obligatoire Description Valeur par défaut Valeurs possibles
<custom_bean_name> Facultatif N/A MBeanCet CloudWatch agent doit collecter des métriques, telles queHadoop:service=HBase,name=Master,sub=AssignmentManager. Vous trouverez des exemples de MBean noms et les statistiques correspondantes dans les JMXYAMLfichiers d'exemple pour Amazon EMR version 7.0. Chaîne contenant la liste séparée par des virgules des métriques associées au. MBean Par exemple, AssignFailedCount,AssignSubmittedCount.
otel.metric.export.interval Facultatif Fréquence, en millisecondes, de collecte HBase des métriques principales. « 60 000 » Chaîne indiquant le nombre de millisecondes. Accepte uniquement les nombres entiers.

emr-hbase-region-server-propriétés des métriques

Propriété Obligatoire Description Valeur par défaut Valeurs possibles
<custom_bean_name> Facultatif N/A MBeanCet CloudWatch agent doit collecter des métriques, telles queHadoop:service=HBase,name=RegionServer,sub=IPC. Vous trouverez des exemples de MBean noms et les statistiques correspondantes dans les JMXYAMLfichiers d'exemple pour Amazon EMR version 7.0. Chaîne contenant la liste séparée par des virgules des métriques associées au. MBean Par exemple, numActiveHandler,numActivePriorityHandler.
otel.metric.export.interval Facultatif Fréquence, en millisecondes, de collecte des métriques du serveur HBase régional. « 60 000 » Chaîne indiquant le nombre de millisecondes. Accepte uniquement les nombres entiers.

emr-hbase-rest-server-propriétés des métriques

Propriété Obligatoire Description Valeur par défaut Valeurs possibles
<custom_bean_name> Facultatif N/A MBeanCet CloudWatch agent doit collecter des métriques, telles queHadoop:service=HBase,name=REST. Vous trouverez des exemples de MBean noms et les statistiques correspondantes dans les JMXYAMLfichiers d'exemple pour Amazon EMR version 7.0. Chaîne contenant la liste séparée par des virgules des métriques associées au. MBean Par exemple, successfulPut,successfulScanCount.
otel.metric.export.interval Facultatif Fréquence, en millisecondes, de collecte des métriques du serveur HBase Rest. « 60 000 » Chaîne indiquant le nombre de millisecondes. Accepte uniquement les nombres entiers.

emr-hbase-thrift-server-propriétés des métriques

Propriété Obligatoire Description Valeur par défaut Valeurs possibles
<custom_bean_name> Facultatif N/A MBeanCet CloudWatch agent doit collecter des métriques, telles queHadoop:service=HBase,name=Thrift,sub=ThriftOne. Vous trouverez des exemples de MBean noms et les statistiques correspondantes dans les JMXYAMLfichiers d'exemple pour Amazon EMR version 7.0. Chaîne contenant la liste séparée par des virgules des métriques associées au. MBean Par exemple, BatchGet_max,BatchGet_mean.
otel.metric.export.interval Facultatif Fréquence, en millisecondes, de collecte des métriques du serveur HBase Thrift. « 60 000 » Chaîne indiquant le nombre de millisecondes. Accepte uniquement les nombres entiers.

Exemples de configurations de métriques du système

L'exemple suivant montre comment configurer l' CloudWatch agent pour arrêter d'exporter toutes les métriques du système.

[
  {
    "Classification": "emr-metrics",
    "Properties": {},
    "Configurations": [
      {
        "Classification": "emr-system-metrics",
        "Properties": {},
        "Configurations": []
      }
    ]
  }
]

L'exemple suivant configure l' CloudWatch agent pour exporter les métriques système par défaut. Cela constitue un moyen rapide de réinitialiser l'agent pour qu'il n'exporte les métriques système par défaut que si vous les avez déjà reconfigurées au moins une fois. Cette réinitialisation supprime également toutes les métriques d'application qui ont été reconfigurées auparavant.

[
  {
    "Classification": "emr-metrics",
    "Properties": {},
    "Configurations": []
  }
]

L'exemple suivant configure le cluster pour exporter les disk métriques cpumem,, et.

[
  {
    "Classification": "emr-metrics",
    "Properties": {},
    "Configurations": [
      {
        "Classification": "emr-system-metrics",
        "Properties": {
          "metrics_collection_interval": "20"
        },
        "Configurations": [
          {
            "Classification": "cpu",
            "Properties": {
              "metrics": "cpu_usage_guest,cpu_usage_idle",
              "metrics_collection_interval": "30",
              "drop_original_metrics": "cpu_usage_guest"
            }
          },
          {
            "Classification": "mem",
            "Properties": {
              "metrics": "mem_active"
            }
          },
           {
            "Classification": "disk",
            "Properties": {
              "metrics": "disk_used_percent",
              "resources": "/,/mnt",
              "drop_original_metrics": ""
            }
          }
        ]
      }
    ]
  }
]

L'exemple de configuration précédent possède les propriétés suivantes :

  • Toutes les 30 secondes, l'agent collecte la cpu_guest métrique pour tousCPUs. Vous pouvez trouver la métrique agrégée sous l'espace de CloudWatch nomsCWAgent > cluster.id, instance.id, node.type, service.name.

  • Toutes les 30 secondes, l'agent collecte la cpu_idle métrique pour tousCPUs. Vous pouvez trouver la métrique agrégée sous l'espace de CloudWatch nomsCWAgent > cluster.id, instance.id, node.type, service.name. L'agent collecte également les métriques par processeur. Vous pouvez les trouver dans le même espace de noms. L'agent collecte cette métrique parce que la drop_original_metrics propriété ne contient pascpu_idle, il n'ignore donc pas la métrique.

  • Toutes les 20 secondes, l'agent collecte la mem_active métrique. Vous pouvez trouver la métrique agrégée sous l'espace de CloudWatch nomsCWAgent > cluster.id, instance.id, node.type, service.name.

  • Toutes les 20 secondes, l'agent collecte les disk_used_percent métriques pour les montages /mnt sur disque / et. Vous pouvez trouver les métriques agrégées sous l'espace de CloudWatch nomsCWAgent > cluster.id, instance.id, node.type, service.name. L'agent collecte également les métriques par montage. Vous pouvez les trouver dans le même espace de noms. L'agent collecte cette métrique parce que la drop_original_metrics propriété ne contient pasdisk_used_percent, il n'ignore donc pas la métrique.

Exemples de configurations de métriques d'applications

L'exemple suivant configure l' CloudWatch agent pour arrêter d'exporter les métriques pour le service Hadoop Namenode.

[
  {
    "Classification": "emr-metrics",
    "Properties": {},
    "Configurations": [
      {
        "Classification": "emr-hadoop-hdfs-namenode-metrics",
        "Properties": {},
        "Configurations": []
      }
    ]
  }
]

L'exemple suivant configure un cluster pour exporter les métriques d'applications Hadoop.

[
  {
    "Classification": "emr-metrics",
    "Properties": {},
    "Configurations": [
      {
        "Classification": "emr-hadoop-hdfs-namenode-metrics",
        "Properties": {
          "Hadoop:service=NameNode,name=FSNamesystem": "BlockCapacity,CapacityUsedGB",
          "otel.metric.export.interval": "20000" 
        },
        "Configurations": []
      },
       {
        "Classification": "emr-hadoop-hdfs-datanode-metrics",
        "Properties": {
          "Hadoop:service=DataNode,name=JvmMetrics": "MemNonHeapUsedM",
          "otel.metric.export.interval": "30000" 
        },
        "Configurations": []
      },
       {
        "Classification": "emr-hadoop-yarn-resourcemanager-metrics",
        "Properties": {
          "Hadoop:service=ResourceManager,name=CapacitySchedulerMetrics": "AllocateNumOps,NodeUpdateNumOps"
        },
        "Configurations": []
      }
    ]
  }
]

L'exemple précédent possède les propriétés suivantes :

  • Toutes les 20 secondes, l'agent collecte les CapacityUsedGB métriques BlockCapacity et auprès des instances exécutant le service Hadoop Namenode.

  • Toutes les 30 secondes, l'agent collecte les MemNonHeapUsedM métriques des instances exécutant le service Hadoop Datanode.

  • Toutes les 30 secondes, l'agent collecte les NodeUpdateNumOps métriques AllocateNumOps et à partir des instances qui exécutent Hadoop YARN ResourceManaager.

Exemple d'Amazon Managed Service pour Prometheus

L'exemple suivant montre comment configurer l' CloudWatch agent pour exporter des métriques vers Amazon Managed Service for Prometheus.

Si vous exportez actuellement des métriques vers Amazon Managed Service for Prometheus et que vous souhaitez reconfigurer les métriques pour le cluster et continuer à exporter des métriques vers Amazon Managed Service for Prometheus, vous devez inclure les propriétés et. metrics_destination prometheus_endpoint

[
  {
    "Classification": "emr-metrics",
    "Properties": {
      "metrics_destination": "prometheus",
      "prometheus_endpoint": "http://amp-workspace/api/v1/remote_write"
    },
    "Configurations": []
  }
]

Pour utiliser l' CloudWatch agent vers lequel exporter des métriques CloudWatch, utilisez l'exemple suivant.

[
  {
    "Classification": "emr-metrics",
    "Properties": {
      "metrics_destination": "cloudwatch"
    },
    "Configurations": []
  }
]
Note

L' CloudWatch agent dispose d'un exportateur Prometheus qui renomme certains attributs. Pour les libellés de statistiques par défaut, Amazon Managed Service for Prometheus utilise des caractères de soulignement à la place des points utilisés par Amazon. CloudWatch Si vous utilisez Amazon Managed Grafana pour visualiser les métriques par défaut dans Amazon Managed Service for Prometheus, les libellés apparaissent sous la forme,, et. cluster_id instance_id node_type service_name