Configurar el CloudWatch agente para Amazon EMR 7.1.0 - Amazon EMR
Esquema de configuraciónEjemplos de configuraciones de métricas del sistemaEjemplos de configuraciones de métricas de aplicacionesEjemplo de Amazon Managed Service para Prometheus

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Configurar el CloudWatch agente para Amazon EMR 7.1.0

A partir de Amazon EMR 7.1.0, puede configurar el CloudWatch agente de Amazon para que utilice métricas de sistema adicionales, añada métricas de aplicación y cambie el destino de las métricas mediante la API de configuración de Amazon EMR. Para obtener más información sobre cómo usar la API de configuración de EMR para configurar las aplicaciones del clúster, consulte Configurar aplicaciones.

nota

7.1.0 solo admite el tipo de reconfiguración. OVERWRITE Para obtener más información sobre los tipos de reconfiguración, consulta Consideraciones al reconfigurar un grupo de instancias.

Esquema de configuración

emr-metricstiene las siguientes clasificaciones:

  • emr-system-metrics— configurar las métricas del sistema, como la CPU, el disco y la memoria.

  • emr-hadoop-hdfs-datanode-metrics— configurar las métricas JMX de Hadoop DataNode

  • emr-hadoop-hdfs-namenode-metrics— configurar las métricas de Hadoop JMX NameNode

  • emr-hadoop-yarn-nodemanager-metrics— configurar las métricas de Yarn JMX NodeManager

  • emr-hadoop-yarn-resourcemanager-metrics— configurar las métricas de Yarn ResourceManager JMX

  • emr-hbase-master-metrics— configurar las métricas de HBase Master JMX

  • emr-hbase-region-server-metrics— configurar las métricas JMX de HBase Region Server

  • emr-hbase-rest-server-metrics— configurar las métricas JMX del servidor REST de HBase

  • emr-hbase-thrift-server-metrics— configurar las métricas JMX de HBase Thrift Server

Las siguientes tablas describen las propiedades y configuraciones disponibles para todas las clasificaciones.

propiedades de emr-metrics

Propiedad Obligatoria Descripción Valor predeterminado Valores posibles Notas
metrics_destination Opcional Determina si las métricas del clúster se publican en Amazon CloudWatch o en Amazon Managed Service for Prometheus. «CLOUDWATCH» «CLOUDWATCH», «PROMETEO» Esta propiedad no distingue entre mayúsculas y minúsculas. Por ejemplo, «Cloudwatch» es lo mismo que «CLOUDWATCH».
prometheus_endpoint Opcional Si metrics_destination se establece en «PROMETHEUS», esta propiedad configura el CloudWatch agente para enviar métricas al punto final de escritura remota de Amazon Managed Service for Prometheus proporcionado. N/A Cualquier URL de escritura remota válida de Amazon Managed Service para Prometheus. El formato de URL de escritura remota es 
https://aps-workspaces.<region>.amazonaws.com/workspaces/<workspace_id>/api/v1/remote_write
 Este campo es obligatorio si metrics_destination está configurado como «PROMETHEUS». El aprovisionamiento fallará si no proporciona una clave o si el valor es una cadena vacía.

emr-system-metrics propiedades

Propiedad Obligatoria Descripción Valor predeterminado Valores posibles Notas
metrics_collection_interval Opcional La frecuencia en cuestión de segundos que el CloudWatch agente recopila y publica las métricas. «60" Una cadena que especifica el número de segundos. Solo acepta números enteros. Puede anular esta propiedad con la metrics_collection_interval propiedad de grupos de métricas individuales.

emr-system-metrics configuraciones

cpu
Propiedad Obligatoria Descripción Valor predeterminado Valores posibles Notas
metrics Opcional La lista de métricas de CPU que debe recopilar el agente. Consulte las métricas predeterminadas CloudWatch del agente con Amazon EMR Una lista separada por comas de nombres de métricas de CPU válidos con o sin el cpu_ prefijo, como y. usage_active cpu_time_idle Consulte las métricas recopiladas por el CloudWatch agente para ver las métricas válidas. Especificar una cadena vacía significa no publicar ninguna métrica de la CPU.
metrics_collection_interval Opcional La frecuencia en segundos que el agente debe recopilar y publicar las métricas de la CPU. El valor de lo globalmetrics_collection_interval. Una cadena que especifica el número de segundos. Solo acepta números enteros. Este valor anula la metrics_collection_interval propiedad global solo para las métricas de la CPU.
drop_original_metrics Opcional Lista de métricas de CPU para las que no se deben publicar métricas no agregadas. No se ha publicado ninguna métrica de CPU no agregada. Lista de métricas de CPU separadas por comas que también se especifican en la propiedad de métricas. Una cadena vacía significa publicar todas las métricas de la CPU. El CloudWatch agente agrega todas las métricas por ID de clúster, ID de instancia, tipo de nodo y nombre de servicio. De forma predeterminada, el CloudWatch agente no publica las métricas por recurso de las métricas con varios recursos.
resources Opcional Determina si el agente publicará las métricas por núcleo. "*" «*» habilita las métricas por núcleo. «» deshabilita las métricas por núcleo. El CloudWatch agente solo publica métricas por núcleo para las métricas de CPU que no se incluyen. drop_original_metrics
disk
Propiedad Obligatoria Descripción Valor predeterminado Valores posibles Notas
metrics Opcional La lista de métricas de disco que debe recopilar el agente. Consulte las métricas predeterminadas CloudWatch del agente con Amazon EMR Una lista separada por comas de nombres de métricas de disco válidos con o sin el disk_ prefijo, como y. disk_total used_percent Consulte las métricas recopiladas por el CloudWatch agente para ver las métricas válidas. Especificar una cadena vacía significa no publicar ninguna métrica de disco.
metrics_collection_interval Opcional La frecuencia en segundos que el agente debe recopilar y publicar las métricas del disco. El valor de lo globalmetrics_collection_interval. Una cadena que especifica el número de segundos. Solo acepta números enteros. Este valor anula la metrics_collection_interval propiedad global solo para las métricas de disco.
drop_original_metrics Opcional Lista de métricas de disco para las que no se deben publicar métricas no agregadas. No se ha publicado ninguna métrica de disco desagregada. Lista de métricas de disco separadas por comas que también se especifican en la propiedad de métricas. Una cadena vacía significa publicar todas las métricas del disco. El CloudWatch agente agrega todas las métricas por ID de clúster, ID de instancia, tipo de nodo y nombre de servicio. De forma predeterminada, el CloudWatch agente no publica las métricas por recurso de las métricas con varios recursos.
resources Opcional Determina si el agente publicará per-mount-point las métricas. "*" «*» significa todos los puntos de montaje, «» significa que no hay puntos de montaje o se trata de una lista de puntos de montaje separados por comas. Por ejemplo, "/,/emr". El CloudWatch agente solo publica per-mount-point las métricas de disco que no se incluyen. drop_original_metrics
diskio
Propiedad Obligatoria Descripción Valor predeterminado Valores posibles Notas
metrics Opcional La lista de métricas de E/S de disco que debe recopilar el agente. Consulte las métricas predeterminadas CloudWatch del agente con Amazon EMR Una lista separada por comas de nombres de métricas de E/S de disco válidos con o sin el diskio_ prefijo, como y. diskio_reads writes Consulte las métricas recopiladas por el CloudWatch agente para ver las métricas válidas. Si se especifica una cadena vacía, no se publicará ninguna métrica de E/S del disco.
metrics_collection_interval Opcional La frecuencia en segundos que el agente debe recopilar y publicar las métricas de E/S del disco. El valor de lo globalmetrics_collection_interval. Una cadena que especifica el número de segundos. Solo acepta números enteros. Este valor anula la metrics_collection_interval propiedad global solo para las métricas de E/S del disco.
drop_original_metrics Opcional Lista de métricas de E/S de disco para las que no se deben publicar métricas no agregadas. No se ha publicado ninguna métrica de E/S de disco no agregada. Lista separada por comas de métricas de E/S de disco que también se especifican en la propiedad de métricas. Una cadena vacía significa publicar todas las métricas de E/S del disco. El CloudWatch agente agrega todas las métricas por ID de clúster, ID de instancia, tipo de nodo y nombre de servicio. De forma predeterminada, el CloudWatch agente no publica las métricas por recurso de las métricas con varios recursos.
resources Opcional Determina si el agente publicará las métricas por dispositivo. "*" «*» significa todos los dispositivos de almacenamiento, «» significa que no hay dispositivos de almacenamiento o se trata de una lista de nombres de dispositivos separados por comas. Por ejemplo, "nvme0n1,nvme1n1". El CloudWatch agente solo publica las métricas por dispositivo para las métricas de E/S de disco que no se incluyen. drop_original_metrics
mem
Propiedad Obligatoria Descripción Valor predeterminado Valores posibles Notas
metrics Opcional La lista de métricas de memoria que debe recopilar el agente. Consulte las métricas predeterminadas CloudWatch del agente con Amazon EMR Una lista separada por comas de nombres de métricas de memoria válidos con o sin el mem_ prefijo, como y. mem_available available_percent Consulte las métricas recopiladas por el CloudWatch agente para ver las métricas válidas. Especificar una cadena vacía significa no publicar ninguna métrica de memoria.
metrics_collection_interval Opcional La frecuencia en segundos que el agente debe recopilar y publicar las métricas de memoria. El valor de lo globalmetrics_collection_interval. Una cadena que especifica el número de segundos. Solo acepta números enteros. Este valor anula la metrics_collection_interval propiedad global solo para las métricas de memoria.
net
Propiedad Obligatoria Descripción Valor predeterminado Valores posibles Notas
metrics Opcional La lista de métricas de red que debe recopilar el agente. Consulte las métricas predeterminadas CloudWatch del agente con Amazon EMR Una lista separada por comas de nombres de métricas de red válidos con o sin el net_ prefijo, como y. net_packets_sent packets_recv Consulte las métricas recopiladas por el CloudWatch agente para ver las métricas válidas. Especificar una cadena vacía significa no publicar ninguna métrica de la red.
metrics_collection_interval Opcional La frecuencia en segundos que el agente debe recopilar y publicar las métricas de la red. El valor de lo globalmetrics_collection_interval. Una cadena que especifica el número de segundos. Solo acepta números enteros. Este valor anula la metrics_collection_interval propiedad global solo para las métricas de red.
drop_original_metrics Opcional Lista de métricas de red para las que no se deben publicar métricas no agregadas. No se ha publicado ninguna métrica de red desagregada. Lista de métricas de red separadas por comas que también se especifican en la propiedad de métricas. Una cadena vacía significa publicar todas las métricas de la red. El CloudWatch agente agrega todas las métricas por ID de clúster, ID de instancia, tipo de nodo y nombre de servicio. De forma predeterminada, el CloudWatch agente no publica las métricas por recurso de las métricas con varios recursos.
resources Opcional Determina si el agente publicará las métricas por interfaz. "*" «*» se refiere a todas las interfaces de red, «» significa que no hay interfaces de red o se trata de una lista de nombres de interfaces separados por comas. Por ejemplo, "eth0,eth1". El CloudWatch agente solo publica las métricas por interfaz para las métricas de red que no se incluyen. drop_original_metrics
netstat
Propiedad Obligatoria Descripción Valor predeterminado Valores posibles Notas
metrics Opcional La lista de métricas de estadísticas de red que debe recopilar el agente. Consulte las métricas predeterminadas CloudWatch del agente con Amazon EMR Una lista separada por comas de nombres de métricas de memoria válidos con o sin el netstat_ prefijo, como y. tcp_listen netstat_udp_socket Consulte las métricas recopiladas por el CloudWatch agente para ver las métricas válidas. Especificar una cadena vacía significa no publicar ninguna métrica estadística de red.
metrics_collection_interval Opcional La frecuencia en segundos que el agente debe recopilar y publicar las métricas de las estadísticas de la red. El valor de lo globalmetrics_collection_interval. Una cadena que especifica el número de segundos. Solo acepta números enteros. Este valor anula la metrics_collection_interval propiedad global solo en el caso de las métricas de las estadísticas de la red.
processes
Propiedad Obligatoria Descripción Valor predeterminado Valores posibles Notas
metrics Opcional La lista de métricas de proceso que debe recopilar el agente. Consulte las métricas predeterminadas CloudWatch del agente con Amazon EMR Una lista separada por comas de nombres de métricas de memoria válidos con o sin el processes_ prefijo, como y. processes_running total Consulte las métricas recopiladas por el CloudWatch agente para ver las métricas válidas. Especificar una cadena vacía significa no publicar ninguna métrica del proceso.
metrics_collection_interval Opcional La frecuencia en segundos que el agente debe recopilar y publicar las métricas de los procesos del sistema. El valor de lo globalmetrics_collection_interval. Una cadena que especifica el número de segundos. Solo acepta números enteros. Este valor anula la metrics_collection_interval propiedad global solo para las métricas de los procesos del sistema.
swap
Propiedad Obligatoria Descripción Valor predeterminado Valores posibles Notas
metrics Opcional La lista de métricas de intercambio que debe recopilar el agente. Consulte las métricas predeterminadas CloudWatch del agente con Amazon EMR Una lista separada por comas de nombres de métricas de memoria válidos con o sin el swap_ prefijo, como y. swap_free used_percent Consulte las métricas recopiladas por el CloudWatch agente para ver las métricas válidas. Si se especifica una cadena vacía, no se publica ninguna métrica de intercambio.
metrics_collection_interval Opcional La frecuencia en cuestión de segundos que el agente debe recopilar y publicar las métricas de intercambio. El valor de lo globalmetrics_collection_interval. Una cadena que especifica el número de segundos. Solo acepta números enteros. Este valor anula la metrics_collection_interval propiedad global solo para las métricas de intercambio.

emr-hadoop-hdfs-datanode-propiedades de métricas

Propiedad Obligatoria Descripción Valor predeterminado Valores posibles
<custom_bean_name> Opcional N/A El MBean del que el CloudWatch agente debe recopilar las métricas, por ejemplo. Hadoop:service=DataNode,name=DataNodeActivity Puede encontrar ejemplos de nombres de MBean y sus métricas correspondientes en los archivos JMX YAML de ejemplo para Amazon EMR versión 7.0. Cadena que contiene la lista delimitada por comas de las métricas asociadas al MBean. Por ejemplo, BlocksCached,BlocksRead.
otel.metric.export.interval Opcional La frecuencia en milisegundos con la que se recopilan las métricas de Hadoop. DataNode «60000" Una cadena que especifica el número de milisegundos. Solo acepta números enteros.

emr-hadoop-hdfs-namenode-propiedades métricas

Propiedad Obligatoria Descripción Valor predeterminado Valores posibles
<custom_bean_name> Opcional N/A El MBean del que el CloudWatch agente debe recopilar las métricas, por ejemplo. Hadoop:service=NameNode,name=FSNamesystem Puede encontrar ejemplos de nombres de MBean y sus métricas correspondientes en los archivos JMX YAML de ejemplo para Amazon EMR versión 7.0. Cadena que contiene la lista delimitada por comas de las métricas asociadas al MBean. Por ejemplo, BlockCapacity,CapacityUsedGB.
otel.metric.export.interval Opcional La frecuencia en milisegundos con la que se recopilan las métricas de Hadoop. NameNode «60000" Una cadena que especifica el número de milisegundos. Solo acepta números enteros.

emr-hadoop-yarn-nodemanager-propiedades métricas

Propiedad Obligatoria Descripción Valor predeterminado Valores posibles
<custom_bean_name> Opcional N/A El MBean del que el CloudWatch agente debe recopilar las métricas, por ejemplo. Hadoop:service=NodeManager,name=NodeManagerMetrics Puede encontrar ejemplos de nombres de MBean y sus métricas correspondientes en los archivos JMX YAML de ejemplo para Amazon EMR versión 7.0. Cadena que contiene la lista delimitada por comas de las métricas asociadas al MBean. Por ejemplo, MaxCapacity,AllocatedGB.
otel.metric.export.interval Opcional Con qué frecuencia, en milisegundos, se recopilan las métricas de Hadoop YARN. NodeManager «60000" Una cadena que especifica el número de milisegundos. Solo acepta números enteros.

emr-hadoop-yarn-resourcemanager-propiedades métricas

Propiedad Obligatoria Descripción Valor predeterminado Valores posibles
<custom_bean_name> Opcional N/A El MBean del que el CloudWatch agente debe recopilar las métricas, por ejemplo. Hadoop:service=ResourceManager,name=PartitionQueueMetrics Puede encontrar ejemplos de nombres de MBean y sus métricas correspondientes en los archivos JMX YAML de ejemplo para Amazon EMR versión 7.0. Cadena que contiene la lista delimitada por comas de las métricas asociadas al MBean. Por ejemplo, MaxCapacity,MaxCapacityVCores.
otel.metric.export.interval Opcional Con qué frecuencia, en milisegundos, se recopilan las métricas de Hadoop YARN. ResourceManager «60000" Una cadena que especifica el número de milisegundos. Solo acepta números enteros.

emr-hbase-master-metrics propiedades

Propiedad Obligatoria Descripción Valor predeterminado Valores posibles
<custom_bean_name> Opcional N/A El MBean del que el CloudWatch agente debe recopilar las métricas, comoHadoop:service=HBase,name=Master,sub=AssignmentManager. Puede encontrar ejemplos de nombres de MBean y sus métricas correspondientes en los archivos JMX YAML de ejemplo para Amazon EMR versión 7.0. Cadena que contiene la lista delimitada por comas de las métricas asociadas al MBean. Por ejemplo, AssignFailedCount,AssignSubmittedCount.
otel.metric.export.interval Opcional Con qué frecuencia, en milisegundos, se recopilan las métricas de HBase Master. «6000" Una cadena que especifica el número de milisegundos. Solo acepta números enteros.

emr-hbase-region-server-propiedades métricas

Propiedad Obligatoria Descripción Valor predeterminado Valores posibles
<custom_bean_name> Opcional N/A El MBean del que el CloudWatch agente debe recopilar las métricas, por ejemplo. Hadoop:service=HBase,name=RegionServer,sub=IPC Puede encontrar ejemplos de nombres de MBean y sus métricas correspondientes en los archivos JMX YAML de ejemplo para Amazon EMR versión 7.0. Cadena que contiene la lista delimitada por comas de las métricas asociadas al MBean. Por ejemplo, numActiveHandler,numActivePriorityHandler.
otel.metric.export.interval Opcional Con qué frecuencia, en milisegundos, se recopilan las métricas de HBase Region Server. «6000" Una cadena que especifica el número de milisegundos. Solo acepta números enteros.

emr-hbase-rest-server-propiedades métricas

Propiedad Obligatoria Descripción Valor predeterminado Valores posibles
<custom_bean_name> Opcional N/A El MBean del que el CloudWatch agente debe recopilar las métricas, por ejemplo. Hadoop:service=HBase,name=REST Puede encontrar ejemplos de nombres de MBean y sus métricas correspondientes en los archivos JMX YAML de ejemplo para Amazon EMR versión 7.0. Cadena que contiene la lista delimitada por comas de las métricas asociadas al MBean. Por ejemplo, successfulPut,successfulScanCount.
otel.metric.export.interval Opcional Con qué frecuencia, en milisegundos, se recopilan las métricas de HBase Rest Server. «6000" Una cadena que especifica el número de milisegundos. Solo acepta números enteros.

emr-hbase-thrift-server-propiedades métricas

Propiedad Obligatoria Descripción Valor predeterminado Valores posibles
<custom_bean_name> Opcional N/A El MBean del que el CloudWatch agente debe recopilar las métricas, por ejemplo. Hadoop:service=HBase,name=Thrift,sub=ThriftOne Puede encontrar ejemplos de nombres de MBean y sus métricas correspondientes en los archivos JMX YAML de ejemplo para Amazon EMR versión 7.0. Cadena que contiene la lista delimitada por comas de las métricas asociadas al MBean. Por ejemplo, BatchGet_max,BatchGet_mean.
otel.metric.export.interval Opcional Con qué frecuencia, en milisegundos, se recopilan las métricas del servidor HBase Thrift. «6000" Una cadena que especifica el número de milisegundos. Solo acepta números enteros.

Ejemplos de configuraciones de métricas del sistema

El siguiente ejemplo muestra cómo configurar el CloudWatch agente para que deje de exportar todas las métricas del sistema.

[
  {
    "Classification": "emr-metrics",
    "Properties": {},
    "Configurations": [
      {
        "Classification": "emr-system-metrics",
        "Properties": {},
        "Configurations": []
      }
    ]
  }
]

El siguiente ejemplo configura el CloudWatch agente para que exporte las métricas del sistema predeterminadas. Hacerlo es una forma rápida de restablecer el agente para que solo exporte las métricas predeterminadas del sistema si ya ha reconfigurado las métricas del sistema al menos una vez. Este restablecimiento también elimina cualquier métrica de la aplicación que se haya reconfigurado anteriormente.

[
  {
    "Classification": "emr-metrics",
    "Properties": {},
    "Configurations": []
  }
]

El siguiente ejemplo configura el clúster para exportar las cpu métricasmem, y. disk

[
  {
    "Classification": "emr-metrics",
    "Properties": {},
    "Configurations": [
      {
        "Classification": "emr-system-metrics",
        "Properties": {
          "metrics_collection_interval": "20"
        },
        "Configurations": [
          {
            "Classification": "cpu",
            "Properties": {
              "metrics": "cpu_usage_guest,cpu_usage_idle",
              "metrics_collection_interval": "30",
              "drop_original_metrics": "cpu_usage_guest"
            }
          },
          {
            "Classification": "mem",
            "Properties": {
              "metrics": "mem_active"
            }
          },
           {
            "Classification": "disk",
            "Properties": {
              "metrics": "disk_used_percent",
              "resources": "/,/mnt",
              "drop_original_metrics": ""
            }
          }
        ]
      }
    ]
  }
]

La configuración del ejemplo anterior tiene las siguientes propiedades:

  • Cada 30 segundos, el agente recopila la cpu_guest métrica de todas las CPU. Puede encontrar la métrica agregada en el CloudWatch espacio de nombresCWAgent > cluster.id, instance.id, node.type, service.name.

  • Cada 30 segundos, el agente recopila la cpu_idle métrica de todas las CPU. Puede encontrar la métrica agregada en el CloudWatch espacio de nombresCWAgent > cluster.id, instance.id, node.type, service.name. El agente también recopila las métricas por CPU. Puede encontrarlos en el mismo espacio de nombres. El agente recopila esta métrica porque la drop_original_metrics propiedad no la contienecpu_idle, por lo que no la ignora.

  • Cada 20 segundos, el agente recopila la mem_active métrica. Puede encontrar la métrica agregada en el espacio de CloudWatch nombresCWAgent > cluster.id, instance.id, node.type, service.name.

  • Cada 20 segundos, el agente recopila las disk_used_percent métricas de los montajes / y del /mnt disco. Puede encontrar las métricas agregadas en el CloudWatch espacio de nombresCWAgent > cluster.id, instance.id, node.type, service.name. El agente también recopila las métricas por montaje. Puede encontrarlos en el mismo espacio de nombres. El agente recopila esta métrica porque la drop_original_metrics propiedad no la contienedisk_used_percent, por lo que no la ignora.

Ejemplos de configuraciones de métricas de aplicaciones

El siguiente ejemplo configura el CloudWatch agente para que deje de exportar las métricas del servicio Hadoop Namenode.

[
  {
    "Classification": "emr-metrics",
    "Properties": {},
    "Configurations": [
      {
        "Classification": "emr-hadoop-hdfs-namenode-metrics",
        "Properties": {},
        "Configurations": []
      }
    ]
  }
]

El siguiente ejemplo configura un clúster para exportar las métricas de las aplicaciones de Hadoop.

[
  {
    "Classification": "emr-metrics",
    "Properties": {},
    "Configurations": [
      {
        "Classification": "emr-hadoop-hdfs-namenode-metrics",
        "Properties": {
          "Hadoop:service=NameNode,name=FSNamesystem": "BlockCapacity,CapacityUsedGB",
          "otel.metric.export.interval": "20000" 
        },
        "Configurations": []
      },
       {
        "Classification": "emr-hadoop-hdfs-datanode-metrics",
        "Properties": {
          "Hadoop:service=DataNode,name=JvmMetrics": "MemNonHeapUsedM",
          "otel.metric.export.interval": "30000" 
        },
        "Configurations": []
      },
       {
        "Classification": "emr-hadoop-yarn-resourcemanager-metrics",
        "Properties": {
          "Hadoop:service=ResourceManager,name=CapacitySchedulerMetrics": "AllocateNumOps,NodeUpdateNumOps"
        },
        "Configurations": []
      }
    ]
  }
]

El ejemplo anterior tiene las siguientes propiedades:

  • Cada 20 segundos, el agente recopila las CapacityUsedGB métricas de BlockCapacity las instancias que ejecutan el servicio Hadoop Namenode.

  • Cada 30 segundos, el agente recopila MemNonHeapUsedM métricas de las instancias que ejecutan el servicio Hadoop Datanode.

  • Cada 30 segundos, el agente recopila las NodeUpdateNumOps métricas AllocateNumOps y las métricas de las instancias que ejecutan el Hadoop YARN. ResourceManaager

Ejemplo de Amazon Managed Service para Prometheus

El siguiente ejemplo muestra cómo configurar el CloudWatch agente para exportar métricas a Amazon Managed Service for Prometheus.

Si actualmente exporta métricas a Amazon Managed Service for Prometheus y desea volver a configurar las métricas del clúster y seguir exportándolas a Amazon Managed Service for Prometheus, debe incluir las propiedades y. metrics_destination prometheus_endpoint

[
  {
    "Classification": "emr-metrics",
    "Properties": {
      "metrics_destination": "prometheus",
      "prometheus_endpoint": "http://amp-workspace/api/v1/remote_write"
    },
    "Configurations": []
  }
]

Para utilizar el CloudWatch agente al que exportar las métricas CloudWatch, utilice el siguiente ejemplo.

[
  {
    "Classification": "emr-metrics",
    "Properties": {
      "metrics_destination": "cloudwatch"
    },
    "Configurations": []
  }
]
nota

El CloudWatch agente tiene un exportador de Prometheus que cambia el nombre de ciertos atributos. Para las etiquetas de métricas predeterminadas, Amazon Managed Service for Prometheus utiliza caracteres de subrayado en lugar de los puntos que utiliza Amazon. CloudWatch Si utilizas Amazon Managed Grafana para visualizar las métricas predeterminadas en Amazon Managed Service for Prometheus, las etiquetas aparecen como, y. cluster_id instance_id node_type service_name