Configurar el CloudWatch agente para Amazon EMR 7.1.0

A partir de Amazon EMR 7.1.0, puede configurar el CloudWatch agente de Amazon para que utilice métricas de sistema adicionales, añada métricas de aplicación y cambie el destino de las métricas mediante la API de configuración de Amazon EMR. Para obtener más información sobre cómo usar la API de configuración de EMR para configurar las aplicaciones del clúster, consulte Configuración de aplicaciones.

nota

7.1.0 solo admite el tipo de reconfiguración OVERWRITE. Para obtener más información sobre los tipos de reconfiguración, consulte Consideraciones a la hora de reconfigurar un grupo de instancias.

Esquema de configuración

emr-metrics tiene las siguientes clasificaciones:

• emr-system-metrics: configura las métricas del sistema, como CPU, disco y memoria.

• emr-hadoop-hdfs-datanode-metrics— configurar las métricas JMX de Hadoop DataNode

• emr-hadoop-hdfs-namenode-metrics— configurar las métricas de Hadoop JMX NameNode

• emr-hadoop-yarn-nodemanager-metrics— configurar las métricas de Yarn JMX NodeManager

• emr-hadoop-yarn-resourcemanager-metrics— configurar las métricas de Yarn ResourceManager JMX

• emr-hbase-master-metrics— configurar las métricas de HBase Master JMX

• emr-hbase-region-server-metrics— configurar las métricas HBase JMX de Region Server

• emr-hbase-rest-server-metrics— configurar las métricas HBase JMX del servidor REST

• emr-hbase-thrift-server-metrics— configurar las métricas JMX de HBase Thrift Server

Las tablas siguientes describen las propiedades y configuraciones disponibles para todas y cada una de las clasificaciones.

propiedades de emr-metrics

Propiedad	Obligatorio	Descripción	Valor predeterminado	Valores posibles	Notas
metrics_destination	Opcional	Determina si las métricas del clúster se publican en Amazon CloudWatch o en Amazon Managed Service for Prometheus.	"CLOUDWATCH"	"CLOUDWATCH", "PROMETHEUS"	Esta propiedad no distingue entre mayúsculas y minúsculas. Por ejemplo, “Cloudwatch” es lo mismo que “CLOUDWATCH”.
prometheus_endpoint	Opcional	Si metrics_destination se establece en «PROMETHEUS», esta propiedad configura el CloudWatch agente para enviar métricas al punto final de escritura remota de Amazon Managed Service for Prometheus proporcionado.	N/A	Cualquier URL de escritura remota de Amazon Managed Service para Prometheus. El formato de URL de escritura remota es https://aps-workspaces.<region>.amazonaws.com/workspaces/<workspace_id>/api/v1/remote_write	Este campo solo se obligatorio si metrics_destination está establecido en "PROMETHEUS". El aprovisionamiento fallará si no proporciona una clave o si el valor es una cadena vacía.

emr-system-metrics propiedades

Propiedad	Obligatorio	Descripción	Valor predeterminado	Valores posibles	Notas
metrics_collection_interval	Opcional	La frecuencia en cuestión de segundos que el agente recopila y publica las métricas. CloudWatch	"60"	Una cadena que especifica el número de segundos. Solo acepta números enteros.	Puede anular esta propiedad con la propiedad metrics_collection_interval de grupos de métricas individuales.

emr-system-metrics configuraciones

cpu

Propiedad	Obligatorio	Descripción	Valor predeterminado	Valores posibles	Notas
metrics	Opcional	La lista de métricas de la CPU que debe recopilar el agente.	Consulte las métricas predeterminadas CloudWatch del agente con Amazon EMR	Una lista separada por comas de nombres de métricas de la CPU válidos con o sin el prefijo cpu_, como usage_active y cpu_time_idle. Consulte las métricas recopiladas por el CloudWatch agente para ver las métricas válidas.	Si se especifica una cadena vacía, no se publica ninguna métrica de la CPU.
metrics_collection_interval	Opcional	La frecuencia en segundos acerca de la recopilación y publicación de las métricas de la CPU que debe realizar el agente.	El valor del metrics_collection_interval global.	Una cadena que especifica el número de segundos. Solo acepta números enteros.	Este valor anula la propiedad del metrics_collection_interval global solo para las métricas de la CPU.
drop_original_metrics	Opcional	Lista de métricas de la CPU para las que no se deben publicar métricas no agregadas.	No se ha publicado ninguna métrica de CPU no agregada.	Una lista separada por comas de métricas de la CPU que también se especifican en la propiedad de métricas. Una cadena vacía indica que se publican todas las métricas de la CPU.	El CloudWatch agente agrega todas las métricas por ID de clúster, ID de instancia, tipo de nodo y nombre de servicio. De forma predeterminada, el CloudWatch agente no publica las métricas por recurso de las métricas con varios recursos.
resources	Opcional	Determina si el agente publicará las métricas por núcleo.	"*"	"*" habilita las métricas por núcleo. "" deshabilita las métricas por núcleo.	El CloudWatch agente solo publica las métricas por núcleo para las métricas de CPU que no se incluyen. drop_original_metrics

disk

Propiedad	Obligatorio	Descripción	Valor predeterminado	Valores posibles	Notas
metrics	Opcional	La lista de métricas de disco que debe recopilar el agente.	Consulte las métricas predeterminadas CloudWatch del agente con Amazon EMR	Una lista separada por comas de nombres de métricas de disco válidos con o sin el prefijo disk_, como disk_total y used_percent. Consulte las métricas recopiladas por el CloudWatch agente para ver las métricas válidas.	Si se especifica una cadena vacía, no se publicará ninguna métrica de disco.
metrics_collection_interval	Opcional	La frecuencia en segundos acerca de la recopilación y publicación de las métricas del disco que debe realizar el agente.	El valor del metrics_collection_interval global.	Una cadena que especifica el número de segundos. Solo acepta números enteros.	Este valor anula la propiedad de metrics_collection_interval global solo para las métricas de disco.
drop_original_metrics	Opcional	Lista de métricas de disco para las que no se deben publicar métricas no agregadas.	No se ha publicado ninguna métrica de disco no agregada.	Una lista separada por comas de métricas de disco que también se especifican en la propiedad de métricas. Una cadena vacía indica que se publican todas las métricas del disco.	El CloudWatch agente agrega todas las métricas por ID de clúster, ID de instancia, tipo de nodo y nombre de servicio. De forma predeterminada, el CloudWatch agente no publica las métricas por recurso de las métricas con varios recursos.
resources	Opcional	Determina si el agente publicará per-mount-point las métricas.	"*"	"*" significa todos los puntos de montaje, "" significa que no hay puntos de montaje o se trata de una lista de puntos de montaje separados por comas. Por ejemplo, "/,/emr".	El CloudWatch agente solo publica per-mount-point las métricas de disco que no se incluyendrop_original_metrics.

diskio

Propiedad	Obligatorio	Descripción	Valor predeterminado	Valores posibles	Notas
metrics	Opcional	La lista de métricas de E/S de disco que debe recopilar el agente.	Consulte las métricas predeterminadas CloudWatch del agente con Amazon EMR	Una lista separada por comas de nombres de métricas de E/S de disco válidos con o sin el prefijodiskio_, como diskio_reads y writes. Consulte las métricas recopiladas por el CloudWatch agente para ver las métricas válidas.	Si se especifica una cadena vacía, no se publicará ninguna métrica de E/S del disco.
metrics_collection_interval	Opcional	La frecuencia en segundos acerca de la recopilación y publicación de las métricas de E/S del disco que debe realizar el agente.	El valor del metrics_collection_interval global.	Una cadena que especifica el número de segundos. Solo acepta números enteros.	Este valor anula la propiedad de metrics_collection_interval global solo para las métricas de E/S del disco.
drop_original_metrics	Opcional	Lista de métricas de E/S del disco para las que no se deben publicar métricas no agregadas.	No se ha publicado ninguna métrica de E/S del disco no agregada.	Una lista separada por comas de métricas de E/S del disco que también se especifican en la propiedad de métricas. Una cadena vacía indica que se publican todas las métricas de E/S del disco.	El CloudWatch agente agrega todas las métricas por ID de clúster, ID de instancia, tipo de nodo y nombre de servicio. De forma predeterminada, el CloudWatch agente no publica las métricas por recurso de las métricas con varios recursos.
resources	Opcional	Determina si el agente publicará las métricas por dispositivo.	"*"	"*" significa todos los dispositivos de almacenamiento, "" significa que no hay dispositivos de almacenamiento o se trata de una lista de nombres de dispositivos separados por comas. Por ejemplo, "nvme0n1,nvme1n1".	El CloudWatch agente solo publica las métricas por dispositivo para las métricas de E/S de disco que no se incluyen. drop_original_metrics

mem

Propiedad	Obligatorio	Descripción	Valor predeterminado	Valores posibles	Notas
metrics	Opcional	La lista de métricas de memoria que debe recopilar el agente.	Consulte las métricas predeterminadas CloudWatch del agente con Amazon EMR	Una lista separada por comas de nombres de métricas de memoria válidos con o sin el prefijo mem_, como mem_available y available_percent. Consulte las métricas recopiladas por el CloudWatch agente para ver las métricas válidas.	Si se especifica una cadena vacía, no se publica ninguna métrica de memoria.
metrics_collection_interval	Opcional	La frecuencia en segundos acerca de la recopilación y publicación de las métricas de memoria que debe realizar el agente.	El valor del metrics_collection_interval global.	Una cadena que especifica el número de segundos. Solo acepta números enteros.	Este valor anula la propiedad de metrics_collection_interval global solo para las métricas de memoria.

net

Propiedad	Obligatorio	Descripción	Valor predeterminado	Valores posibles	Notas
metrics	Opcional	La lista de métricas de red que debe recopilar el agente.	Consulte las métricas predeterminadas CloudWatch del agente con Amazon EMR	Una lista separada por comas de nombres de métricas de red válidos con o sin el prefijonet_, como net_packets_sent y packets_recv. Consulte las métricas recopiladas por el CloudWatch agente para ver las métricas válidas.	Si se especifica una cadena vacía, no se publica ninguna métrica de red.
metrics_collection_interval	Opcional	La frecuencia en segundos acerca de la recopilación y publicación de las métricas de red que debe realizar el agente.	El valor del metrics_collection_interval global.	Una cadena que especifica el número de segundos. Solo acepta números enteros.	Este valor anula la propiedad de metrics_collection_interval global solo para las métricas de red.
drop_original_metrics	Opcional	Lista de métricas de red para las que no se deben publicar métricas no agregadas.	No se ha publicado ninguna métrica de red no agregada.	Una lista separada por comas de métricas de red que también se especifican en la propiedad de métricas. Una cadena vacía indica que se publican todas las métricas de red.	El CloudWatch agente agrega todas las métricas por ID de clúster, ID de instancia, tipo de nodo y nombre de servicio. De forma predeterminada, el CloudWatch agente no publica las métricas por recurso de las métricas con varios recursos.
resources	Opcional	Determina si el agente publicará las métricas por interfaz.	"*"	"*" se refiere a todas las interfaces de red, "" significa que no hay interfaces de red o se trata de una lista de nombres de interfaces separados por comas. Por ejemplo, "eth0,eth1".	El CloudWatch agente solo publica las métricas por interfaz para las métricas de red que no se incluyen. drop_original_metrics

netstat

Propiedad	Obligatorio	Descripción	Valor predeterminado	Valores posibles	Notas
metrics	Opcional	La lista de métricas de estadísticas de red que debe recopilar el agente.	Consulte las métricas predeterminadas CloudWatch del agente con Amazon EMR	Una lista separada por comas de nombres de métricas de memoria válidos con o sin el prefijo netstat_, como tcp_listen y netstat_udp_socket. Consulte las métricas recopiladas por el CloudWatch agente para ver las métricas válidas.	Si se especifica una cadena vacía, no se publica ninguna métrica estadística de red.
metrics_collection_interval	Opcional	La frecuencia en segundos acerca de la recopilación y publicación de las métricas estadísticas de red que debe realizar el agente.	El valor del metrics_collection_interval global.	Una cadena que especifica el número de segundos. Solo acepta números enteros.	Este valor anula la propiedad de metrics_collection_interval global solo para las métricas estadísticas de red.

processes

Propiedad	Obligatorio	Descripción	Valor predeterminado	Valores posibles	Notas
metrics	Opcional	La lista de métricas de proceso que debe recopilar el agente.	Consulte las métricas predeterminadas CloudWatch del agente con Amazon EMR	Una lista separada por comas de nombres de métricas de memoria válidos con o sin el prefijo processes_, como processes_running y total. Consulte las métricas recopiladas por el CloudWatch agente para ver las métricas válidas.	Si se especifica una cadena vacía, no se publica ninguna métrica del proceso.
metrics_collection_interval	Opcional	La frecuencia en segundos acerca de la recopilación y publicación de las métricas del proceso del sistema que debe realizar el agente.	El valor del metrics_collection_interval global.	Una cadena que especifica el número de segundos. Solo acepta números enteros.	Este valor anula la propiedad de metrics_collection_interval global solo para las métricas de los procesos del sistema.

swap

Propiedad	Obligatorio	Descripción	Valor predeterminado	Valores posibles	Notas
metrics	Opcional	La lista de métricas de intercambio que debe recopilar el agente.	Consulte las métricas predeterminadas CloudWatch del agente con Amazon EMR	Una lista separada por comas de nombres de métricas de memoria válidos con o sin el prefijo swap_, como swap_free y used_percent. Consulte las métricas recopiladas por el CloudWatch agente para ver las métricas válidas.	Si se especifica una cadena vacía, no se publica ninguna métrica de intercambio.
metrics_collection_interval	Opcional	La frecuencia en segundos acerca de la recopilación y publicación de las métricas de intercambio que debe realizar el agente.	El valor del metrics_collection_interval global.	Una cadena que especifica el número de segundos. Solo acepta números enteros.	Este valor anula la propiedad de metrics_collection_interval global solo para las métricas de intercambio.

emr-hadoop-hdfs-datanode-Propiedades de métricas

Propiedad	Obligatorio	Descripción	Valor predeterminado	Valores posibles
<custom_bean_name>	Opcional	N/A	La fuente de la MBean que el CloudWatch agente debe recopilar las métricas, comoHadoop:service=DataNode,name=DataNodeActivity. Puede encontrar MBean los nombres de los ejemplos y sus métricas correspondientes en los archivos JMX YAML de ejemplo para Amazon EMR versión 7.0.	Una cadena que contiene la lista delimitada por comas de las métricas asociadas a. MBean Por ejemplo, BlocksCached,BlocksRead.
otel.metric.export.interval	Opcional	Con qué frecuencia en milisegundos se recopilan las métricas de Hadoop. DataNode	“60 000”	Una cadena que especifica el número de milisegundos. Solo acepta números enteros.

emr-hadoop-hdfs-namenode-propiedades de métricas

Propiedad	Obligatorio	Descripción	Valor predeterminado	Valores posibles
<custom_bean_name>	Opcional	N/A	La fuente de la MBean que el CloudWatch agente debe recopilar las métricas, comoHadoop:service=NameNode,name=FSNamesystem. Puede encontrar MBean los nombres de los ejemplos y sus métricas correspondientes en los archivos JMX YAML de ejemplo para Amazon EMR versión 7.0.	Una cadena que contiene la lista delimitada por comas de las métricas asociadas a. MBean Por ejemplo, BlockCapacity,CapacityUsedGB.
otel.metric.export.interval	Opcional	Con qué frecuencia en milisegundos se recopilan las métricas de Hadoop. NameNode	“60 000”	Una cadena que especifica el número de milisegundos. Solo acepta números enteros.

emr-hadoop-yarn-nodemanager-propiedades de métricas

Propiedad	Obligatorio	Descripción	Valor predeterminado	Valores posibles
<custom_bean_name>	Opcional	N/A	La fuente de la MBean que el CloudWatch agente debe recopilar las métricas, comoHadoop:service=NodeManager,name=NodeManagerMetrics. Puede encontrar MBean los nombres de los ejemplos y sus métricas correspondientes en los archivos JMX YAML de ejemplo para Amazon EMR versión 7.0.	Una cadena que contiene la lista delimitada por comas de las métricas asociadas a. MBean Por ejemplo, MaxCapacity,AllocatedGB.
otel.metric.export.interval	Opcional	Con qué frecuencia en milisegundos se recopilan las métricas de Hadoop YARN. NodeManager	“60 000”	Una cadena que especifica el número de milisegundos. Solo acepta números enteros.

emr-hadoop-yarn-resourcemanager-propiedades de métricas

Propiedad	Obligatorio	Descripción	Valor predeterminado	Valores posibles
<custom_bean_name>	Opcional	N/A	La fuente de la MBean que el CloudWatch agente debe recopilar las métricas, comoHadoop:service=ResourceManager,name=PartitionQueueMetrics. Puede encontrar MBean los nombres de los ejemplos y sus métricas correspondientes en los archivos JMX YAML de ejemplo para Amazon EMR versión 7.0.	Una cadena que contiene la lista delimitada por comas de las métricas asociadas a. MBean Por ejemplo, MaxCapacity,MaxCapacityVCores.
otel.metric.export.interval	Opcional	Con qué frecuencia en milisegundos se recopilan las métricas de Hadoop YARN. ResourceManager	“60 000”	Una cadena que especifica el número de milisegundos. Solo acepta números enteros.

emr-hbase-master-metrics propiedades

Propiedad	Obligatorio	Descripción	Valor predeterminado	Valores posibles
<custom_bean_name>	Opcional	N/A	La fuente de la MBean que el CloudWatch agente debe recopilar las métricas, como. Hadoop:service=HBase,name=Master,sub=AssignmentManager Puede encontrar MBean los nombres de los ejemplos y sus métricas correspondientes en los archivos JMX YAML de ejemplo para Amazon EMR versión 7.0.	Una cadena que contiene la lista delimitada por comas de las métricas asociadas a. MBean Por ejemplo, AssignFailedCount,AssignSubmittedCount.
otel.metric.export.interval	Opcional	Con qué frecuencia en milisegundos se recopilan HBase las métricas maestras.	“60 000”	Una cadena que especifica el número de milisegundos. Solo acepta números enteros.

emr-hbase-region-server-propiedades de métricas

Propiedad	Obligatorio	Descripción	Valor predeterminado	Valores posibles
<custom_bean_name>	Opcional	N/A	La fuente de la MBean que el CloudWatch agente debe recopilar las métricas, comoHadoop:service=HBase,name=RegionServer,sub=IPC. Puede encontrar MBean los nombres de los ejemplos y sus métricas correspondientes en los archivos JMX YAML de ejemplo para Amazon EMR versión 7.0.	Una cadena que contiene la lista delimitada por comas de las métricas asociadas a. MBean Por ejemplo, numActiveHandler,numActivePriorityHandler.
otel.metric.export.interval	Opcional	Con qué frecuencia, en milisegundos, se recopilan las métricas de HBase Region Server.	“60 000”	Una cadena que especifica el número de milisegundos. Solo acepta números enteros.

emr-hbase-rest-server-propiedades de métricas

Propiedad	Obligatorio	Descripción	Valor predeterminado	Valores posibles
<custom_bean_name>	Opcional	N/A	La fuente de la MBean que el CloudWatch agente debe recopilar las métricas, comoHadoop:service=HBase,name=REST. Puede encontrar MBean los nombres de los ejemplos y sus métricas correspondientes en los archivos JMX YAML de ejemplo para Amazon EMR versión 7.0.	Una cadena que contiene la lista delimitada por comas de las métricas asociadas a. MBean Por ejemplo, successfulPut,successfulScanCount.
otel.metric.export.interval	Opcional	Con qué frecuencia en milisegundos se recopilan las métricas de HBase Rest Server.	“60 000”	Una cadena que especifica el número de milisegundos. Solo acepta números enteros.

emr-hbase-thrift-server-propiedades de métricas

Propiedad	Obligatorio	Descripción	Valor predeterminado	Valores posibles
<custom_bean_name>	Opcional	N/A	La fuente de la MBean que el CloudWatch agente debe recopilar las métricas, comoHadoop:service=HBase,name=Thrift,sub=ThriftOne. Puede encontrar MBean los nombres de los ejemplos y sus métricas correspondientes en los archivos JMX YAML de ejemplo para Amazon EMR versión 7.0.	Una cadena que contiene la lista delimitada por comas de las métricas asociadas a. MBean Por ejemplo, BatchGet_max,BatchGet_mean.
otel.metric.export.interval	Opcional	Con qué frecuencia en milisegundos se recopilan las métricas del servidor HBase Thrift.	“60 000”	Una cadena que especifica el número de milisegundos. Solo acepta números enteros.

Ejemplos de configuraciones de métricas del sistema

El siguiente ejemplo muestra cómo configurar el CloudWatch agente para que deje de exportar todas las métricas del sistema.

[
  {
    "Classification": "emr-metrics",
    "Properties": {},
    "Configurations": [
      {
        "Classification": "emr-system-metrics",
        "Properties": {},
        "Configurations": []
      }
    ]
  }
]

En el siguiente ejemplo, se configura el CloudWatch agente para que exporte las métricas del sistema predeterminadas. Hacerlo es una forma rápida de restablecer el agente para que solo exporte las métricas predeterminadas del sistema si ya ha reconfigurado las métricas del sistema al menos una vez. Este restablecimiento también elimina cualquier métrica de la aplicación que se haya reconfigurado anteriormente.

[
  {
    "Classification": "emr-metrics",
    "Properties": {},
    "Configurations": []
  }
]

El siguiente ejemplo configura el clúster para exportar las métricas cpu, mem y disk.

[
  {
    "Classification": "emr-metrics",
    "Properties": {},
    "Configurations": [
      {
        "Classification": "emr-system-metrics",
        "Properties": {
          "metrics_collection_interval": "20"
        },
        "Configurations": [
          {
            "Classification": "cpu",
            "Properties": {
              "metrics": "cpu_usage_guest,cpu_usage_idle",
              "metrics_collection_interval": "30",
              "drop_original_metrics": "cpu_usage_guest"
            }
          },
          {
            "Classification": "mem",
            "Properties": {
              "metrics": "mem_active"
            }
          },
           {
            "Classification": "disk",
            "Properties": {
              "metrics": "disk_used_percent",
              "resources": "/,/mnt",
              "drop_original_metrics": ""
            }
          }
        ]
      }
    ]
  }
]

La configuración del ejemplo anterior tiene las propiedades siguientes:

• Cada 30 segundos, el agente recopila la cpu_guest métrica para todos CPUs. Puede encontrar la métrica agregada en el espacio de CloudWatch nombresCWAgent > cluster.id, instance.id, node.type, service.name.

• Cada 30 segundos, el agente recopila la cpu_idle métrica para todos. CPUs Puede encontrar la métrica agregada en el espacio de CloudWatch nombresCWAgent > cluster.id, instance.id, node.type, service.name. El agente también recopila las métricas por CPU. Puede encontrarlas en el mismo espacio de nombres. El agente recopila esta métrica porque la propiedad drop_original_metrics no contiene la cpu_idle, por lo que el agente no ignora la métrica.

• Cada 20 segundos, el agente recopila la métrica mem_active. Puedes encontrar la métrica agregada en el espacio de nombres. CloudWatch CWAgent > cluster.id, instance.id, node.type, service.name

• Cada 20 segundos, el agente recopila las métricas disk_used_percent de los montajes del disco / y /mnt. Puedes encontrar las métricas agregadas en el espacio de nombres. CloudWatch CWAgent > cluster.id, instance.id, node.type, service.name El agente también recopila las métricas por montaje. Puede encontrarlas en el mismo espacio de nombres. El agente recopila esta métrica porque la propiedad drop_original_metrics no contiene la disk_used_percent, por lo que el agente no ignora la métrica.

Ejemplos de configuraciones de métricas de aplicación

El siguiente ejemplo configura el CloudWatch agente para que deje de exportar las métricas del servicio Hadoop Nameode.

[
  {
    "Classification": "emr-metrics",
    "Properties": {},
    "Configurations": [
      {
        "Classification": "emr-hadoop-hdfs-namenode-metrics",
        "Properties": {},
        "Configurations": []
      }
    ]
  }
]

El siguiente ejemplo configura un clúster para exportar las métricas de las aplicaciones de Hadoop.

[
  {
    "Classification": "emr-metrics",
    "Properties": {},
    "Configurations": [
      {
        "Classification": "emr-hadoop-hdfs-namenode-metrics",
        "Properties": {
          "Hadoop:service=NameNode,name=FSNamesystem": "BlockCapacity,CapacityUsedGB",
          "otel.metric.export.interval": "20000" 
        },
        "Configurations": []
      },
       {
        "Classification": "emr-hadoop-hdfs-datanode-metrics",
        "Properties": {
          "Hadoop:service=DataNode,name=JvmMetrics": "MemNonHeapUsedM",
          "otel.metric.export.interval": "30000" 
        },
        "Configurations": []
      },
       {
        "Classification": "emr-hadoop-yarn-resourcemanager-metrics",
        "Properties": {
          "Hadoop:service=ResourceManager,name=CapacitySchedulerMetrics": "AllocateNumOps,NodeUpdateNumOps"
        },
        "Configurations": []
      }
    ]
  }
]

El ejemplo anterior tiene las propiedades siguientes:

• Cada 20 segundos, el agente recopila las métricas BlockCapacity y CapacityUsedGB de las instancias que ejecutan el servicio Hadoop Namenode.

• Cada 30 segundos, el agente recopila las métricas MemNonHeapUsedM de las instancias que ejecutan el servicio Hadoop Datanode.

• Cada 30 segundos, el agente recopila las NodeUpdateNumOps métricas AllocateNumOps y las métricas de las instancias que ejecutan el Hadoop YARN. ResourceManaager

Amazon Managed Service para Prometheus

El siguiente ejemplo muestra cómo configurar el CloudWatch agente para exportar métricas a Amazon Managed Service for Prometheus.

Si actualmente exporta métricas a Amazon Managed Service para Prometheus y desea reconfigurar las métricas del clúster y seguir exportándolas a Amazon Managed Service para Prometheus, debe incluir las propiedades metrics_destination y prometheus_endpoint.

[
  {
    "Classification": "emr-metrics",
    "Properties": {
      "metrics_destination": "prometheus",
      "prometheus_endpoint": "http://amp-workspace/api/v1/remote_write"
    },
    "Configurations": []
  }
]

Para usar el CloudWatch agente al que exportar las métricas CloudWatch, usa el siguiente ejemplo.

[
  {
    "Classification": "emr-metrics",
    "Properties": {
      "metrics_destination": "cloudwatch"
    },
    "Configurations": []
  }
]

nota

El CloudWatch agente tiene un exportador de Prometheus que cambia el nombre de ciertos atributos. Para las etiquetas de métricas predeterminadas, Amazon Managed Service for Prometheus utiliza caracteres de subrayado en lugar de los puntos que utiliza Amazon. CloudWatch Si utiliza Amazon Managed Grafana para visualizar las métricas predeterminadas en Amazon Managed Service para Prometheus, las etiquetas aparecen como cluster_id, instance_id, node_type y service_name.