As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Configurar CloudWatch agente para Amazon EMR 7.1.0
A partir do Amazon EMR 7.1.0, você pode configurar o CloudWatch agente da Amazon para usar métricas adicionais do sistema, adicionar métricas de aplicativos e alterar o destino das métricas usando a EMR configuração API da Amazon. Para obter mais informações sobre como usar a EMR configuração API para configurar os aplicativos do seu cluster, consulte Configurar aplicativos.
nota
7.1.0 suporta apenas o tipo de reconfiguração. OVERWRITE
Para mais informações sobre os tipos de reconfiguração, consulte Considerações ao reconfigurar um grupo de instâncias.
Tópicos
Esquema de configuração
emr-metrics
tem as seguintes classificações:
-
emr-system-metrics
— configure métricas do sistemaCPU, como disco e memória. -
emr-hadoop-hdfs-datanode-metrics
— configurar métricas do Hadoop DataNode JMX -
emr-hadoop-hdfs-namenode-metrics
— configurar métricas do Hadoop NameNode JMX -
emr-hadoop-yarn-nodemanager-metrics
— configurar métricas do Yarn NodeManager JMX -
emr-hadoop-yarn-resourcemanager-metrics
— configurar métricas do Yarn ResourceManager JMX -
emr-hbase-master-metrics
— configurar JMX métricas HBase mestras -
emr-hbase-region-server-metrics
— configurar JMX métricas do HBase Region Server -
emr-hbase-rest-server-metrics
— configurar JMX métricas HBase REST do servidor -
emr-hbase-thrift-server-metrics
— configurar métricas do HBase Thrift Server JMX
As tabelas a seguir descrevem as propriedades e configurações disponíveis para todas as classificações.
propriedades emr-metrics
Propriedade | Obrigatório | Descrição | Valor padrão | Possíveis valores | Observações |
---|---|---|---|---|---|
metrics_destination |
Opcional | Determina se as métricas do cluster são publicadas na Amazon CloudWatch ou no Amazon Managed Service for Prometheus. | "CLOUDWATCH" | "CLOUDWATCH", "PROMETHEUS" | Essa propriedade não diferencia maiúsculas de minúsculas. Por exemplo, “Cloudwatch” é o mesmo que "”CLOUDWATCH. |
prometheus_endpoint |
Opcional | Se metrics_destination estiver definida como "PROMETHEUS“, essa propriedade configura o CloudWatch agente para enviar métricas para o endpoint de gravação remota do Amazon Managed Service for Prometheus fornecido. |
N/D | Qualquer Amazon Managed Service válido para gravação remota do Prometheus. URL O URL formato de gravação remota é
|
Esse campo é obrigatório se metrics_destination estiver definido como "PROMETHEUS”. O provisionamento falhará se você não fornecer uma chave ou se o valor for uma string vazia. |
emr-system-metrics propriedades
Propriedade | Obrigatório | Descrição | Valor padrão | Possíveis valores | Observações |
---|---|---|---|---|---|
metrics_collection_interval |
Opcional | Com que frequência, em segundos, as métricas são coletadas e publicadas pelo CloudWatch agente. | “60" | Uma string especificando o número de segundos. Só aceita números inteiros. | Você pode substituir essa propriedade pela metrics_collection_interval propriedade de grupos de métricas individuais. |
emr-system-metrics configurações
emr-hadoop-hdfs-datanode-propriedades métricas
Propriedade | Obrigatório | Descrição | Valor padrão | Possíveis valores |
---|---|---|---|---|
|
Opcional | N/D | O CloudWatch agente MBean desse agente deve coletar métricas, comoHadoop:service=DataNode,name=DataNodeActivity . Você pode encontrar MBean nomes de amostra e suas métricas correspondentes nos JMXYAMLarquivos de exemplo |
Uma string contendo a lista delimitada por vírgulas de métricas associadas ao. MBean Por exemplo, BlocksCached,BlocksRead . |
otel.metric.export.interval |
Opcional | Com que frequência, em milissegundos, coletar métricas do Hadoop DataNode . | “60000" | Uma string especificando o número de milissegundos. Aceita somente números inteiros. |
emr-hadoop-hdfs-namenode-propriedades métricas
Propriedade | Obrigatório | Descrição | Valor padrão | Possíveis valores |
---|---|---|---|---|
|
Opcional | N/D | O CloudWatch agente MBean desse agente deve coletar métricas, comoHadoop:service=NameNode,name=FSNamesystem . Você pode encontrar MBean nomes de amostra e suas métricas correspondentes nos JMXYAMLarquivos de exemplo |
Uma string contendo a lista delimitada por vírgulas de métricas associadas ao. MBean Por exemplo, BlockCapacity,CapacityUsedGB . |
otel.metric.export.interval |
Opcional | Com que frequência, em milissegundos, coletar métricas do Hadoop NameNode . | “60000" | Uma string especificando o número de milissegundos. Aceita somente números inteiros. |
emr-hadoop-yarn-nodemanager-propriedades métricas
Propriedade | Obrigatório | Descrição | Valor padrão | Possíveis valores |
---|---|---|---|---|
|
Opcional | N/D | O CloudWatch agente MBean desse agente deve coletar métricas, comoHadoop:service=NodeManager,name=NodeManagerMetrics . Você pode encontrar MBean nomes de amostra e suas métricas correspondentes nos JMXYAMLarquivos de exemplo |
Uma string contendo a lista delimitada por vírgulas de métricas associadas ao. MBean Por exemplo, MaxCapacity,AllocatedGB . |
otel.metric.export.interval |
Opcional | Com que frequência, em milissegundos, coletar métricas do Hadoop YARN NodeManager . | “60000" | Uma string especificando o número de milissegundos. Aceita somente números inteiros. |
emr-hadoop-yarn-resourcemanager-propriedades métricas
Propriedade | Obrigatório | Descrição | Valor padrão | Possíveis valores |
---|---|---|---|---|
|
Opcional | N/D | O CloudWatch agente MBean desse agente deve coletar métricas, comoHadoop:service=ResourceManager,name=PartitionQueueMetrics . Você pode encontrar MBean nomes de amostra e suas métricas correspondentes nos JMXYAMLarquivos de exemplo |
Uma string contendo a lista delimitada por vírgulas de métricas associadas ao. MBean Por exemplo, MaxCapacity,MaxCapacityVCores . |
otel.metric.export.interval |
Opcional | Com que frequência, em milissegundos, coletar métricas do Hadoop YARN ResourceManager . | “60000" | Uma string especificando o número de milissegundos. Aceita somente números inteiros. |
emr-hbase-master-metrics propriedades
Propriedade | Obrigatório | Descrição | Valor padrão | Possíveis valores |
---|---|---|---|---|
|
Opcional | N/D | O CloudWatch agente MBean desse agente deve coletar métricas, comoHadoop:service=HBase,name=Master,sub=AssignmentManager . Você pode encontrar MBean nomes de amostra e suas métricas correspondentes nos JMXYAMLarquivos de exemplo |
Uma string contendo a lista delimitada por vírgulas de métricas associadas ao. MBean Por exemplo, AssignFailedCount,AssignSubmittedCount . |
otel.metric.export.interval |
Opcional | Com que frequência, em milissegundos, coletar métricas HBase mestras. | “60000" | Uma string especificando o número de milissegundos. Aceita somente números inteiros. |
emr-hbase-region-server-propriedades métricas
Propriedade | Obrigatório | Descrição | Valor padrão | Possíveis valores |
---|---|---|---|---|
|
Opcional | N/D | O CloudWatch agente MBean desse agente deve coletar métricas, comoHadoop:service=HBase,name=RegionServer,sub=IPC . Você pode encontrar MBean nomes de amostra e suas métricas correspondentes nos JMXYAMLarquivos de exemplo |
Uma string contendo a lista delimitada por vírgulas de métricas associadas ao. MBean Por exemplo, numActiveHandler,numActivePriorityHandler . |
otel.metric.export.interval |
Opcional | Com que frequência, em milissegundos, coletar métricas do HBase Region Server. | “60000" | Uma string especificando o número de milissegundos. Aceita somente números inteiros. |
emr-hbase-rest-server-propriedades métricas
Propriedade | Obrigatório | Descrição | Valor padrão | Possíveis valores |
---|---|---|---|---|
|
Opcional | N/D | O CloudWatch agente MBean desse agente deve coletar métricas, comoHadoop:service=HBase,name=REST . Você pode encontrar MBean nomes de amostra e suas métricas correspondentes nos JMXYAMLarquivos de exemplo |
Uma string contendo a lista delimitada por vírgulas de métricas associadas ao. MBean Por exemplo, successfulPut,successfulScanCount . |
otel.metric.export.interval |
Opcional | Com que frequência, em milissegundos, coletar métricas do HBase Rest Server. | “60000" | Uma string especificando o número de milissegundos. Aceita somente números inteiros. |
emr-hbase-thrift-server-propriedades métricas
Propriedade | Obrigatório | Descrição | Valor padrão | Possíveis valores |
---|---|---|---|---|
|
Opcional | N/D | O CloudWatch agente MBean desse agente deve coletar métricas, comoHadoop:service=HBase,name=Thrift,sub=ThriftOne . Você pode encontrar MBean nomes de amostra e suas métricas correspondentes nos JMXYAMLarquivos de exemplo |
Uma string contendo a lista delimitada por vírgulas de métricas associadas ao. MBean Por exemplo, BatchGet_max,BatchGet_mean . |
otel.metric.export.interval |
Opcional | Com que frequência, em milissegundos, coletar as métricas do servidor HBase Thrift. | “60000" | Uma string especificando o número de milissegundos. Aceita somente números inteiros. |
Exemplos de configurações de métricas do sistema
O exemplo a seguir demonstra como configurar o CloudWatch agente para parar de exportar todas as métricas do sistema.
[ { "Classification": "emr-metrics", "Properties": {}, "Configurations": [ { "Classification": "emr-system-metrics", "Properties": {}, "Configurations": [] } ] } ]
O exemplo a seguir configura o CloudWatch agente para exportar as métricas padrão do sistema. Fazer isso é uma maneira rápida de fazer com que o agente volte a exportar apenas as métricas padrão do sistema se você já tiver reconfigurado as métricas do sistema pelo menos uma vez. Essa redefinição também remove todas as métricas do aplicativo que foram reconfiguradas anteriormente.
[ { "Classification": "emr-metrics", "Properties": {}, "Configurations": [] } ]
O exemplo a seguir configura o cluster para exportar o cpu
mem
, e as disk
métricas.
[ { "Classification": "emr-metrics", "Properties": {}, "Configurations": [ { "Classification": "emr-system-metrics", "Properties": { "metrics_collection_interval": "20" }, "Configurations": [ { "Classification": "cpu", "Properties": { "metrics": "cpu_usage_guest,cpu_usage_idle", "metrics_collection_interval": "30", "drop_original_metrics": "cpu_usage_guest" } }, { "Classification": "mem", "Properties": { "metrics": "mem_active" } }, { "Classification": "disk", "Properties": { "metrics": "disk_used_percent", "resources": "/,/mnt", "drop_original_metrics": "" } } ] } ] } ]
O exemplo de configuração anterior tem as seguintes propriedades:
-
A cada 30 segundos, o agente coleta a
cpu_guest
métrica para todosCPUs. Você pode encontrar a métrica agregada no CloudWatchCWAgent > cluster.id, instance.id, node.type, service.name
namespace. -
A cada 30 segundos, o agente coleta a
cpu_idle
métrica para todosCPUs. Você pode encontrar a métrica agregada no CloudWatchCWAgent > cluster.id, instance.id, node.type, service.name
namespace. O agente também coleta as métricas por CPU. Você pode encontrá-los no mesmo namespace. O agente coleta essa métrica porque adrop_original_metrics
propriedade não contémcpu_idle
, então o agente não ignora a métrica. -
A cada 20 segundos, o agente coleta a
mem_active
métrica. Você pode encontrar a métrica agregada no CloudWatchCWAgent > cluster.id, instance.id, node.type, service.name
namespace. -
A cada 20 segundos, o agente coleta as
disk_used_percent
métricas das/
montagens/mnt
em disco. Você pode encontrar as métricas agregadas no CloudWatchCWAgent > cluster.id, instance.id, node.type, service.name
namespace. O agente também coleta as métricas por montagem. Você pode encontrá-los no mesmo namespace. O agente coleta essa métrica porque adrop_original_metrics
propriedade não contémdisk_used_percent
, então o agente não ignora a métrica.
Exemplos de configurações de métricas de aplicativos
O exemplo a seguir configura o CloudWatch agente para parar de exportar métricas para o serviço Hadoop Namenode.
[ { "Classification": "emr-metrics", "Properties": {}, "Configurations": [ { "Classification": "emr-hadoop-hdfs-namenode-metrics", "Properties": {}, "Configurations": [] } ] } ]
O exemplo a seguir configura um cluster para exportar métricas do aplicativo Hadoop.
[ { "Classification": "emr-metrics", "Properties": {}, "Configurations": [ { "Classification": "emr-hadoop-hdfs-namenode-metrics", "Properties": { "Hadoop:service=NameNode,name=FSNamesystem": "BlockCapacity,CapacityUsedGB", "otel.metric.export.interval": "20000" }, "Configurations": [] }, { "Classification": "emr-hadoop-hdfs-datanode-metrics", "Properties": { "Hadoop:service=DataNode,name=JvmMetrics": "MemNonHeapUsedM", "otel.metric.export.interval": "30000" }, "Configurations": [] }, { "Classification": "emr-hadoop-yarn-resourcemanager-metrics", "Properties": { "Hadoop:service=ResourceManager,name=CapacitySchedulerMetrics": "AllocateNumOps,NodeUpdateNumOps" }, "Configurations": [] } ] } ]
O exemplo anterior tem as seguintes propriedades:
-
A cada 20 segundos, o agente coleta as
CapacityUsedGB
métricasBlockCapacity
e das instâncias que executam o serviço Hadoop Namenode. -
A cada 30 segundos, o agente coleta
MemNonHeapUsedM
métricas das instâncias que executam o serviço Hadoop Datanode. -
A cada 30 segundos, o agente coleta as
NodeUpdateNumOps
métricasAllocateNumOps
e das instâncias que executam o YARN ResourceManaager Hadoop.
Exemplo do Amazon Managed Service para Prometheus
O exemplo a seguir demonstra como configurar o CloudWatch agente para exportar métricas para o Amazon Managed Service for Prometheus.
Se você está atualmente exportando métricas para o Amazon Managed Service for Prometheus e quiser reconfigurar as métricas para o cluster e continuar exportando métricas para o Amazon Managed Service for Prometheus, você deve incluir as propriedades e. metrics_destination
prometheus_endpoint
[ { "Classification": "emr-metrics", "Properties": { "metrics_destination": "prometheus", "prometheus_endpoint": "http://amp-workspace/api/v1/remote_write" }, "Configurations": [] } ]
Para usar o CloudWatch agente para exportar métricas CloudWatch, use o exemplo a seguir.
[ { "Classification": "emr-metrics", "Properties": { "metrics_destination": "cloudwatch" }, "Configurations": [] } ]
nota
O CloudWatch agente tem um exportador Prometheus que renomeia determinados atributos. Para os rótulos de métricas padrão, o Amazon Managed Service for Prometheus usa caracteres de sublinhado no lugar dos períodos que a Amazon usa. CloudWatch Se você usar o Amazon Managed Grafana para visualizar as métricas padrão no Amazon Managed Service for Prometheus, os rótulos aparecerão como,, e. cluster_id
instance_id
node_type
service_name