As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
A partir do Amazon EMR 7.1.0, você pode configurar o CloudWatch agente da Amazon para usar métricas adicionais do sistema, adicionar métricas de aplicativos e alterar o destino das métricas usando a API de configuração do Amazon EMR. Para obter mais informações sobre como usar a API de configuração do EMR para configurar as aplicações do cluster, consulte Configure applications.
nota
A versão 7.1.0 é compatível apenas com o tipo de reconfiguração OVERWRITE. Para obter mais informações sobre os tipos de reconfiguração, consulte Considerations when you reconfigure an instance group.
Tópicos
Esquema de configuração
emr-metrics tem as seguintes classificações:
-
emr-system-metrics: configure métricas do sistema, como CPU, disco e memória. -
emr-hadoop-hdfs-datanode-metrics— configurar métricas do Hadoop DataNode JMX -
emr-hadoop-hdfs-namenode-metrics— configurar métricas do Hadoop NameNode JMX -
emr-hadoop-yarn-nodemanager-metrics— configurar métricas do Yarn NodeManager JMX -
emr-hadoop-yarn-resourcemanager-metrics— configurar métricas do Yarn ResourceManager JMX -
emr-hbase-master-metrics— configurar métricas do HBase Master JMX -
emr-hbase-region-server-metrics— configurar métricas JMX do HBase Region Server -
emr-hbase-rest-server-metrics— configurar métricas JMX do servidor HBase REST -
emr-hbase-thrift-server-metrics— configurar métricas JMX do HBase Thrift Server
As tabelas a seguir descrevem as propriedades e configurações disponíveis para todas as classificações.
propriedades do emr-metrics
| Propriedade | Obrigatório | Descrição | Valor padrão | Possíveis valores | Observações |
|---|---|---|---|---|---|
metrics_destination |
Opcional | Determina se as métricas do cluster são publicadas na Amazon CloudWatch ou no Amazon Managed Service for Prometheus. | "CLOUDWATCH" | "CLOUDWATCH", "PROMETHEUS" | Essa propriedade não diferencia maiúsculas de minúsculas. Por exemplo, "Cloudwatch" é o mesmo que "CLOUDWATCH". |
prometheus_endpoint |
Opcional | Se metrics_destination estiver definida como “PROMETHEUS”, essa propriedade configura o CloudWatch agente para enviar métricas para o endpoint de gravação remota do Amazon Managed Service for Prometheus fornecido. |
N/D | Qualquer URL de gravação remota do Amazon Managed Service para Prometheus. O formato do URL de gravação remota é |
Esse campo será obrigatório se metrics_destination estiver definido como "PROMETHEUS". O provisionamento falhará se você não fornecer uma chave ou se o valor for uma string vazia. |
emr-system-metrics propriedades
| Propriedade | Obrigatório | Descrição | Valor padrão | Possíveis valores | Observações |
|---|---|---|---|---|---|
metrics_collection_interval |
Opcional | Com que frequência, em segundos, as métricas são coletadas e publicadas pelo CloudWatch agente. | "60" | Uma string especificando o número de segundos. Só aceita números inteiros. | Você pode substituir essa propriedade pela propriedade metrics_collection_interval de grupos de métricas individuais. |
emr-system-metrics configurações
| Propriedade | Obrigatório | Descrição | Valor padrão | Possíveis valores | Observações |
|---|---|---|---|---|---|
metrics |
Opcional | A lista de métricas de CPU para o agente coletar. | Veja as métricas padrão para CloudWatch agentes com o Amazon EMR | Uma lista separada por vírgula de nomes de métricas de CPU válidos com ou sem o prefixo cpu_, como usage_active e cpu_time_idle. Consulte Métricas coletadas pelo CloudWatch agente para ver métricas válidas. |
Especificar uma string vazia significa não publicar nenhuma métrica de CPU. |
metrics_collection_interval |
Opcional | Com que frequência, em segundos, o agente deve coletar e publicar métricas de CPU. | O valor do metrics_collection_interval global. |
Uma string especificando o número de segundos. Aceita somente números inteiros. | Esse valor substitui a propriedade global metrics_collection_interval somente para métricas de CPU. |
drop_original_metrics |
Opcional | Lista de métricas de CPU para as quais não publicar métricas não agregadas. | Nenhuma métrica de CPU não agregada publicada. | Uma lista separada por vírgulas de métricas de CPU que também são especificadas na propriedade de métricas. Uma string vazia significa publicar todas as métricas de CPU. | O CloudWatch agente agrega todas as métricas por ID do cluster, ID da instância, tipo de nó e nome do serviço. Por padrão, o CloudWatch agente não publica as métricas por recurso para métricas com vários recursos. |
resources |
Opcional | Determina se o agente publicará métricas por núcleo. | "*" | "*" habilita métricas por núcleo. "" desabilita métricas por núcleo. | O CloudWatch agente publica apenas métricas por núcleo para métricas de CPU que não são incluídas. drop_original_metrics |
emr-hadoop-hdfs-datanode-propriedades métricas
| Propriedade | Obrigatório | Descrição | Valor padrão | Possíveis valores |
|---|---|---|---|---|
|
Opcional | N/D | O CloudWatch agente MBean desse agente deve coletar métricas, comoHadoop:service=DataNode,name=DataNodeActivity. Você pode encontrar MBean nomes de amostra e suas métricas correspondentes nos exemplos de arquivos JMX YAML para |
Uma string contendo a lista delimitada por vírgulas de métricas associadas ao. MBean Por exemplo, BlocksCached,BlocksRead. |
otel.metric.export.interval |
Opcional | Com que frequência, em milissegundos, coletar métricas do Hadoop DataNode . | "60000" | Uma string especificando o número de milissegundos. Aceita somente números inteiros. |
emr-hadoop-hdfs-namenode-propriedades métricas
| Propriedade | Obrigatório | Descrição | Valor padrão | Possíveis valores |
|---|---|---|---|---|
|
Opcional | N/D | O CloudWatch agente MBean desse agente deve coletar métricas, comoHadoop:service=NameNode,name=FSNamesystem. Você pode encontrar MBean nomes de amostra e suas métricas correspondentes nos exemplos de arquivos JMX YAML para |
Uma string contendo a lista delimitada por vírgulas de métricas associadas ao. MBean Por exemplo, BlockCapacity,CapacityUsedGB. |
otel.metric.export.interval |
Opcional | Com que frequência, em milissegundos, coletar métricas do Hadoop NameNode . | "60000" | Uma string especificando o número de milissegundos. Aceita somente números inteiros. |
emr-hadoop-yarn-nodemanager-propriedades métricas
| Propriedade | Obrigatório | Descrição | Valor padrão | Possíveis valores |
|---|---|---|---|---|
|
Opcional | N/D | O CloudWatch agente MBean desse agente deve coletar métricas, comoHadoop:service=NodeManager,name=NodeManagerMetrics. Você pode encontrar MBean nomes de amostra e suas métricas correspondentes nos exemplos de arquivos JMX YAML para |
Uma string contendo a lista delimitada por vírgulas de métricas associadas ao. MBean Por exemplo, MaxCapacity,AllocatedGB. |
otel.metric.export.interval |
Opcional | Com que frequência, em milissegundos, coletar métricas do Hadoop YARN. NodeManager | "60000" | Uma string especificando o número de milissegundos. Aceita somente números inteiros. |
emr-hadoop-yarn-resourcemanager-propriedades métricas
| Propriedade | Obrigatório | Descrição | Valor padrão | Possíveis valores |
|---|---|---|---|---|
|
Opcional | N/D | O CloudWatch agente MBean desse agente deve coletar métricas, comoHadoop:service=ResourceManager,name=PartitionQueueMetrics. Você pode encontrar MBean nomes de amostra e suas métricas correspondentes nos exemplos de arquivos JMX YAML para |
Uma string contendo a lista delimitada por vírgulas de métricas associadas ao. MBean Por exemplo, MaxCapacity,MaxCapacityVCores. |
otel.metric.export.interval |
Opcional | Com que frequência, em milissegundos, coletar métricas do Hadoop YARN. ResourceManager | "60000" | Uma string especificando o número de milissegundos. Aceita somente números inteiros. |
emr-hbase-master-metrics propriedades
| Propriedade | Obrigatório | Descrição | Valor padrão | Possíveis valores |
|---|---|---|---|---|
|
Opcional | N/D | O CloudWatch agente MBean desse agente deve coletar métricas, comoHadoop:service=HBase,name=Master,sub=AssignmentManager. Você pode encontrar MBean nomes de amostra e suas métricas correspondentes nos exemplos de arquivos JMX YAML para |
Uma string contendo a lista delimitada por vírgulas de métricas associadas ao. MBean Por exemplo, AssignFailedCount,AssignSubmittedCount. |
otel.metric.export.interval |
Opcional | Com que frequência, em milissegundos, coletar métricas HBase mestras. | "60000" | Uma string especificando o número de milissegundos. Aceita somente números inteiros. |
emr-hbase-region-server-propriedades métricas
| Propriedade | Obrigatório | Descrição | Valor padrão | Possíveis valores |
|---|---|---|---|---|
|
Opcional | N/D | O CloudWatch agente MBean desse agente deve coletar métricas, comoHadoop:service=HBase,name=RegionServer,sub=IPC. Você pode encontrar MBean nomes de amostra e suas métricas correspondentes nos exemplos de arquivos JMX YAML para |
Uma string contendo a lista delimitada por vírgulas de métricas associadas ao. MBean Por exemplo, numActiveHandler,numActivePriorityHandler. |
otel.metric.export.interval |
Opcional | Com que frequência, em milissegundos, coletar métricas do Servidor de HBase Região. | "60000" | Uma string especificando o número de milissegundos. Aceita somente números inteiros. |
emr-hbase-rest-server-propriedades métricas
| Propriedade | Obrigatório | Descrição | Valor padrão | Possíveis valores |
|---|---|---|---|---|
|
Opcional | N/D | O CloudWatch agente MBean desse agente deve coletar métricas, comoHadoop:service=HBase,name=REST. Você pode encontrar MBean nomes de amostra e suas métricas correspondentes nos exemplos de arquivos JMX YAML para |
Uma string contendo a lista delimitada por vírgulas de métricas associadas ao. MBean Por exemplo, successfulPut,successfulScanCount. |
otel.metric.export.interval |
Opcional | Com que frequência, em milissegundos, coletar métricas do HBase Rest Server. | "60000" | Uma string especificando o número de milissegundos. Aceita somente números inteiros. |
emr-hbase-thrift-server-propriedades métricas
| Propriedade | Obrigatório | Descrição | Valor padrão | Possíveis valores |
|---|---|---|---|---|
|
Opcional | N/D | O CloudWatch agente MBean desse agente deve coletar métricas, comoHadoop:service=HBase,name=Thrift,sub=ThriftOne. Você pode encontrar MBean nomes de amostra e suas métricas correspondentes nos exemplos de arquivos JMX YAML para |
Uma string contendo a lista delimitada por vírgulas de métricas associadas ao. MBean Por exemplo, BatchGet_max,BatchGet_mean. |
otel.metric.export.interval |
Opcional | Com que frequência, em milissegundos, coletar as métricas do servidor HBase Thrift. | "60000" | Uma string especificando o número de milissegundos. Aceita somente números inteiros. |
Exemplos de configurações de métricas do sistema
O exemplo a seguir demonstra como configurar o CloudWatch agente para parar de exportar todas as métricas do sistema.
[
{
"Classification": "emr-metrics",
"Properties": {},
"Configurations": [
{
"Classification": "emr-system-metrics",
"Properties": {},
"Configurations": []
}
]
}
]O exemplo a seguir configura o CloudWatch agente para exportar as métricas padrão do sistema. Isso é uma maneira rápida de fazer com que o agente volte a exportar apenas as métricas padrão do sistema se você já as tiver reconfigurado pelo menos uma vez. Essa redefinição também remove todas as métricas da aplicação que foram reconfiguradas anteriormente.
[
{
"Classification": "emr-metrics",
"Properties": {},
"Configurations": []
}
]
O exemplo a seguir configura o cluster para exportar as métricas cpu, mem e disk.
[
{
"Classification": "emr-metrics",
"Properties": {},
"Configurations": [
{
"Classification": "emr-system-metrics",
"Properties": {
"metrics_collection_interval": "20"
},
"Configurations": [
{
"Classification": "cpu",
"Properties": {
"metrics": "cpu_usage_guest,cpu_usage_idle",
"metrics_collection_interval": "30",
"drop_original_metrics": "cpu_usage_guest"
}
},
{
"Classification": "mem",
"Properties": {
"metrics": "mem_active"
}
},
{
"Classification": "disk",
"Properties": {
"metrics": "disk_used_percent",
"resources": "/,/mnt",
"drop_original_metrics": ""
}
}
]
}
]
}
]A configuração do exemplo anterior tem as seguintes propriedades:
-
A cada 30 segundos, o agente coleta a
cpu_guestmétrica para todos CPUs. Você pode encontrar a métrica agregada no CloudWatchCWAgent > cluster.id, instance.id, node.type, service.namenamespace. -
A cada 30 segundos, o agente coleta a
cpu_idlemétrica para todos CPUs. Você pode encontrar a métrica agregada no CloudWatchCWAgent > cluster.id, instance.id, node.type, service.namenamespace. O agente também coleta as métricas por CPU. Você pode encontrá-las no mesmo namespace. O agente coleta essa métrica porque a propriedadedrop_original_metricsnão contémcpu_idle, então o agente não ignora a métrica. -
A cada 20 segundos, o agente coleta a métrica
mem_active. Você pode encontrar a métrica agregada no CloudWatchCWAgent > cluster.id, instance.id, node.type, service.namenamespace. -
A cada 20 segundos, o agente coleta as métricas
disk_used_percentdas montagens/e/mntdo disco. Você pode encontrar as métricas agregadas no CloudWatchCWAgent > cluster.id, instance.id, node.type, service.namenamespace. O agente também coleta as métricas por montagem. Você pode encontrá-las no mesmo namespace. O agente coleta essa métrica porque a propriedadedrop_original_metricsnão contémdisk_used_percent, então o agente não ignora a métrica.
Exemplos de configurações de métricas de aplicações
O exemplo a seguir configura o CloudWatch agente para parar de exportar métricas para o serviço Hadoop Namenode.
[
{
"Classification": "emr-metrics",
"Properties": {},
"Configurations": [
{
"Classification": "emr-hadoop-hdfs-namenode-metrics",
"Properties": {},
"Configurations": []
}
]
}
]O exemplo a seguir configura um cluster para exportar métricas de aplicação do Hadoop.
[
{
"Classification": "emr-metrics",
"Properties": {},
"Configurations": [
{
"Classification": "emr-hadoop-hdfs-namenode-metrics",
"Properties": {
"Hadoop:service=NameNode,name=FSNamesystem": "BlockCapacity,CapacityUsedGB",
"otel.metric.export.interval": "20000"
},
"Configurations": []
},
{
"Classification": "emr-hadoop-hdfs-datanode-metrics",
"Properties": {
"Hadoop:service=DataNode,name=JvmMetrics": "MemNonHeapUsedM",
"otel.metric.export.interval": "30000"
},
"Configurations": []
},
{
"Classification": "emr-hadoop-yarn-resourcemanager-metrics",
"Properties": {
"Hadoop:service=ResourceManager,name=CapacitySchedulerMetrics": "AllocateNumOps,NodeUpdateNumOps"
},
"Configurations": []
}
]
}
]O exemplo anterior tem as seguintes propriedades:
-
A cada 20 segundos, o agente coleta as métricas
BlockCapacityeCapacityUsedGBdas instâncias que executam o serviço Namenode do Hadoop. -
A cada 30 segundos, o agente coleta as métricas
MemNonHeapUsedMdas instâncias que executam o serviço Datanode do Hadoop. -
A cada 30 segundos, o agente coleta as
NodeUpdateNumOpsmétricasAllocateNumOpse das instâncias que executam o Hadoop YARN. ResourceManaager
Exemplo do Amazon Managed Service para Prometheus
O exemplo a seguir demonstra como configurar o CloudWatch agente para exportar métricas para o Amazon Managed Service for Prometheus.
Se você está atualmente exportando métricas ao Amazon Managed Service para Prometheus e quiser reconfigurar as métricas para o cluster e continuar exportando métricas ao Amazon Managed Service para Prometheus, você deve incluir as propriedades metrics_destination e prometheus_endpoint.
[
{
"Classification": "emr-metrics",
"Properties": {
"metrics_destination": "prometheus",
"prometheus_endpoint": "http://amp-workspace/api/v1/remote_write"
},
"Configurations": []
}
]Para usar o CloudWatch agente para exportar métricas CloudWatch, use o exemplo a seguir.
[
{
"Classification": "emr-metrics",
"Properties": {
"metrics_destination": "cloudwatch"
},
"Configurations": []
}
]nota
O CloudWatch agente tem um exportador Prometheus que renomeia determinados atributos. Para os rótulos de métricas padrão, o Amazon Managed Service for Prometheus usa caracteres de sublinhado no lugar dos períodos que a Amazon usa. CloudWatch Se você usar o Amazon Managed Grafana para visualizar as métricas padrão no Amazon Managed Service para Prometheus, os rótulos aparecerão como cluster_id, instance_id, node_type, and service_name.
