Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Configurazione CloudWatch dell'agente per Amazon EMR 7.1.0
A partire da Amazon EMR 7.1.0, puoi configurare l' CloudWatch agente Amazon per utilizzare parametri di sistema aggiuntivi, aggiungere parametri applicativi e modificare la destinazione dei parametri utilizzando l'API di configurazione Amazon EMR. Per ulteriori informazioni su come utilizzare l'API di configurazione EMR per configurare le applicazioni del cluster, vedere Configurare le applicazioni.
Nota
7.1.0 supporta solo il tipo di riconfigurazione. OVERWRITE Per ulteriori informazioni sui tipi di riconfigurazione, consulta Considerazioni sulla riconfigurazione di un gruppo di istanze.
Argomenti
Schema di configurazione
emr-metricspresenta le seguenti classificazioni:
-
emr-system-metrics— configura le metriche del sistema, come CPU, disco e memoria. -
emr-hadoop-hdfs-datanode-metrics— configurare le metriche di Hadoop DataNode JMX -
emr-hadoop-hdfs-namenode-metrics— configurare le metriche di Hadoop JMX NameNode -
emr-hadoop-yarn-nodemanager-metrics— configura le metriche di Yarn JMX NodeManager -
emr-hadoop-yarn-resourcemanager-metrics— configura le metriche di Yarn JMX ResourceManager -
emr-hbase-master-metrics— configura HBase le metriche Master JMX -
emr-hbase-region-server-metrics— configurare le metriche JMX di HBase Region Server -
emr-hbase-rest-server-metrics— configurare le metriche HBase JMX del server REST -
emr-hbase-thrift-server-metrics— configurare le metriche JMX di HBase Thrift Server
Le tabelle seguenti descrivono le proprietà e le configurazioni disponibili per tutte le classificazioni.
proprietà emr-metrics
| Proprietà | Richiesto | Descrizione | Valore predefinito | Valori possibili | Note |
|---|---|---|---|---|---|
metrics_destination |
Facoltativo | Determina se le metriche del cluster vengono pubblicate su Amazon CloudWatch o Amazon Managed Service for Prometheus. | «CLOUDWATCH» | «CLOUDWATCH», «PROMETHEUS» | Questa proprietà non fa distinzione tra maiuscole e minuscole. Ad esempio, «Cloudwatch» è uguale a «CLOUDWATCH». |
prometheus_endpoint |
Facoltativo | Se metrics_destination è impostata su «PROMETHEUS», questa proprietà configura l' CloudWatch agente per inviare i parametri all'endpoint di scrittura remota Amazon Managed Service for Prometheus fornito. |
N/D | Qualsiasi URL di scrittura remota valido di Amazon Managed Service for Prometheus. Il formato dell'URL di scrittura remota è |
Questo campo è obbligatorio se metrics_destination è impostato su «PROMETHEUS». Il provisioning avrà esito negativo se non si fornisce una chiave o se il valore è una stringa vuota. |
emr-system-metrics proprietà
| Proprietà | Richiesto | Descrizione | Valore predefinito | Valori possibili | Note |
|---|---|---|---|---|---|
metrics_collection_interval |
Facoltativo | Con quale frequenza (in secondi) le metriche vengono raccolte e pubblicate dall' CloudWatch agente. | «60" | Una stringa che specifica il numero di secondi. Accetta solo numeri interi. | È possibile sovrascrivere questa proprietà con la metrics_collection_interval proprietà di singoli gruppi di metriche. |
emr-system-metrics configurazioni
| Proprietà | Richiesto | Descrizione | Valore predefinito | Valori possibili | Note |
|---|---|---|---|---|---|
metrics |
Facoltativo | L'elenco delle metriche della CPU che l'agente deve raccogliere. | Vedi i parametri predefiniti per gli CloudWatch agenti con Amazon EMR | Un elenco separato da virgole di nomi di metriche della CPU validi con o senza prefisso, ad esempio e. cpu_ usage_active cpu_time_idle Vedi Metriche raccolte dall'agente per le metriche valide. CloudWatch |
Specificare una stringa vuota significa non pubblicare alcuna metrica della CPU. |
metrics_collection_interval |
Facoltativo | Con quale frequenza in secondi l'agente deve raccogliere e pubblicare i parametri della CPU. | Il valore del globalemetrics_collection_interval. |
Una stringa che specifica il numero di secondi. Accetta solo numeri interi. | Questo valore sostituisce la metrics_collection_interval proprietà globale solo per le metriche della CPU. |
drop_original_metrics |
Facoltativo | Elenco di metriche della CPU per le quali non pubblicare metriche non aggregate. | Nessuna metrica della CPU non aggregata pubblicata. | Un elenco separato da virgole di metriche della CPU specificate anche nella proprietà metrics. Una stringa vuota indica la pubblicazione di tutte le metriche della CPU. | L' CloudWatch agente aggrega tutte le metriche in base all'ID del cluster, all'ID dell'istanza, al tipo di nodo e al nome del servizio. Per impostazione predefinita, l' CloudWatch agente non pubblica le metriche per risorsa per le metriche con più risorse. |
resources |
Facoltativo | Determina se l'agente pubblicherà le metriche per core. | "*" | «*» abilita le metriche per core. «» disabilita le metriche per core. | L' CloudWatch agente pubblica solo metriche per core per le metriche della CPU che non sono state inserite. drop_original_metrics |
emr-hadoop-hdfs-datanodeproprietà -metrics
| Proprietà | Richiesto | Descrizione | Valore predefinito | Valori possibili |
|---|---|---|---|---|
|
Facoltativo | N/D | L'agente da MBean cui CloudWatch l'agente deve raccogliere metriche, ad esempio. Hadoop:service=DataNode,name=DataNodeActivity Puoi trovare MBean i nomi di esempio e le metriche corrispondenti nei file YAML JMX di esempio per Amazon |
Una stringa contenente l'elenco delimitato da virgole di metriche associate a. MBean Ad esempio BlocksCached,BlocksRead. |
otel.metric.export.interval |
Facoltativo | Quante volte, in millisecondi, raccogliere le metriche Hadoop. DataNode | «60000" | Una stringa che specifica il numero di millisecondi. Accetta solo numeri interi. |
emr-hadoop-hdfs-namenodeproprietà -metrics
| Proprietà | Richiesto | Descrizione | Valore predefinito | Valori possibili |
|---|---|---|---|---|
|
Facoltativo | N/D | L'agente da MBean cui CloudWatch l'agente deve raccogliere metriche, ad esempio. Hadoop:service=NameNode,name=FSNamesystem Puoi trovare MBean i nomi di esempio e le metriche corrispondenti nei file YAML JMX di esempio per Amazon |
Una stringa contenente l'elenco delimitato da virgole di metriche associate a. MBean Ad esempio BlockCapacity,CapacityUsedGB. |
otel.metric.export.interval |
Facoltativo | Quante volte, in millisecondi, raccogliere le metriche Hadoop. NameNode | «60000" | Una stringa che specifica il numero di millisecondi. Accetta solo numeri interi. |
emr-hadoop-yarn-nodemanagerproprietà -metrics
| Proprietà | Richiesto | Descrizione | Valore predefinito | Valori possibili |
|---|---|---|---|---|
|
Facoltativo | N/D | L'agente da MBean cui CloudWatch l'agente deve raccogliere metriche, ad esempio. Hadoop:service=NodeManager,name=NodeManagerMetrics Puoi trovare MBean i nomi di esempio e le metriche corrispondenti nei file YAML JMX di esempio per Amazon |
Una stringa contenente l'elenco delimitato da virgole di metriche associate a. MBean Ad esempio MaxCapacity,AllocatedGB. |
otel.metric.export.interval |
Facoltativo | Quante volte, in millisecondi, raccogliere le metriche Hadoop YARN. NodeManager | «60000" | Una stringa che specifica il numero di millisecondi. Accetta solo numeri interi. |
emr-hadoop-yarn-resourcemanagerproprietà -metrics
| Proprietà | Richiesto | Descrizione | Valore predefinito | Valori possibili |
|---|---|---|---|---|
|
Facoltativo | N/D | L'agente da MBean cui CloudWatch l'agente deve raccogliere metriche, ad esempio. Hadoop:service=ResourceManager,name=PartitionQueueMetrics Puoi trovare MBean i nomi di esempio e le metriche corrispondenti nei file YAML JMX di esempio per Amazon |
Una stringa contenente l'elenco delimitato da virgole di metriche associate a. MBean Ad esempio MaxCapacity,MaxCapacityVCores. |
otel.metric.export.interval |
Facoltativo | Quante volte, in millisecondi, raccogliere le metriche Hadoop YARN. ResourceManager | «60000" | Una stringa che specifica il numero di millisecondi. Accetta solo numeri interi. |
emr-hbase-master-metrics proprietà
| Proprietà | Richiesto | Descrizione | Valore predefinito | Valori possibili |
|---|---|---|---|---|
|
Facoltativo | N/D | L' CloudWatch agente da MBean cui l'agente deve raccogliere metriche, ad esempioHadoop:service=HBase,name=Master,sub=AssignmentManager. Puoi trovare MBean i nomi di esempio e le metriche corrispondenti nei file YAML JMX di esempio per Amazon |
Una stringa contenente l'elenco delimitato da virgole di metriche associate a. MBean Ad esempio AssignFailedCount,AssignSubmittedCount. |
otel.metric.export.interval |
Facoltativo | Quante volte in millisecondi raccogliere le metriche Master. HBase | «60000" | Una stringa che specifica il numero di millisecondi. Accetta solo numeri interi. |
emr-hbase-region-serverproprietà -metrics
| Proprietà | Richiesto | Descrizione | Valore predefinito | Valori possibili |
|---|---|---|---|---|
|
Facoltativo | N/D | L'agente da MBean cui CloudWatch l'agente deve raccogliere metriche, ad esempio. Hadoop:service=HBase,name=RegionServer,sub=IPC Puoi trovare MBean i nomi di esempio e le metriche corrispondenti nei file YAML JMX di esempio per Amazon |
Una stringa contenente l'elenco delimitato da virgole di metriche associate a. MBean Ad esempio numActiveHandler,numActivePriorityHandler. |
otel.metric.export.interval |
Facoltativo | Quante volte in millisecondi raccogliere le metriche del Region Server. HBase | «60000" | Una stringa che specifica il numero di millisecondi. Accetta solo numeri interi. |
emr-hbase-rest-serverproprietà -metrics
| Proprietà | Richiesto | Descrizione | Valore predefinito | Valori possibili |
|---|---|---|---|---|
|
Facoltativo | N/D | L'agente da MBean cui CloudWatch l'agente deve raccogliere metriche, ad esempio. Hadoop:service=HBase,name=REST Puoi trovare MBean i nomi di esempio e le metriche corrispondenti nei file YAML JMX di esempio per Amazon |
Una stringa contenente l'elenco delimitato da virgole di metriche associate a. MBean Ad esempio successfulPut,successfulScanCount. |
otel.metric.export.interval |
Facoltativo | Quante volte in millisecondi raccogliere le metriche del Rest Server. HBase | «60000" | Una stringa che specifica il numero di millisecondi. Accetta solo numeri interi. |
emr-hbase-thrift-serverproprietà -metrics
| Proprietà | Richiesto | Descrizione | Valore predefinito | Valori possibili |
|---|---|---|---|---|
|
Facoltativo | N/D | L'agente da MBean cui CloudWatch l'agente deve raccogliere metriche, ad esempio. Hadoop:service=HBase,name=Thrift,sub=ThriftOne Puoi trovare MBean i nomi di esempio e le metriche corrispondenti nei file YAML JMX di esempio per Amazon |
Una stringa contenente l'elenco delimitato da virgole di metriche associate a. MBean Ad esempio BatchGet_max,BatchGet_mean. |
otel.metric.export.interval |
Facoltativo | Quante volte in millisecondi raccogliere le metriche del server Thrift. HBase | «60000" | Una stringa che specifica il numero di millisecondi. Accetta solo numeri interi. |
Esempi di configurazioni delle metriche di sistema
L'esempio seguente mostra come configurare l' CloudWatch agente per interrompere l'esportazione di tutte le metriche di sistema.
[
{
"Classification": "emr-metrics",
"Properties": {},
"Configurations": [
{
"Classification": "emr-system-metrics",
"Properties": {},
"Configurations": []
}
]
}
]L'esempio seguente configura l' CloudWatch agente per esportare le metriche di sistema predefinite. In questo modo è possibile reimpostare rapidamente l'agente all'esportazione delle metriche di sistema predefinite solo se le metriche di sistema sono già state riconfigurate almeno una volta. Questo ripristino rimuove anche tutte le metriche dell'applicazione che sono state riconfigurate in precedenza.
[
{
"Classification": "emr-metrics",
"Properties": {},
"Configurations": []
}
]
L'esempio seguente configura il cluster per esportare le cpumem, e le metriche. disk
[
{
"Classification": "emr-metrics",
"Properties": {},
"Configurations": [
{
"Classification": "emr-system-metrics",
"Properties": {
"metrics_collection_interval": "20"
},
"Configurations": [
{
"Classification": "cpu",
"Properties": {
"metrics": "cpu_usage_guest,cpu_usage_idle",
"metrics_collection_interval": "30",
"drop_original_metrics": "cpu_usage_guest"
}
},
{
"Classification": "mem",
"Properties": {
"metrics": "mem_active"
}
},
{
"Classification": "disk",
"Properties": {
"metrics": "disk_used_percent",
"resources": "/,/mnt",
"drop_original_metrics": ""
}
}
]
}
]
}
]La configurazione di esempio precedente ha le seguenti proprietà:
-
Ogni 30 secondi, l'agente raccoglie la
cpu_guestmetrica per tutti. CPUs Puoi trovare la metrica aggregata nel namespace. CloudWatchCWAgent > cluster.id, instance.id, node.type, service.name -
Ogni 30 secondi, l'agente raccoglie la metrica per tutti.
cpu_idleCPUs Puoi trovare la metrica aggregata nel namespace. CloudWatchCWAgent > cluster.id, instance.id, node.type, service.nameL'agente raccoglie anche le metriche per CPU. Puoi trovarli nello stesso namespace. L'agente raccoglie questa metrica perché ladrop_original_metricsproprietà non contienecpu_idle, quindi non la ignora. -
Ogni 20 secondi, l'agente raccoglie la metrica.
mem_activePuoi trovare la metrica aggregata nel namespace. CloudWatchCWAgent > cluster.id, instance.id, node.type, service.name -
Ogni 20 secondi, l'agente raccoglie le
disk_used_percentmetriche relative ai montaggi su disco.//mntPuoi trovare le metriche aggregate nel namespace. CloudWatchCWAgent > cluster.id, instance.id, node.type, service.nameL'agente raccoglie anche le metriche per montaggio. Puoi trovarli nello stesso namespace. L'agente raccoglie questa metrica perché ladrop_original_metricsproprietà non contienedisk_used_percent, quindi non la ignora.
Esempi di configurazioni delle metriche delle applicazioni
L'esempio seguente configura l' CloudWatch agente per interrompere l'esportazione delle metriche per il servizio Hadoop Namenode.
[
{
"Classification": "emr-metrics",
"Properties": {},
"Configurations": [
{
"Classification": "emr-hadoop-hdfs-namenode-metrics",
"Properties": {},
"Configurations": []
}
]
}
]L'esempio seguente configura un cluster per esportare i parametri delle applicazioni Hadoop.
[
{
"Classification": "emr-metrics",
"Properties": {},
"Configurations": [
{
"Classification": "emr-hadoop-hdfs-namenode-metrics",
"Properties": {
"Hadoop:service=NameNode,name=FSNamesystem": "BlockCapacity,CapacityUsedGB",
"otel.metric.export.interval": "20000"
},
"Configurations": []
},
{
"Classification": "emr-hadoop-hdfs-datanode-metrics",
"Properties": {
"Hadoop:service=DataNode,name=JvmMetrics": "MemNonHeapUsedM",
"otel.metric.export.interval": "30000"
},
"Configurations": []
},
{
"Classification": "emr-hadoop-yarn-resourcemanager-metrics",
"Properties": {
"Hadoop:service=ResourceManager,name=CapacitySchedulerMetrics": "AllocateNumOps,NodeUpdateNumOps"
},
"Configurations": []
}
]
}
]L'esempio precedente ha le seguenti proprietà:
-
Ogni 20 secondi, l'agente raccoglie le
CapacityUsedGBmetricheBlockCapacitye dalle istanze che eseguono il servizio Hadoop Namenode. -
Ogni 30 secondi, l'agente raccoglie le
MemNonHeapUsedMmetriche dalle istanze che eseguono il servizio Hadoop Datanode. -
Ogni 30 secondi, l'agente raccoglie le
NodeUpdateNumOpsmetricheAllocateNumOpse dalle istanze che eseguono Hadoop YARN. ResourceManaager
Esempio di Amazon Managed Service per Prometheus
L'esempio seguente mostra come configurare l' CloudWatch agente per esportare i parametri in Amazon Managed Service for Prometheus.
Se attualmente stai esportando metriche in Amazon Managed Service for Prometheus e desideri riconfigurare le metriche per il cluster e continuare a esportare le metriche in Amazon Managed Service for Prometheus, devi includere le proprietà e. metrics_destination prometheus_endpoint
[
{
"Classification": "emr-metrics",
"Properties": {
"metrics_destination": "prometheus",
"prometheus_endpoint": "http://amp-workspace/api/v1/remote_write"
},
"Configurations": []
}
]Per utilizzare l'agente in cui esportare le metriche, usa il seguente esempio. CloudWatch CloudWatch
[
{
"Classification": "emr-metrics",
"Properties": {
"metrics_destination": "cloudwatch"
},
"Configurations": []
}
]Nota
L' CloudWatch agente dispone di un esportatore Prometheus che rinomina determinati attributi. Per le etichette delle metriche predefinite, Amazon Managed Service for Prometheus utilizza caratteri di sottolineatura al posto dei periodi utilizzati da Amazon. CloudWatch Se usi Amazon Managed Grafana per visualizzare le metriche predefinite in Amazon Managed Service for Prometheus, le etichette appaiono come,, e. cluster_id instance_id node_type service_name
