Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
CloudWatch Agent für Amazon EMR 7.1.0 konfigurieren
Ab Amazon EMR 7.1.0 können Sie den CloudWatch Amazon-Agenten mithilfe der Amazon-Konfiguration so konfigurieren, dass er zusätzliche Systemmetriken verwendet, Anwendungsmetriken hinzufügt und das Metrikziel ändert. EMR API Weitere Informationen darüber, wie Sie die EMR Konfiguration API zur Konfiguration der Anwendungen Ihres Clusters verwenden können, finden Sie unter Anwendungen konfigurieren.
Anmerkung
7.1.0 unterstützt nur den Rekonfigurationstyp. OVERWRITE
Weitere Informationen zu den Rekonfigurationstypen finden Sie unter Überlegungen bei der Neukonfiguration einer Instanzgruppe.
Themen
Konfigurationsschema
emr-metrics
hat die folgenden Klassifizierungen:
-
emr-system-metrics
— konfiguriert Systemmetriken wie CPU Festplatte und Arbeitsspeicher. -
emr-hadoop-hdfs-datanode-metrics
— Hadoop-Metriken DataNode JMX konfigurieren -
emr-hadoop-hdfs-namenode-metrics
— Hadoop-Metriken NameNode JMX konfigurieren -
emr-hadoop-yarn-nodemanager-metrics
— Yarn-Metriken NodeManager JMX konfigurieren -
emr-hadoop-yarn-resourcemanager-metrics
— ResourceManager JMX Yarn-Metriken konfigurieren -
emr-hbase-master-metrics
— HBase JMX Master-Metriken konfigurieren -
emr-hbase-region-server-metrics
— HBase Region JMX Server-Metriken konfigurieren -
emr-hbase-rest-server-metrics
— HBase REST JMX Server-Metriken konfigurieren -
emr-hbase-thrift-server-metrics
— HBase Thrift JMX Server-Metriken konfigurieren
In den folgenden Tabellen werden die verfügbaren Eigenschaften und Konfigurationen für alle Klassifizierungen beschrieben.
Eigenschaften von emr-metrics
Eigenschaft | Erforderlich | Beschreibung | Standardwert | Mögliche Werte | Hinweise |
---|---|---|---|---|---|
metrics_destination |
Optional | Legt fest, ob Cluster-Metriken auf Amazon CloudWatch oder Amazon Managed Service for Prometheus veröffentlicht werden. | "CLOUDWATCH" | "CLOUDWATCH", "PROMETHEUS" | Bei dieser Eigenschaft wird nicht zwischen Groß- und Kleinschreibung unterschieden. „Cloudwatch“ ist beispielsweise dasselbe wie "“. CLOUDWATCH |
prometheus_endpoint |
Optional | Wenn auf "PROMETHEUS" gesetzt metrics_destination ist, konfiguriert diese Eigenschaft den CloudWatch Agenten so, dass er Metriken an den bereitgestellten Remote-Write-Endpunkt von Amazon Managed Service for Prometheus sendet. |
N/A | Jeder gültige Amazon Managed Service für Prometheus Remote-Schreibzugriff. URL Das URL Remote-Schreibformat ist
|
Dieses Feld ist erforderlich, wenn metrics_destination es auf "PROMETHEUS" gesetzt ist. Die Bereitstellung schlägt fehl, wenn Sie keinen Schlüssel angeben oder wenn der Wert eine leere Zeichenfolge ist. |
emr-system-metrics Eigenschaften
Eigenschaft | Erforderlich | Beschreibung | Standardwert | Mögliche Werte | Hinweise |
---|---|---|---|---|---|
metrics_collection_interval |
Optional | Wie oft in Sekunden Metriken vom CloudWatch Agenten gesammelt und veröffentlicht werden. | „60" | Eine Zeichenfolge, die die Anzahl der Sekunden angibt. Akzeptiert nur ganze Zahlen. | Sie können diese Eigenschaft mit der metrics_collection_interval Eigenschaft einzelner Metrikgruppen überschreiben. |
emr-system-metrics Konfigurationen
emr-hadoop-hdfs-datanodeEigenschaften von -metrics
Eigenschaft | Erforderlich | Beschreibung | Standardwert | Mögliche Werte |
---|---|---|---|---|
|
Optional | N/A | Der CloudWatch AgentMBean, von dem dieser Agent Metriken sammeln soll, z. B. Hadoop:service=DataNode,name=DataNodeActivity Die MBean Namen der Proben und die entsprechenden Messwerte finden Sie in den JMXYAMLBeispieldateien |
Eine Zeichenfolge, die die kommagetrennte Liste der Metriken enthält, die mit dem verknüpft sind. MBean z. B. BlocksCached,BlocksRead . |
otel.metric.export.interval |
Optional | Wie oft in Millisekunden Hadoop-Metriken erfasst werden sollen. DataNode | „60000" | Eine Zeichenfolge, die die Anzahl der Millisekunden angibt. Akzeptiert nur ganze Zahlen. |
emr-hadoop-hdfs-namenodeEigenschaften von -metrics
Eigenschaft | Erforderlich | Beschreibung | Standardwert | Mögliche Werte |
---|---|---|---|---|
|
Optional | N/A | Der CloudWatch AgentMBean, von dem dieser Agent Metriken sammeln soll, z. B. Hadoop:service=NameNode,name=FSNamesystem Die MBean Namen der Proben und die entsprechenden Messwerte finden Sie in den JMXYAMLBeispieldateien |
Eine Zeichenfolge, die die kommagetrennte Liste der Metriken enthält, die mit dem verknüpft sind. MBean z. B. BlockCapacity,CapacityUsedGB . |
otel.metric.export.interval |
Optional | Wie oft in Millisekunden Hadoop-Metriken erfasst werden sollen. NameNode | „60000" | Eine Zeichenfolge, die die Anzahl der Millisekunden angibt. Akzeptiert nur ganze Zahlen. |
emr-hadoop-yarn-nodemanagerEigenschaften von -metrics
Eigenschaft | Erforderlich | Beschreibung | Standardwert | Mögliche Werte |
---|---|---|---|---|
|
Optional | N/A | Der CloudWatch AgentMBean, von dem dieser Agent Metriken sammeln soll, z. B. Hadoop:service=NodeManager,name=NodeManagerMetrics Die MBean Namen der Proben und die entsprechenden Messwerte finden Sie in den JMXYAMLBeispieldateien |
Eine Zeichenfolge, die die kommagetrennte Liste der Metriken enthält, die mit dem verknüpft sind. MBean z. B. MaxCapacity,AllocatedGB . |
otel.metric.export.interval |
Optional | Wie oft in Millisekunden Hadoop-Metriken erfasst werden sollen. YARN NodeManager | „60000" | Eine Zeichenfolge, die die Anzahl der Millisekunden angibt. Akzeptiert nur ganze Zahlen. |
emr-hadoop-yarn-resourcemanagerEigenschaften von -metrics
Eigenschaft | Erforderlich | Beschreibung | Standardwert | Mögliche Werte |
---|---|---|---|---|
|
Optional | N/A | Der CloudWatch AgentMBean, von dem dieser Agent Metriken sammeln soll, z. B. Hadoop:service=ResourceManager,name=PartitionQueueMetrics Die MBean Namen der Proben und die entsprechenden Messwerte finden Sie in den JMXYAMLBeispieldateien |
Eine Zeichenfolge, die die kommagetrennte Liste der Metriken enthält, die mit dem verknüpft sind. MBean z. B. MaxCapacity,MaxCapacityVCores . |
otel.metric.export.interval |
Optional | Wie oft in Millisekunden Hadoop-Metriken erfasst werden sollen. YARN ResourceManager | „60000" | Eine Zeichenfolge, die die Anzahl der Millisekunden angibt. Akzeptiert nur ganze Zahlen. |
emr-hbase-master-metrics Eigenschaften
Eigenschaft | Erforderlich | Beschreibung | Standardwert | Mögliche Werte |
---|---|---|---|---|
|
Optional | N/A | Die PersonMBean, von der der CloudWatch Agent Metriken sammeln soll, wie Hadoop:service=HBase,name=Master,sub=AssignmentManager z. Die MBean Namen der Proben und die entsprechenden Messwerte finden Sie in den JMXYAMLBeispieldateien |
Eine Zeichenfolge, die die kommagetrennte Liste der Metriken enthält, die mit dem verknüpft sind. MBean z. B. AssignFailedCount,AssignSubmittedCount . |
otel.metric.export.interval |
Optional | Wie oft in Millisekunden Master-Metriken erfasst werden sollen. HBase | „60000" | Eine Zeichenfolge, die die Anzahl der Millisekunden angibt. Akzeptiert nur ganze Zahlen. |
emr-hbase-region-serverEigenschaften von -metrics
Eigenschaft | Erforderlich | Beschreibung | Standardwert | Mögliche Werte |
---|---|---|---|---|
|
Optional | N/A | Der CloudWatch AgentMBean, von dem dieser Agent Metriken sammeln soll, z. B. Hadoop:service=HBase,name=RegionServer,sub=IPC Die MBean Namen der Proben und die entsprechenden Messwerte finden Sie in den JMXYAMLBeispieldateien |
Eine Zeichenfolge, die die kommagetrennte Liste der Metriken enthält, die mit dem verknüpft sind. MBean z. B. numActiveHandler,numActivePriorityHandler . |
otel.metric.export.interval |
Optional | Wie oft in Millisekunden Regionsserver-Metriken erfasst werden sollen. HBase | „60000" | Eine Zeichenfolge, die die Anzahl der Millisekunden angibt. Akzeptiert nur ganze Zahlen. |
emr-hbase-rest-serverEigenschaften von -metrics
Eigenschaft | Erforderlich | Beschreibung | Standardwert | Mögliche Werte |
---|---|---|---|---|
|
Optional | N/A | Der CloudWatch AgentMBean, von dem dieser Agent Metriken sammeln soll, z. B. Hadoop:service=HBase,name=REST Die MBean Namen der Proben und die entsprechenden Messwerte finden Sie in den JMXYAMLBeispieldateien |
Eine Zeichenfolge, die die kommagetrennte Liste der Metriken enthält, die mit dem verknüpft sind. MBean z. B. successfulPut,successfulScanCount . |
otel.metric.export.interval |
Optional | Wie oft in Millisekunden Rest-Server-Metriken erfasst werden sollen. HBase | „60000" | Eine Zeichenfolge, die die Anzahl der Millisekunden angibt. Akzeptiert nur ganze Zahlen. |
emr-hbase-thrift-serverEigenschaften von -metrics
Eigenschaft | Erforderlich | Beschreibung | Standardwert | Mögliche Werte |
---|---|---|---|---|
|
Optional | N/A | Der CloudWatch AgentMBean, von dem dieser Agent Metriken sammeln soll, z. B. Hadoop:service=HBase,name=Thrift,sub=ThriftOne Die MBean Namen der Proben und die entsprechenden Messwerte finden Sie in den JMXYAMLBeispieldateien |
Eine Zeichenfolge, die die kommagetrennte Liste der Metriken enthält, die mit dem verknüpft sind. MBean z. B. BatchGet_max,BatchGet_mean . |
otel.metric.export.interval |
Optional | Wie oft in Millisekunden Thrift-Servermetriken erfasst werden sollen. HBase | „60000" | Eine Zeichenfolge, die die Anzahl der Millisekunden angibt. Akzeptiert nur ganze Zahlen. |
Beispiele für Konfigurationen von Systemmetriken
Das folgende Beispiel zeigt, wie der CloudWatch Agent so konfiguriert wird, dass der Export aller Systemmetriken beendet wird.
[ { "Classification": "emr-metrics", "Properties": {}, "Configurations": [ { "Classification": "emr-system-metrics", "Properties": {}, "Configurations": [] } ] } ]
Im folgenden Beispiel wird der CloudWatch Agent so konfiguriert, dass er die Standard-Systemmetriken exportiert. Auf diese Weise können Sie den Agenten schnell wieder auf den Export der Standard-Systemmetriken zurücksetzen, wenn Sie die Systemmetriken bereits mindestens einmal neu konfiguriert haben. Durch diesen Reset werden auch alle Anwendungsmetriken entfernt, die zuvor neu konfiguriert wurden.
[ { "Classification": "emr-metrics", "Properties": {}, "Configurations": [] } ]
Im folgenden Beispiel wird der Cluster so konfiguriert, dass er die cpu
mem
, und die disk
Metriken exportiert.
[ { "Classification": "emr-metrics", "Properties": {}, "Configurations": [ { "Classification": "emr-system-metrics", "Properties": { "metrics_collection_interval": "20" }, "Configurations": [ { "Classification": "cpu", "Properties": { "metrics": "cpu_usage_guest,cpu_usage_idle", "metrics_collection_interval": "30", "drop_original_metrics": "cpu_usage_guest" } }, { "Classification": "mem", "Properties": { "metrics": "mem_active" } }, { "Classification": "disk", "Properties": { "metrics": "disk_used_percent", "resources": "/,/mnt", "drop_original_metrics": "" } } ] } ] } ]
Die vorherige Beispielkonfiguration hat die folgenden Eigenschaften:
-
Alle 30 Sekunden erfasst der Agent die
cpu_guest
Metrik für alleCPUs. Sie finden die aggregierte Metrik unter dem CloudWatchCWAgent > cluster.id, instance.id, node.type, service.name
Namespace. -
Alle 30 Sekunden sammelt der Agent die
cpu_idle
Metrik für alle. CPUs Sie finden die aggregierte Metrik unter dem CloudWatchCWAgent > cluster.id, instance.id, node.type, service.name
Namespace. Der Agent sammelt auch die Metriken pro CPU. Sie finden sie im selben Namespace. Der Agent sammelt diese Metrik, weil diedrop_original_metrics
Eigenschaft nichts enthältcpu_idle
, sodass der Agent die Metrik nicht ignoriert. -
Alle 20 Sekunden erfasst der Agent die
mem_active
Metrik. Sie finden die aggregierte Metrik unter dem CloudWatchCWAgent > cluster.id, instance.id, node.type, service.name
Namespace. -
Alle 20 Sekunden erfasst der Agent die
disk_used_percent
Metriken für die/
und die/mnt
Festplatten-Mounts. Sie finden die aggregierten Metriken unter dem CloudWatch Namespace.CWAgent > cluster.id, instance.id, node.type, service.name
Der Agent sammelt auch die Metriken pro Mount. Sie finden sie im selben Namespace. Der Agent sammelt diese Metrik, weil diedrop_original_metrics
Eigenschaft nichts enthältdisk_used_percent
, sodass der Agent die Metrik nicht ignoriert.
Beispiele für Konfigurationen von Anwendungsmetriken
Im folgenden Beispiel wird der CloudWatch Agent so konfiguriert, dass der Export von Metriken für den Hadoop Namenode-Dienst beendet wird.
[ { "Classification": "emr-metrics", "Properties": {}, "Configurations": [ { "Classification": "emr-hadoop-hdfs-namenode-metrics", "Properties": {}, "Configurations": [] } ] } ]
Im folgenden Beispiel wird ein Cluster für den Export von Hadoop-Anwendungsmetriken konfiguriert.
[ { "Classification": "emr-metrics", "Properties": {}, "Configurations": [ { "Classification": "emr-hadoop-hdfs-namenode-metrics", "Properties": { "Hadoop:service=NameNode,name=FSNamesystem": "BlockCapacity,CapacityUsedGB", "otel.metric.export.interval": "20000" }, "Configurations": [] }, { "Classification": "emr-hadoop-hdfs-datanode-metrics", "Properties": { "Hadoop:service=DataNode,name=JvmMetrics": "MemNonHeapUsedM", "otel.metric.export.interval": "30000" }, "Configurations": [] }, { "Classification": "emr-hadoop-yarn-resourcemanager-metrics", "Properties": { "Hadoop:service=ResourceManager,name=CapacitySchedulerMetrics": "AllocateNumOps,NodeUpdateNumOps" }, "Configurations": [] } ] } ]
Das vorherige Beispiel hat die folgenden Eigenschaften:
-
Alle 20 Sekunden sammelt der Agent die
BlockCapacity
undCapacityUsedGB
-Metriken von Instanzen, auf denen der Hadoop Namenode-Dienst ausgeführt wird. -
Alle 30 Sekunden sammelt der Agent
MemNonHeapUsedM
Metriken von Instanzen, auf denen der Hadoop Datanode-Dienst ausgeführt wird. -
Alle 30 Sekunden sammelt der Agent die
NodeUpdateNumOps
MetrikenAllocateNumOps
und die Metriken von Instanzen, auf denen Hadoop ausgeführt wird. YARN ResourceManaager
Beispiel für Amazon Managed Service für Prometheus
Das folgende Beispiel zeigt, wie der CloudWatch Agent so konfiguriert wird, dass er Metriken nach Amazon Managed Service for Prometheus exportiert.
Wenn Sie derzeit Metriken nach Amazon Managed Service for Prometheus exportieren und die Metriken für den Cluster neu konfigurieren und weiterhin Metriken nach Amazon Managed Service for Prometheus exportieren möchten, müssen Sie die Eigenschaften und angeben. metrics_destination
prometheus_endpoint
[ { "Classification": "emr-metrics", "Properties": { "metrics_destination": "prometheus", "prometheus_endpoint": "http://amp-workspace/api/v1/remote_write" }, "Configurations": [] } ]
Verwenden Sie das folgende Beispiel, um den CloudWatch Agenten zum Exportieren von Metriken zu CloudWatch verwenden.
[ { "Classification": "emr-metrics", "Properties": { "metrics_destination": "cloudwatch" }, "Configurations": [] } ]
Anmerkung
Der CloudWatch Agent verfügt über einen Prometheus-Exporter, der bestimmte Attribute umbenennt. Für die Standardkennzahlen verwendet Amazon Managed Service for Prometheus Unterstriche anstelle der Punkte, die Amazon verwendet. CloudWatch Wenn Sie Amazon Managed Grafana verwenden, um die Standardmetriken in Amazon Managed Service for Prometheus zu visualisieren, werden die Bezeichnungen alscluster_id
,instance_id
, node_type
und angezeigt. service_name