CloudWatch Agent für Amazon EMR 7.1.0 konfigurieren

Ab Amazon EMR 7.1.0 können Sie den CloudWatch Amazon-Agenten mithilfe der Amazon-Konfiguration so konfigurieren, dass er zusätzliche Systemmetriken verwendet, Anwendungsmetriken hinzufügt und das Metrikziel ändert. EMR API Weitere Informationen darüber, wie Sie die EMR Konfiguration API zur Konfiguration der Anwendungen Ihres Clusters verwenden können, finden Sie unter Anwendungen konfigurieren.

Anmerkung

7.1.0 unterstützt nur den Rekonfigurationstyp. OVERWRITE Weitere Informationen zu den Rekonfigurationstypen finden Sie unter Überlegungen bei der Neukonfiguration einer Instanzgruppe.

Konfigurationsschema

emr-metricshat die folgenden Klassifizierungen:

• emr-system-metrics— konfiguriert Systemmetriken wie CPU Festplatte und Arbeitsspeicher.

• emr-hadoop-hdfs-datanode-metrics— Hadoop-Metriken DataNode JMX konfigurieren

• emr-hadoop-hdfs-namenode-metrics— Hadoop-Metriken NameNode JMX konfigurieren

• emr-hadoop-yarn-nodemanager-metrics— Yarn-Metriken NodeManager JMX konfigurieren

• emr-hadoop-yarn-resourcemanager-metrics— ResourceManager JMX Yarn-Metriken konfigurieren

• emr-hbase-master-metrics— HBase JMX Master-Metriken konfigurieren

• emr-hbase-region-server-metrics— HBase Region JMX Server-Metriken konfigurieren

• emr-hbase-rest-server-metrics— HBase REST JMX Server-Metriken konfigurieren

• emr-hbase-thrift-server-metrics— HBase Thrift JMX Server-Metriken konfigurieren

In den folgenden Tabellen werden die verfügbaren Eigenschaften und Konfigurationen für alle Klassifizierungen beschrieben.

Eigenschaften von emr-metrics

Eigenschaft	Erforderlich	Beschreibung	Standardwert	Mögliche Werte	Hinweise
metrics_destination	Optional	Legt fest, ob Cluster-Metriken auf Amazon CloudWatch oder Amazon Managed Service for Prometheus veröffentlicht werden.	"CLOUDWATCH"	"CLOUDWATCH", "PROMETHEUS"	Bei dieser Eigenschaft wird nicht zwischen Groß- und Kleinschreibung unterschieden. „Cloudwatch“ ist beispielsweise dasselbe wie "“. CLOUDWATCH
prometheus_endpoint	Optional	Wenn auf "PROMETHEUS" gesetzt metrics_destination ist, konfiguriert diese Eigenschaft den CloudWatch Agenten so, dass er Metriken an den bereitgestellten Remote-Write-Endpunkt von Amazon Managed Service for Prometheus sendet.	N/A	Jeder gültige Amazon Managed Service für Prometheus Remote-Schreibzugriff. URL Das URL Remote-Schreibformat ist https://aps-workspaces.<region>.amazonaws.com/workspaces/<workspace_id>/api/v1/remote_write	Dieses Feld ist erforderlich, wenn metrics_destination es auf "PROMETHEUS" gesetzt ist. Die Bereitstellung schlägt fehl, wenn Sie keinen Schlüssel angeben oder wenn der Wert eine leere Zeichenfolge ist.

emr-system-metrics Eigenschaften

Eigenschaft	Erforderlich	Beschreibung	Standardwert	Mögliche Werte	Hinweise
metrics_collection_interval	Optional	Wie oft in Sekunden Metriken vom CloudWatch Agenten gesammelt und veröffentlicht werden.	„60"	Eine Zeichenfolge, die die Anzahl der Sekunden angibt. Akzeptiert nur ganze Zahlen.	Sie können diese Eigenschaft mit der metrics_collection_interval Eigenschaft einzelner Metrikgruppen überschreiben.

emr-system-metrics Konfigurationen

cpu

Eigenschaft	Erforderlich	Beschreibung	Standardwert	Mögliche Werte	Hinweise
metrics	Optional	Die Liste der CPU Metriken, die der Agent sammeln soll.	Siehe Standardmetriken für CloudWatch Agenten bei Amazon EMR	Eine durch Kommas getrennte Liste gültiger CPU Metriknamen mit oder ohne cpu_ Präfix, z. B. usage_active und. cpu_time_idle Gültige Metriken finden Sie unter Vom CloudWatch Agenten gesammelte Metriken.	Die Angabe einer leeren Zeichenfolge bedeutet, dass keine CPU Metriken veröffentlicht werden.
metrics_collection_interval	Optional	Wie oft in Sekunden sollte der Agent CPU Metriken sammeln und veröffentlichen.	Der Wert des Globalenmetrics_collection_interval.	Eine Zeichenfolge, die die Anzahl der Sekunden angibt. Akzeptiert nur ganze Zahlen.	Dieser Wert überschreibt die globale metrics_collection_interval Eigenschaft nur für CPU Metriken.
drop_original_metrics	Optional	Liste der CPU Metriken, für die keine unaggregierten Metriken veröffentlicht werden sollen.	Keine unaggregierten Metriken veröffentlichtCPU.	Eine durch Kommas getrennte Liste von CPU Metriken, die auch in der Metrik-Eigenschaft angegeben sind. Eine leere Zeichenfolge bedeutet, dass alle CPU Metriken veröffentlicht werden.	Der CloudWatch Agent aggregiert alle Metriken nach Cluster-ID, Instanz-ID, Knotentyp und Dienstname. Standardmäßig veröffentlicht der CloudWatch Agent keine ressourcenspezifischen Metriken für Metriken mit mehreren Ressourcen.
resources	Optional	Legt fest, ob der Agent Metriken pro Kern veröffentlicht.	"*"	„*“ aktiviert Metriken pro Kern. „“ deaktiviert Metriken pro Kern.	Der CloudWatch Agent veröffentlicht nur Metriken pro Kern für CPU Metriken, die nicht hinzugefügt wurden. drop_original_metrics

disk

Eigenschaft	Erforderlich	Beschreibung	Standardwert	Mögliche Werte	Hinweise
metrics	Optional	Die Liste der Festplatten-Metriken, die der Agent sammeln soll.	Siehe Standardmetriken für CloudWatch Agenten bei Amazon EMR	Eine durch Kommas getrennte Liste gültiger Festplattenmetriknamen mit oder ohne disk_ Präfix, z. B. disk_total und. used_percent Gültige Messwerte finden Sie unter Vom CloudWatch Agenten gesammelte Metriken.	Die Angabe einer leeren Zeichenfolge bedeutet, dass keine Festplattenmetriken veröffentlicht werden.
metrics_collection_interval	Optional	Gibt an, wie oft in Sekunden der Agent Festplattenmetriken sammeln und veröffentlichen soll.	Der Wert des globalenmetrics_collection_interval.	Eine Zeichenfolge, die die Anzahl der Sekunden angibt. Akzeptiert nur ganze Zahlen.	Dieser Wert überschreibt die globale metrics_collection_interval Eigenschaft nur für Festplattenmesswerte.
drop_original_metrics	Optional	Liste der Festplattenmesswerte, für die keine unaggregierten Messwerte veröffentlicht werden sollen.	Es wurden keine unaggregierten Festplattenmetriken veröffentlicht.	Eine durch Kommas getrennte Liste von Festplatten-Metriken, die auch in der Metrik-Eigenschaft angegeben sind. Eine leere Zeichenfolge bedeutet, dass alle Festplattenmetriken veröffentlicht werden.	Der CloudWatch Agent aggregiert alle Metriken nach Cluster-ID, Instanz-ID, Knotentyp und Dienstname. Standardmäßig veröffentlicht der CloudWatch Agent keine ressourcenspezifischen Metriken für Metriken mit mehreren Ressourcen.
resources	Optional	Legt fest, ob der Agent per-mount-point Metriken veröffentlicht.	"*"	„*“ bedeutet alle Einhängepunkte, „“ bedeutet keine Einhängepunkte oder eine durch Kommas getrennte Liste von Bereitstellungspunkten. z. B. "/,/emr".	Der CloudWatch Agent veröffentlicht nur per-mount-point Messwerte für Festplattenmetriken, die nicht übernommen wurden. drop_original_metrics

diskio

Eigenschaft	Erforderlich	Beschreibung	Standardwert	Mögliche Werte	Hinweise
metrics	Optional	Die Liste der Festplatten-E/A-Metriken, die der Agent sammeln soll.	Siehe Standardmetriken für CloudWatch Agenten bei Amazon EMR	Eine durch Kommas getrennte Liste gültiger Festplatten-IO-Metriknamen mit oder ohne diskio_ Präfix, z. B. diskio_reads und. writes Gültige Metriken finden Sie unter Vom CloudWatch Agenten gesammelte Metriken.	Die Angabe einer leeren Zeichenfolge bedeutet, dass keine Festplatten-IO-Metriken veröffentlicht werden.
metrics_collection_interval	Optional	Gibt an, wie oft in Sekunden der Agent Festplatten-E/A-Metriken sammeln und veröffentlichen soll.	Der Wert des globalenmetrics_collection_interval.	Eine Zeichenfolge, die die Anzahl der Sekunden angibt. Akzeptiert nur ganze Zahlen.	Dieser Wert überschreibt die globale metrics_collection_interval Eigenschaft nur für Festplatten-E/A-Metriken.
drop_original_metrics	Optional	Liste der Festplatten-IO-Metriken, für die keine unaggregierten Metriken veröffentlicht werden sollen.	Es wurden keine unaggregierten Festplatten-E/A-Metriken veröffentlicht.	Eine durch Kommas getrennte Liste von Festplatten-E/A-Metriken, die auch in der Metrik-Eigenschaft angegeben sind. Eine leere Zeichenfolge bedeutet, dass alle Festplatten-IO-Metriken veröffentlicht werden.	Der CloudWatch Agent aggregiert alle Metriken nach Cluster-ID, Instanz-ID, Knotentyp und Dienstname. Standardmäßig veröffentlicht der CloudWatch Agent keine ressourcenspezifischen Metriken für Metriken mit mehreren Ressourcen.
resources	Optional	Legt fest, ob der Agent Metriken pro Gerät veröffentlicht.	"*"	„*“ bedeutet alle Speichergeräte, „“ bedeutet keine Speichergeräte oder eine durch Kommas getrennte Liste von Gerätenamen. z. B. "nvme0n1,nvme1n1".	Der CloudWatch Agent veröffentlicht nur Metriken pro Gerät für Festplatten-E/A-Metriken, die nicht übernommen wurden. drop_original_metrics

mem

Eigenschaft	Erforderlich	Beschreibung	Standardwert	Mögliche Werte	Hinweise
metrics	Optional	Die Liste der Speichermetriken, die der Agent sammeln soll.	Siehe Standardmetriken für CloudWatch Agenten bei Amazon EMR	Eine durch Kommas getrennte Liste gültiger Speichermetriknamen mit oder ohne mem_ Präfix, z. B. mem_available und. available_percent Gültige Metriken finden Sie unter Vom CloudWatch Agenten gesammelte Metriken.	Die Angabe einer leeren Zeichenfolge bedeutet, dass keine Speichermetriken veröffentlicht werden.
metrics_collection_interval	Optional	Wie oft (in Sekunden) der Agent Speichermetriken sammeln und veröffentlichen soll.	Der Wert des globalenmetrics_collection_interval.	Eine Zeichenfolge, die die Anzahl der Sekunden angibt. Akzeptiert nur ganze Zahlen.	Dieser Wert überschreibt die globale metrics_collection_interval Eigenschaft nur für Speichermetriken.

net

Eigenschaft	Erforderlich	Beschreibung	Standardwert	Mögliche Werte	Hinweise
metrics	Optional	Die Liste der Netzwerkmetriken, die der Agent sammeln soll.	Siehe Standardmetriken für CloudWatch Agenten bei Amazon EMR	Eine durch Kommas getrennte Liste gültiger Netzwerkmetriknamen mit oder ohne net_ Präfix, z. B. net_packets_sent und. packets_recv Gültige Metriken finden Sie unter Vom CloudWatch Agenten gesammelte Metriken.	Die Angabe einer leeren Zeichenfolge bedeutet, dass keine Netzwerkmetriken veröffentlicht werden.
metrics_collection_interval	Optional	Wie oft in Sekunden sollte der Agent Netzwerkmetriken sammeln und veröffentlichen.	Der Wert des Globalenmetrics_collection_interval.	Eine Zeichenfolge, die die Anzahl der Sekunden angibt. Akzeptiert nur ganze Zahlen.	Dieser Wert überschreibt die globale metrics_collection_interval Eigenschaft nur für Netzwerkmetriken.
drop_original_metrics	Optional	Liste der Netzwerkmetriken, für die keine unaggregierten Messwerte veröffentlicht werden sollen.	Es wurden keine unaggregierten Netzwerkmetriken veröffentlicht.	Eine durch Kommas getrennte Liste von Netzwerkmetriken, die auch in der Metrik-Eigenschaft angegeben sind. Eine leere Zeichenfolge bedeutet, dass alle Netzwerkmetriken veröffentlicht werden.	Der CloudWatch Agent aggregiert alle Metriken nach Cluster-ID, Instanz-ID, Knotentyp und Dienstname. Standardmäßig veröffentlicht der CloudWatch Agent keine ressourcenspezifischen Metriken für Metriken mit mehreren Ressourcen.
resources	Optional	Legt fest, ob der Agent Metriken pro Schnittstelle veröffentlicht.	"*"	„*“ bedeutet alle Netzwerkschnittstellen, „“ bedeutet keine Netzwerkschnittstellen oder eine durch Kommas getrennte Liste von Schnittstellennamen. z. B. "eth0,eth1".	Der CloudWatch Agent veröffentlicht nur Schnittstellen-Metriken für Netzwerkmetriken, die nicht hinzugefügt wurden. drop_original_metrics

netstat

Eigenschaft	Erforderlich	Beschreibung	Standardwert	Mögliche Werte	Hinweise
metrics	Optional	Die Liste der Netzwerkstatistik-Metriken, die der Agent sammeln soll.	Siehe Standardmetriken für CloudWatch Agenten bei Amazon EMR	Eine durch Kommas getrennte Liste gültiger Speichermetriknamen mit oder ohne netstat_ Präfix, z. B. tcp_listen und. netstat_udp_socket Gültige Metriken finden Sie unter Vom CloudWatch Agenten gesammelte Metriken.	Die Angabe einer leeren Zeichenfolge bedeutet, dass keine Netzwerkstatistik-Metriken veröffentlicht werden.
metrics_collection_interval	Optional	Wie oft in Sekunden sollte der Agent Netzwerkstatistikmetriken sammeln und veröffentlichen.	Der Wert des metrics_collection_interval Globalen.	Eine Zeichenfolge, die die Anzahl der Sekunden angibt. Akzeptiert nur ganze Zahlen.	Dieser Wert überschreibt die globale metrics_collection_interval Eigenschaft nur für Netzwerkstatistikmetriken.

processes

Eigenschaft	Erforderlich	Beschreibung	Standardwert	Mögliche Werte	Hinweise
metrics	Optional	Die Liste der Prozessmetriken, die der Agent sammeln soll.	Siehe Standardmetriken für CloudWatch Agenten bei Amazon EMR	Eine durch Kommas getrennte Liste gültiger Speichermetriknamen mit oder ohne processes_ Präfix, z. B. processes_running und. total Gültige Metriken finden Sie unter Vom CloudWatch Agenten gesammelte Metriken.	Die Angabe einer leeren Zeichenfolge bedeutet, dass keine Prozessmetriken veröffentlicht werden.
metrics_collection_interval	Optional	Wie oft in Sekunden sollte der Agent Systemprozessmetriken sammeln und veröffentlichen.	Der Wert des Globalenmetrics_collection_interval.	Eine Zeichenfolge, die die Anzahl der Sekunden angibt. Akzeptiert nur ganze Zahlen.	Dieser Wert überschreibt die globale metrics_collection_interval Eigenschaft nur für Systemprozessmetriken.

swap

Eigenschaft	Erforderlich	Beschreibung	Standardwert	Mögliche Werte	Hinweise
metrics	Optional	Die Liste der Swap-Metriken, die der Agent sammeln soll.	Siehe Standardmetriken für CloudWatch Agenten bei Amazon EMR	Eine durch Kommas getrennte Liste gültiger Speichermetriknamen mit oder ohne swap_ Präfix, z. B. swap_free und. used_percent Gültige Metriken finden Sie unter Vom CloudWatch Agenten gesammelte Metriken.	Die Angabe einer leeren Zeichenfolge bedeutet, dass keine Swap-Metriken veröffentlicht werden.
metrics_collection_interval	Optional	Wie oft in Sekunden sollte der Agent Swap-Metriken sammeln und veröffentlichen.	Der Wert des Globalenmetrics_collection_interval.	Eine Zeichenfolge, die die Anzahl der Sekunden angibt. Akzeptiert nur ganze Zahlen.	Dieser Wert überschreibt die globale metrics_collection_interval Eigenschaft nur für Swap-Metriken.

emr-hadoop-hdfs-datanodeEigenschaften von -metrics

Eigenschaft	Erforderlich	Beschreibung	Standardwert	Mögliche Werte
<custom_bean_name>	Optional	N/A	Der CloudWatch AgentMBean, von dem dieser Agent Metriken sammeln soll, z. B. Hadoop:service=DataNode,name=DataNodeActivity Die MBean Namen der Proben und die entsprechenden Messwerte finden Sie in den JMXYAMLBeispieldateien für EMR Amazon-Version 7.0.	Eine Zeichenfolge, die die kommagetrennte Liste der Metriken enthält, die mit dem verknüpft sind. MBean z. B. BlocksCached,BlocksRead.
otel.metric.export.interval	Optional	Wie oft in Millisekunden Hadoop-Metriken erfasst werden sollen. DataNode	„60000"	Eine Zeichenfolge, die die Anzahl der Millisekunden angibt. Akzeptiert nur ganze Zahlen.

emr-hadoop-hdfs-namenodeEigenschaften von -metrics

Eigenschaft	Erforderlich	Beschreibung	Standardwert	Mögliche Werte
<custom_bean_name>	Optional	N/A	Der CloudWatch AgentMBean, von dem dieser Agent Metriken sammeln soll, z. B. Hadoop:service=NameNode,name=FSNamesystem Die MBean Namen der Proben und die entsprechenden Messwerte finden Sie in den JMXYAMLBeispieldateien für EMR Amazon-Version 7.0.	Eine Zeichenfolge, die die kommagetrennte Liste der Metriken enthält, die mit dem verknüpft sind. MBean z. B. BlockCapacity,CapacityUsedGB.
otel.metric.export.interval	Optional	Wie oft in Millisekunden Hadoop-Metriken erfasst werden sollen. NameNode	„60000"	Eine Zeichenfolge, die die Anzahl der Millisekunden angibt. Akzeptiert nur ganze Zahlen.

emr-hadoop-yarn-nodemanagerEigenschaften von -metrics

Eigenschaft	Erforderlich	Beschreibung	Standardwert	Mögliche Werte
<custom_bean_name>	Optional	N/A	Der CloudWatch AgentMBean, von dem dieser Agent Metriken sammeln soll, z. B. Hadoop:service=NodeManager,name=NodeManagerMetrics Die MBean Namen der Proben und die entsprechenden Messwerte finden Sie in den JMXYAMLBeispieldateien für EMR Amazon-Version 7.0.	Eine Zeichenfolge, die die kommagetrennte Liste der Metriken enthält, die mit dem verknüpft sind. MBean z. B. MaxCapacity,AllocatedGB.
otel.metric.export.interval	Optional	Wie oft in Millisekunden Hadoop-Metriken erfasst werden sollen. YARN NodeManager	„60000"	Eine Zeichenfolge, die die Anzahl der Millisekunden angibt. Akzeptiert nur ganze Zahlen.

emr-hadoop-yarn-resourcemanagerEigenschaften von -metrics

Eigenschaft	Erforderlich	Beschreibung	Standardwert	Mögliche Werte
<custom_bean_name>	Optional	N/A	Der CloudWatch AgentMBean, von dem dieser Agent Metriken sammeln soll, z. B. Hadoop:service=ResourceManager,name=PartitionQueueMetrics Die MBean Namen der Proben und die entsprechenden Messwerte finden Sie in den JMXYAMLBeispieldateien für EMR Amazon-Version 7.0.	Eine Zeichenfolge, die die kommagetrennte Liste der Metriken enthält, die mit dem verknüpft sind. MBean z. B. MaxCapacity,MaxCapacityVCores.
otel.metric.export.interval	Optional	Wie oft in Millisekunden Hadoop-Metriken erfasst werden sollen. YARN ResourceManager	„60000"	Eine Zeichenfolge, die die Anzahl der Millisekunden angibt. Akzeptiert nur ganze Zahlen.

emr-hbase-master-metrics Eigenschaften

Eigenschaft	Erforderlich	Beschreibung	Standardwert	Mögliche Werte
<custom_bean_name>	Optional	N/A	Die PersonMBean, von der der CloudWatch Agent Metriken sammeln soll, wie Hadoop:service=HBase,name=Master,sub=AssignmentManager z. Die MBean Namen der Proben und die entsprechenden Messwerte finden Sie in den JMXYAMLBeispieldateien für EMR Amazon-Version 7.0.	Eine Zeichenfolge, die die kommagetrennte Liste der Metriken enthält, die mit dem verknüpft sind. MBean z. B. AssignFailedCount,AssignSubmittedCount.
otel.metric.export.interval	Optional	Wie oft in Millisekunden Master-Metriken erfasst werden sollen. HBase	„60000"	Eine Zeichenfolge, die die Anzahl der Millisekunden angibt. Akzeptiert nur ganze Zahlen.

emr-hbase-region-serverEigenschaften von -metrics

Eigenschaft	Erforderlich	Beschreibung	Standardwert	Mögliche Werte
<custom_bean_name>	Optional	N/A	Der CloudWatch AgentMBean, von dem dieser Agent Metriken sammeln soll, z. B. Hadoop:service=HBase,name=RegionServer,sub=IPC Die MBean Namen der Proben und die entsprechenden Messwerte finden Sie in den JMXYAMLBeispieldateien für EMR Amazon-Version 7.0.	Eine Zeichenfolge, die die kommagetrennte Liste der Metriken enthält, die mit dem verknüpft sind. MBean z. B. numActiveHandler,numActivePriorityHandler.
otel.metric.export.interval	Optional	Wie oft in Millisekunden Regionsserver-Metriken erfasst werden sollen. HBase	„60000"	Eine Zeichenfolge, die die Anzahl der Millisekunden angibt. Akzeptiert nur ganze Zahlen.

emr-hbase-rest-serverEigenschaften von -metrics

Eigenschaft	Erforderlich	Beschreibung	Standardwert	Mögliche Werte
<custom_bean_name>	Optional	N/A	Der CloudWatch AgentMBean, von dem dieser Agent Metriken sammeln soll, z. B. Hadoop:service=HBase,name=REST Die MBean Namen der Proben und die entsprechenden Messwerte finden Sie in den JMXYAMLBeispieldateien für EMR Amazon-Version 7.0.	Eine Zeichenfolge, die die kommagetrennte Liste der Metriken enthält, die mit dem verknüpft sind. MBean z. B. successfulPut,successfulScanCount.
otel.metric.export.interval	Optional	Wie oft in Millisekunden Rest-Server-Metriken erfasst werden sollen. HBase	„60000"	Eine Zeichenfolge, die die Anzahl der Millisekunden angibt. Akzeptiert nur ganze Zahlen.

emr-hbase-thrift-serverEigenschaften von -metrics

Eigenschaft	Erforderlich	Beschreibung	Standardwert	Mögliche Werte
<custom_bean_name>	Optional	N/A	Der CloudWatch AgentMBean, von dem dieser Agent Metriken sammeln soll, z. B. Hadoop:service=HBase,name=Thrift,sub=ThriftOne Die MBean Namen der Proben und die entsprechenden Messwerte finden Sie in den JMXYAMLBeispieldateien für EMR Amazon-Version 7.0.	Eine Zeichenfolge, die die kommagetrennte Liste der Metriken enthält, die mit dem verknüpft sind. MBean z. B. BatchGet_max,BatchGet_mean.
otel.metric.export.interval	Optional	Wie oft in Millisekunden Thrift-Servermetriken erfasst werden sollen. HBase	„60000"	Eine Zeichenfolge, die die Anzahl der Millisekunden angibt. Akzeptiert nur ganze Zahlen.

Beispiele für Konfigurationen von Systemmetriken

Das folgende Beispiel zeigt, wie der CloudWatch Agent so konfiguriert wird, dass der Export aller Systemmetriken beendet wird.

[
  {
    "Classification": "emr-metrics",
    "Properties": {},
    "Configurations": [
      {
        "Classification": "emr-system-metrics",
        "Properties": {},
        "Configurations": []
      }
    ]
  }
]

Im folgenden Beispiel wird der CloudWatch Agent so konfiguriert, dass er die Standard-Systemmetriken exportiert. Auf diese Weise können Sie den Agenten schnell wieder auf den Export der Standard-Systemmetriken zurücksetzen, wenn Sie die Systemmetriken bereits mindestens einmal neu konfiguriert haben. Durch diesen Reset werden auch alle Anwendungsmetriken entfernt, die zuvor neu konfiguriert wurden.

[
  {
    "Classification": "emr-metrics",
    "Properties": {},
    "Configurations": []
  }
]

Im folgenden Beispiel wird der Cluster so konfiguriert, dass er die cpumem, und die disk Metriken exportiert.

[
  {
    "Classification": "emr-metrics",
    "Properties": {},
    "Configurations": [
      {
        "Classification": "emr-system-metrics",
        "Properties": {
          "metrics_collection_interval": "20"
        },
        "Configurations": [
          {
            "Classification": "cpu",
            "Properties": {
              "metrics": "cpu_usage_guest,cpu_usage_idle",
              "metrics_collection_interval": "30",
              "drop_original_metrics": "cpu_usage_guest"
            }
          },
          {
            "Classification": "mem",
            "Properties": {
              "metrics": "mem_active"
            }
          },
           {
            "Classification": "disk",
            "Properties": {
              "metrics": "disk_used_percent",
              "resources": "/,/mnt",
              "drop_original_metrics": ""
            }
          }
        ]
      }
    ]
  }
]

Die vorherige Beispielkonfiguration hat die folgenden Eigenschaften:

• Alle 30 Sekunden erfasst der Agent die cpu_guest Metrik für alleCPUs. Sie finden die aggregierte Metrik unter dem CloudWatch CWAgent > cluster.id, instance.id, node.type, service.name Namespace.

• Alle 30 Sekunden sammelt der Agent die cpu_idle Metrik für alle. CPUs Sie finden die aggregierte Metrik unter dem CloudWatch CWAgent > cluster.id, instance.id, node.type, service.name Namespace. Der Agent sammelt auch die Metriken pro CPU. Sie finden sie im selben Namespace. Der Agent sammelt diese Metrik, weil die drop_original_metrics Eigenschaft nichts enthältcpu_idle, sodass der Agent die Metrik nicht ignoriert.

• Alle 20 Sekunden erfasst der Agent die mem_active Metrik. Sie finden die aggregierte Metrik unter dem CloudWatch CWAgent > cluster.id, instance.id, node.type, service.name Namespace.

• Alle 20 Sekunden erfasst der Agent die disk_used_percent Metriken für die / und die /mnt Festplatten-Mounts. Sie finden die aggregierten Metriken unter dem CloudWatch Namespace. CWAgent > cluster.id, instance.id, node.type, service.name Der Agent sammelt auch die Metriken pro Mount. Sie finden sie im selben Namespace. Der Agent sammelt diese Metrik, weil die drop_original_metrics Eigenschaft nichts enthältdisk_used_percent, sodass der Agent die Metrik nicht ignoriert.

Beispiele für Konfigurationen von Anwendungsmetriken

Im folgenden Beispiel wird der CloudWatch Agent so konfiguriert, dass der Export von Metriken für den Hadoop Namenode-Dienst beendet wird.

[
  {
    "Classification": "emr-metrics",
    "Properties": {},
    "Configurations": [
      {
        "Classification": "emr-hadoop-hdfs-namenode-metrics",
        "Properties": {},
        "Configurations": []
      }
    ]
  }
]

Im folgenden Beispiel wird ein Cluster für den Export von Hadoop-Anwendungsmetriken konfiguriert.

[
  {
    "Classification": "emr-metrics",
    "Properties": {},
    "Configurations": [
      {
        "Classification": "emr-hadoop-hdfs-namenode-metrics",
        "Properties": {
          "Hadoop:service=NameNode,name=FSNamesystem": "BlockCapacity,CapacityUsedGB",
          "otel.metric.export.interval": "20000" 
        },
        "Configurations": []
      },
       {
        "Classification": "emr-hadoop-hdfs-datanode-metrics",
        "Properties": {
          "Hadoop:service=DataNode,name=JvmMetrics": "MemNonHeapUsedM",
          "otel.metric.export.interval": "30000" 
        },
        "Configurations": []
      },
       {
        "Classification": "emr-hadoop-yarn-resourcemanager-metrics",
        "Properties": {
          "Hadoop:service=ResourceManager,name=CapacitySchedulerMetrics": "AllocateNumOps,NodeUpdateNumOps"
        },
        "Configurations": []
      }
    ]
  }
]

Das vorherige Beispiel hat die folgenden Eigenschaften:

• Alle 20 Sekunden sammelt der Agent die BlockCapacity und CapacityUsedGB -Metriken von Instanzen, auf denen der Hadoop Namenode-Dienst ausgeführt wird.

• Alle 30 Sekunden sammelt der Agent MemNonHeapUsedM Metriken von Instanzen, auf denen der Hadoop Datanode-Dienst ausgeführt wird.

• Alle 30 Sekunden sammelt der Agent die NodeUpdateNumOps Metriken AllocateNumOps und die Metriken von Instanzen, auf denen Hadoop ausgeführt wird. YARN ResourceManaager

Beispiel für Amazon Managed Service für Prometheus

Das folgende Beispiel zeigt, wie der CloudWatch Agent so konfiguriert wird, dass er Metriken nach Amazon Managed Service for Prometheus exportiert.

Wenn Sie derzeit Metriken nach Amazon Managed Service for Prometheus exportieren und die Metriken für den Cluster neu konfigurieren und weiterhin Metriken nach Amazon Managed Service for Prometheus exportieren möchten, müssen Sie die Eigenschaften und angeben. metrics_destination prometheus_endpoint

[
  {
    "Classification": "emr-metrics",
    "Properties": {
      "metrics_destination": "prometheus",
      "prometheus_endpoint": "http://amp-workspace/api/v1/remote_write"
    },
    "Configurations": []
  }
]

Verwenden Sie das folgende Beispiel, um den CloudWatch Agenten zum Exportieren von Metriken zu CloudWatch verwenden.

[
  {
    "Classification": "emr-metrics",
    "Properties": {
      "metrics_destination": "cloudwatch"
    },
    "Configurations": []
  }
]

Anmerkung

Der CloudWatch Agent verfügt über einen Prometheus-Exporter, der bestimmte Attribute umbenennt. Für die Standardkennzahlen verwendet Amazon Managed Service for Prometheus Unterstriche anstelle der Punkte, die Amazon verwendet. CloudWatch Wenn Sie Amazon Managed Grafana verwenden, um die Standardmetriken in Amazon Managed Service for Prometheus zu visualisieren, werden die Bezeichnungen alscluster_id,instance_id, node_type und angezeigt. service_name