Konfigurasikan CloudWatch agen untuk Amazon EMR 7.1.0

Dimulai dengan Amazon EMR 7.1.0, Anda dapat mengonfigurasi CloudWatch agen Amazon untuk menggunakan metrik sistem tambahan, menambahkan metrik aplikasi, dan mengubah tujuan metrik dengan menggunakan API konfigurasi Amazon EMR. Untuk informasi selengkapnya tentang cara menggunakan API konfigurasi EMR untuk mengonfigurasi aplikasi klaster Anda, lihat Mengonfigurasi aplikasi.

catatan

7.1.0 hanya mendukung tipe konfigurasi ulang. OVERWRITE Untuk informasi selengkapnya tentang tipe konfigurasi ulang, lihat Pertimbangan saat Anda mengonfigurasi ulang grup instans.

Skema konfigurasi

emr-metricsmemiliki klasifikasi sebagai berikut:

• emr-system-metrics— mengkonfigurasi metrik sistem, seperti CPU, disk, dan memori.

• emr-hadoop-hdfs-datanode-metrics— konfigurasikan metrik Hadoop DataNode JMX

• emr-hadoop-hdfs-namenode-metrics— konfigurasikan metrik Hadoop NameNode JMX

• emr-hadoop-yarn-nodemanager-metrics— konfigurasikan metrik Yarn NodeManager JMX

• emr-hadoop-yarn-resourcemanager-metrics— konfigurasikan metrik Yarn ResourceManager JMX

• emr-hbase-master-metrics— konfigurasikan metrik HBase Master JMX

• emr-hbase-region-server-metrics— konfigurasikan metrik JMX Server Wilayah HBase

• emr-hbase-rest-server-metrics— konfigurasikan metrik HBase REST Server JMX

• emr-hbase-thrift-server-metrics— konfigurasikan metrik HBase Thrift Server JMX

Tabel berikut menjelaskan properti dan konfigurasi yang tersedia untuk semua klasifikasi.

properti emr-metrik

Properti	Wajib	Deskripsi	Nilai default	Kemungkinan nilai	Catatan
metrics_destination	Opsional	Menentukan apakah metrik klaster dipublikasikan ke Amazon CloudWatch atau Amazon Managed Service untuk Prometheus.	“JAM TANGAN AWAN”	“CLOUDWATCH”, “PROMETHEUS”	Properti ini tidak peka huruf besar/kecil. Misalnya, “Cloudwatch” sama dengan “CLOUDWATCH”.
prometheus_endpoint	Opsional	Jika metrics_destination disetel ke “PROMETHEUS”, properti ini mengonfigurasi CloudWatch agen untuk mengirim metrik ke titik akhir penulisan jarak jauh Amazon Managed Service for Prometheus yang disediakan.	N/A	Layanan Terkelola Amazon yang valid untuk URL penulisan jarak jauh Prometheus. Format URL tulis jarak jauh adalah https://aps-workspaces.<region>.amazonaws.com/workspaces/<workspace_id>/api/v1/remote_write	Bidang ini diperlukan jika metrics_destination diatur ke “PROMETHEUS”. Penyediaan akan gagal jika Anda tidak memberikan kunci atau jika nilainya adalah string kosong.

emr-system-metrics properti

Properti	Wajib	Deskripsi	Nilai default	Kemungkinan nilai	Catatan
metrics_collection_interval	Opsional	Seberapa sering dalam hitungan detik metrik dikumpulkan dan dipublikasikan dari CloudWatch agen.	“60"	Sebuah string yang menentukan jumlah detik. Hanya menerima bilangan bulat.	Anda dapat mengganti properti ini dengan metrics_collection_interval properti dari grup metrik individual.

emr-system-metrics konfigurasi

cpu

Properti	Wajib	Deskripsi	Nilai default	Kemungkinan nilai	Catatan
metrics	Opsional	Daftar metrik CPU untuk dikumpulkan agen.	Lihat Metrik default untuk CloudWatch agen dengan Amazon EMR	Daftar nama metrik CPU valid yang dipisahkan koma dengan atau tanpa cpu_ awalan, seperti dan. usage_active cpu_time_idle Lihat Metrik yang dikumpulkan oleh CloudWatch agen untuk metrik yang valid.	Menentukan string kosong berarti tidak mempublikasikan metrik CPU apa pun.
metrics_collection_interval	Opsional	Seberapa sering dalam hitungan detik agen harus mengumpulkan dan mempublikasikan metrik CPU.	Nilai globalmetrics_collection_interval.	Sebuah string yang menentukan jumlah detik. Hanya menerima bilangan bulat.	Nilai ini mengesampingkan metrics_collection_interval properti global hanya untuk metrik CPU.
drop_original_metrics	Opsional	Daftar metrik CPU yang tidak mempublikasikan metrik yang tidak teragregasi.	Tidak ada metrik CPU yang tidak teragregasi yang diterbitkan.	Daftar metrik CPU yang dipisahkan koma yang juga ditentukan dalam properti metrik. String kosong berarti mempublikasikan semua metrik CPU.	CloudWatch Agen menggabungkan semua metrik berdasarkan ID cluster, ID instance, tipe node, dan nama layanan. Secara default, CloudWatch agen tidak mempublikasikan metrik per sumber daya untuk metrik dengan beberapa sumber daya.
resources	Opsional	Menentukan apakah agen akan mempublikasikan metrik per inti.	"*"	“*” aktifkan metrik per inti. “” nonaktifkan metrik per inti.	CloudWatch Agen hanya menerbitkan metrik per inti untuk metrik CPU yang tidak dimasukkan. drop_original_metrics

disk

Properti	Wajib	Deskripsi	Nilai default	Kemungkinan nilai	Catatan
metrics	Opsional	Daftar metrik disk untuk dikumpulkan agen.	Lihat Metrik default untuk CloudWatch agen dengan Amazon EMR	Daftar nama metrik disk valid yang dipisahkan koma dengan atau tanpa disk_ awalan, seperti dan. disk_total used_percent Lihat Metrik yang dikumpulkan oleh CloudWatch agen untuk metrik yang valid.	Menentukan string kosong berarti tidak mempublikasikan metrik disk apa pun.
metrics_collection_interval	Opsional	Seberapa sering dalam hitungan detik agen harus mengumpulkan dan menerbitkan metrik disk.	Nilai globalmetrics_collection_interval.	Sebuah string yang menentukan jumlah detik. Hanya menerima bilangan bulat.	Nilai ini mengesampingkan metrics_collection_interval properti global hanya untuk metrik disk.
drop_original_metrics	Opsional	Daftar metrik disk yang tidak dapat dipublikasikan metrik yang tidak teragregasi.	Tidak ada metrik disk yang tidak teragregasi yang diterbitkan.	Daftar metrik disk yang dipisahkan koma yang juga ditentukan dalam properti metrik. String kosong berarti mempublikasikan semua metrik disk.	CloudWatch Agen menggabungkan semua metrik berdasarkan ID cluster, ID instance, tipe node, dan nama layanan. Secara default, CloudWatch agen tidak mempublikasikan metrik per sumber daya untuk metrik dengan beberapa sumber daya.
resources	Opsional	Menentukan apakah agen akan mempublikasikan per-mount-point metrik.	"*"	“*” berarti semua titik pemasangan, “” berarti tidak ada titik pemasangan, atau daftar titik pemasangan yang dipisahkan koma. Misalnya, "/,/emr".	CloudWatch Agen hanya menerbitkan per-mount-point metrik untuk metrik disk yang tidak dimasukkan. drop_original_metrics

diskio

Properti	Wajib	Deskripsi	Nilai default	Kemungkinan nilai	Catatan
metrics	Opsional	Daftar metrik disk IO untuk agen untuk mengumpulkan.	Lihat Metrik default untuk CloudWatch agen dengan Amazon EMR	Daftar nama metrik IO disk valid yang dipisahkan koma dengan atau tanpa diskio_ awalan, seperti dan. diskio_reads writes Lihat Metrik yang dikumpulkan oleh CloudWatch agen untuk metrik yang valid.	Menentukan string kosong berarti tidak mempublikasikan metrik IO disk apa pun.
metrics_collection_interval	Opsional	Seberapa sering dalam hitungan detik agen harus mengumpulkan dan menerbitkan metrik disk IO.	Nilai globalmetrics_collection_interval.	Sebuah string yang menentukan jumlah detik. Hanya menerima bilangan bulat.	Nilai ini mengesampingkan metrics_collection_interval properti global hanya untuk metrik IO disk.
drop_original_metrics	Opsional	Daftar metrik IO disk yang tidak dapat dipublikasikan metrik yang tidak teragregasi.	Tidak ada metrik IO disk tak teragregasi yang diterbitkan.	Daftar metrik IO disk yang dipisahkan koma yang juga ditentukan dalam properti metrik. String kosong berarti mempublikasikan semua metrik disk IO.	CloudWatch Agen menggabungkan semua metrik berdasarkan ID cluster, ID instance, tipe node, dan nama layanan. Secara default, CloudWatch agen tidak mempublikasikan metrik per sumber daya untuk metrik dengan beberapa sumber daya.
resources	Opsional	Menentukan apakah agen akan mempublikasikan metrik per perangkat.	"*"	“*” berarti semua perangkat penyimpanan, “” berarti tidak ada perangkat penyimpanan, atau daftar nama perangkat yang dipisahkan koma. Misalnya, "nvme0n1,nvme1n1".	CloudWatch Agen hanya menerbitkan metrik per perangkat untuk metrik IO disk yang tidak dimasukkan. drop_original_metrics

mem

Properti	Wajib	Deskripsi	Nilai default	Kemungkinan nilai	Catatan
metrics	Opsional	Daftar metrik memori untuk dikumpulkan agen.	Lihat Metrik default untuk CloudWatch agen dengan Amazon EMR	Daftar nama metrik memori valid yang dipisahkan koma dengan atau tanpa mem_ awalan, seperti dan. mem_available available_percent Lihat Metrik yang dikumpulkan oleh CloudWatch agen untuk metrik yang valid.	Menentukan string kosong berarti tidak mempublikasikan metrik memori apa pun.
metrics_collection_interval	Opsional	Seberapa sering dalam hitungan detik agen harus mengumpulkan dan mempublikasikan metrik memori.	Nilai globalmetrics_collection_interval.	Sebuah string yang menentukan jumlah detik. Hanya menerima bilangan bulat.	Nilai ini mengesampingkan metrics_collection_interval properti global hanya untuk metrik memori.

net

Properti	Wajib	Deskripsi	Nilai default	Kemungkinan nilai	Catatan
metrics	Opsional	Daftar metrik jaringan untuk agen untuk mengumpulkan.	Lihat Metrik default untuk CloudWatch agen dengan Amazon EMR	Daftar nama metrik jaringan valid yang dipisahkan koma dengan atau tanpa net_ awalan, seperti dan. net_packets_sent packets_recv Lihat Metrik yang dikumpulkan oleh CloudWatch agen untuk metrik yang valid.	Menentukan string kosong berarti tidak mempublikasikan metrik jaringan apa pun.
metrics_collection_interval	Opsional	Seberapa sering dalam hitungan detik agen harus mengumpulkan dan mempublikasikan metrik jaringan.	Nilai globalmetrics_collection_interval.	Sebuah string yang menentukan jumlah detik. Hanya menerima bilangan bulat.	Nilai ini mengesampingkan metrics_collection_interval properti global hanya untuk metrik jaringan.
drop_original_metrics	Opsional	Daftar metrik jaringan yang tidak dapat dipublikasikan metrik yang tidak teragregasi.	Tidak ada metrik jaringan tak teragregasi yang diterbitkan.	Daftar metrik jaringan yang dipisahkan koma yang juga ditentukan dalam properti metrik. String kosong berarti mempublikasikan semua metrik jaringan.	CloudWatch Agen menggabungkan semua metrik berdasarkan ID cluster, ID instance, tipe node, dan nama layanan. Secara default, CloudWatch agen tidak mempublikasikan metrik per sumber daya untuk metrik dengan beberapa sumber daya.
resources	Opsional	Menentukan apakah agen akan mempublikasikan metrik per antarmuka.	"*"	“*” berarti semua antarmuka jaringan, “” berarti tidak ada antarmuka jaringan, atau daftar nama antarmuka yang dipisahkan koma. Misalnya, "eth0,eth1".	CloudWatch Agen hanya menerbitkan metrik per antarmuka untuk metrik jaringan yang tidak dimasukkan. drop_original_metrics

netstat

Properti	Wajib	Deskripsi	Nilai default	Kemungkinan nilai	Catatan
metrics	Opsional	Daftar metrik statistik jaringan untuk dikumpulkan agen.	Lihat Metrik default untuk CloudWatch agen dengan Amazon EMR	Daftar nama metrik memori valid yang dipisahkan koma dengan atau tanpa netstat_ awalan, seperti dan. tcp_listen netstat_udp_socket Lihat Metrik yang dikumpulkan oleh CloudWatch agen untuk metrik yang valid.	Menentukan string kosong berarti tidak mempublikasikan metrik statistik jaringan apa pun.
metrics_collection_interval	Opsional	Seberapa sering dalam hitungan detik agen harus mengumpulkan dan mempublikasikan metrik statistik jaringan.	Nilai globalmetrics_collection_interval.	Sebuah string yang menentukan jumlah detik. Hanya menerima bilangan bulat.	Nilai ini mengesampingkan metrics_collection_interval properti global hanya untuk metrik statistik jaringan.

processes

Properti	Wajib	Deskripsi	Nilai default	Kemungkinan nilai	Catatan
metrics	Opsional	Daftar metrik proses untuk dikumpulkan agen.	Lihat Metrik default untuk CloudWatch agen dengan Amazon EMR	Daftar nama metrik memori valid yang dipisahkan koma dengan atau tanpa processes_ awalan, seperti dan. processes_running total Lihat Metrik yang dikumpulkan oleh CloudWatch agen untuk metrik yang valid.	Menentukan string kosong berarti tidak mempublikasikan metrik proses apa pun.
metrics_collection_interval	Opsional	Seberapa sering dalam hitungan detik agen harus mengumpulkan dan mempublikasikan metrik proses sistem.	Nilai globalmetrics_collection_interval.	Sebuah string yang menentukan jumlah detik. Hanya menerima bilangan bulat.	Nilai ini mengesampingkan metrics_collection_interval properti global hanya untuk metrik proses sistem.

swap

Properti	Wajib	Deskripsi	Nilai default	Kemungkinan nilai	Catatan
metrics	Opsional	Daftar metrik swap untuk dikumpulkan agen.	Lihat Metrik default untuk CloudWatch agen dengan Amazon EMR	Daftar nama metrik memori valid yang dipisahkan koma dengan atau tanpa swap_ awalan, seperti dan. swap_free used_percent Lihat Metrik yang dikumpulkan oleh CloudWatch agen untuk metrik yang valid.	Menentukan string kosong berarti tidak mempublikasikan metrik swap apa pun.
metrics_collection_interval	Opsional	Seberapa sering dalam hitungan detik agen harus mengumpulkan dan menerbitkan metrik swap.	Nilai globalmetrics_collection_interval.	Sebuah string yang menentukan jumlah detik. Hanya menerima bilangan bulat.	Nilai ini menggantikan metrics_collection_interval properti global hanya untuk metrik swap.

emr-hadoop-hdfs-datanodeproperti -metrik

Properti	Wajib	Deskripsi	Nilai default	Kemungkinan nilai
<custom_bean_name>	Opsional	N/A	MBean yang CloudWatch agen harus mengumpulkan metrik dari, seperti. Hadoop:service=DataNode,name=DataNodeActivity Anda dapat menemukan contoh nama mBean dan metrik yang sesuai dalam contoh file JMX YAMM untuk Amazon EMR rilis 7.0.	String yang berisi daftar metrik yang dibatasi koma yang terkait dengan mBean. Misalnya, BlocksCached,BlocksRead.
otel.metric.export.interval	Opsional	Seberapa sering dalam milidetik untuk mengumpulkan metrik Hadoop DataNode .	“60000"	Sebuah string yang menentukan jumlah milidetik. Hanya menerima bilangan bulat.

emr-hadoop-hdfs-namenodeproperti -metrik

Properti	Wajib	Deskripsi	Nilai default	Kemungkinan nilai
<custom_bean_name>	Opsional	N/A	MBean yang CloudWatch agen harus mengumpulkan metrik dari, seperti. Hadoop:service=NameNode,name=FSNamesystem Anda dapat menemukan contoh nama mBean dan metrik yang sesuai dalam contoh file JMX YAMM untuk Amazon EMR rilis 7.0.	String yang berisi daftar metrik yang dibatasi koma yang terkait dengan mBean. Misalnya, BlockCapacity,CapacityUsedGB.
otel.metric.export.interval	Opsional	Seberapa sering dalam milidetik untuk mengumpulkan metrik Hadoop NameNode .	“60000"	Sebuah string yang menentukan jumlah milidetik. Hanya menerima bilangan bulat.

emr-hadoop-yarn-nodemanagerproperti -metrik

Properti	Wajib	Deskripsi	Nilai default	Kemungkinan nilai
<custom_bean_name>	Opsional	N/A	MBean yang CloudWatch agen harus mengumpulkan metrik dari, seperti. Hadoop:service=NodeManager,name=NodeManagerMetrics Anda dapat menemukan contoh nama mBean dan metrik yang sesuai dalam contoh file JMX YAMM untuk Amazon EMR rilis 7.0.	String yang berisi daftar metrik yang dibatasi koma yang terkait dengan mBean. Misalnya, MaxCapacity,AllocatedGB.
otel.metric.export.interval	Opsional	Seberapa sering dalam milidetik mengumpulkan metrik Hadoop YARN. NodeManager	“60000"	Sebuah string yang menentukan jumlah milidetik. Hanya menerima bilangan bulat.

emr-hadoop-yarn-resourcemanagerproperti -metrik

Properti	Wajib	Deskripsi	Nilai default	Kemungkinan nilai
<custom_bean_name>	Opsional	N/A	MBean yang CloudWatch agen harus mengumpulkan metrik dari, seperti. Hadoop:service=ResourceManager,name=PartitionQueueMetrics Anda dapat menemukan contoh nama mBean dan metrik yang sesuai dalam contoh file JMX YAMM untuk Amazon EMR rilis 7.0.	String yang berisi daftar metrik yang dibatasi koma yang terkait dengan mBean. Misalnya, MaxCapacity,MaxCapacityVCores.
otel.metric.export.interval	Opsional	Seberapa sering dalam milidetik mengumpulkan metrik Hadoop YARN. ResourceManager	“60000"	Sebuah string yang menentukan jumlah milidetik. Hanya menerima bilangan bulat.

emr-hbase-master-metrics properti

Properti	Wajib	Deskripsi	Nilai default	Kemungkinan nilai
<custom_bean_name>	Opsional	N/A	MBean yang CloudWatch agen harus mengumpulkan metrik dari, seperti. Hadoop:service=HBase,name=Master,sub=AssignmentManager Anda dapat menemukan contoh nama mBean dan metrik yang sesuai dalam contoh file JMX YAMM untuk Amazon EMR rilis 7.0.	String yang berisi daftar metrik yang dibatasi koma yang terkait dengan mBean. Misalnya, AssignFailedCount,AssignSubmittedCount.
otel.metric.export.interval	Opsional	Seberapa sering dalam milidetik untuk mengumpulkan metrik HBase Master.	“60000"	Sebuah string yang menentukan jumlah milidetik. Hanya menerima bilangan bulat.

emr-hbase-region-serverproperti -metrik

Properti	Wajib	Deskripsi	Nilai default	Kemungkinan nilai
<custom_bean_name>	Opsional	N/A	MBean yang CloudWatch agen harus mengumpulkan metrik dari, seperti. Hadoop:service=HBase,name=RegionServer,sub=IPC Anda dapat menemukan contoh nama mBean dan metrik yang sesuai dalam contoh file JMX YAMM untuk Amazon EMR rilis 7.0.	String yang berisi daftar metrik yang dibatasi koma yang terkait dengan mBean. Misalnya, numActiveHandler,numActivePriorityHandler.
otel.metric.export.interval	Opsional	Seberapa sering dalam milidetik untuk mengumpulkan metrik Server Wilayah HBase.	“60000"	Sebuah string yang menentukan jumlah milidetik. Hanya menerima bilangan bulat.

emr-hbase-rest-serverproperti -metrik

Properti	Wajib	Deskripsi	Nilai default	Kemungkinan nilai
<custom_bean_name>	Opsional	N/A	MBean yang CloudWatch agen harus mengumpulkan metrik dari, seperti. Hadoop:service=HBase,name=REST Anda dapat menemukan contoh nama mBean dan metrik yang sesuai dalam contoh file JMX YAMM untuk Amazon EMR rilis 7.0.	String yang berisi daftar metrik yang dibatasi koma yang terkait dengan mBean. Misalnya, successfulPut,successfulScanCount.
otel.metric.export.interval	Opsional	Seberapa sering dalam milidetik untuk mengumpulkan metrik HBase Rest Server.	“60000"	Sebuah string yang menentukan jumlah milidetik. Hanya menerima bilangan bulat.

emr-hbase-thrift-serverproperti -metrik

Properti	Wajib	Deskripsi	Nilai default	Kemungkinan nilai
<custom_bean_name>	Opsional	N/A	MBean yang CloudWatch agen harus mengumpulkan metrik dari, seperti. Hadoop:service=HBase,name=Thrift,sub=ThriftOne Anda dapat menemukan contoh nama mBean dan metrik yang sesuai dalam contoh file JMX YAMM untuk Amazon EMR rilis 7.0.	String yang berisi daftar metrik yang dibatasi koma yang terkait dengan mBean. Misalnya, BatchGet_max,BatchGet_mean.
otel.metric.export.interval	Opsional	Seberapa sering dalam milidetik untuk mengumpulkan metrik server HBase Thrift.	“60000"	Sebuah string yang menentukan jumlah milidetik. Hanya menerima bilangan bulat.

Contoh konfigurasi metrik sistem

Contoh berikut menunjukkan cara mengkonfigurasi CloudWatch agen untuk berhenti mengekspor semua metrik sistem.

[
  {
    "Classification": "emr-metrics",
    "Properties": {},
    "Configurations": [
      {
        "Classification": "emr-system-metrics",
        "Properties": {},
        "Configurations": []
      }
    ]
  }
]

Contoh berikut mengonfigurasi CloudWatch agen untuk mengekspor metrik sistem default. Melakukannya adalah cara cepat untuk mengatur ulang agen kembali untuk hanya mengekspor metrik sistem default jika Anda telah mengonfigurasi ulang metrik sistem setidaknya sekali. Reset ini juga menghapus metrik aplikasi apa pun yang telah dikonfigurasi ulang sebelumnya.

[
  {
    "Classification": "emr-metrics",
    "Properties": {},
    "Configurations": []
  }
]

Contoh berikut mengkonfigurasi cluster untuk mengeksporcpu,mem, dan disk metrik.

[
  {
    "Classification": "emr-metrics",
    "Properties": {},
    "Configurations": [
      {
        "Classification": "emr-system-metrics",
        "Properties": {
          "metrics_collection_interval": "20"
        },
        "Configurations": [
          {
            "Classification": "cpu",
            "Properties": {
              "metrics": "cpu_usage_guest,cpu_usage_idle",
              "metrics_collection_interval": "30",
              "drop_original_metrics": "cpu_usage_guest"
            }
          },
          {
            "Classification": "mem",
            "Properties": {
              "metrics": "mem_active"
            }
          },
           {
            "Classification": "disk",
            "Properties": {
              "metrics": "disk_used_percent",
              "resources": "/,/mnt",
              "drop_original_metrics": ""
            }
          }
        ]
      }
    ]
  }
]

Contoh konfigurasi sebelumnya memiliki properti berikut:

• Setiap 30 detik, agen mengumpulkan cpu_guest metrik untuk semua CPU. Anda dapat menemukan metrik agregat di bawah CloudWatch CWAgent > cluster.id, instance.id, node.type, service.name namespace.

• Setiap 30 detik, agen mengumpulkan cpu_idle metrik untuk semua CPU. Anda dapat menemukan metrik agregat di bawah CloudWatch CWAgent > cluster.id, instance.id, node.type, service.name namespace. Agen juga mengumpulkan metrik per cpu. Anda dapat menemukannya di namespace yang sama. Agen mengumpulkan metrik ini karena drop_original_metrics properti tidak mengandungcpu_idle, sehingga agen tidak mengabaikan metrik.

• Setiap 20 detik, agen mengumpulkan mem_active metrik. Anda dapat menemukan metrik agregat di bawah CloudWatch CWAgent > cluster.id, instance.id, node.type, service.name namespace.

• Setiap 20 detik, agen mengumpulkan disk_used_percent metrik untuk pemasangan / dan /mnt disk. Anda dapat menemukan metrik agregat di bawah namespace. CloudWatch CWAgent > cluster.id, instance.id, node.type, service.name Agen juga mengumpulkan metrik per pemasangan. Anda dapat menemukannya di namespace yang sama. Agen mengumpulkan metrik ini karena drop_original_metrics properti tidak mengandungdisk_used_percent, sehingga agen tidak mengabaikan metrik.

Contoh konfigurasi metrik aplikasi

Contoh berikut mengonfigurasi CloudWatch agen untuk berhenti mengekspor metrik untuk layanan Hadoop Namenode.

[
  {
    "Classification": "emr-metrics",
    "Properties": {},
    "Configurations": [
      {
        "Classification": "emr-hadoop-hdfs-namenode-metrics",
        "Properties": {},
        "Configurations": []
      }
    ]
  }
]

Contoh berikut mengkonfigurasi cluster untuk mengekspor metrik aplikasi Hadoop.

[
  {
    "Classification": "emr-metrics",
    "Properties": {},
    "Configurations": [
      {
        "Classification": "emr-hadoop-hdfs-namenode-metrics",
        "Properties": {
          "Hadoop:service=NameNode,name=FSNamesystem": "BlockCapacity,CapacityUsedGB",
          "otel.metric.export.interval": "20000" 
        },
        "Configurations": []
      },
       {
        "Classification": "emr-hadoop-hdfs-datanode-metrics",
        "Properties": {
          "Hadoop:service=DataNode,name=JvmMetrics": "MemNonHeapUsedM",
          "otel.metric.export.interval": "30000" 
        },
        "Configurations": []
      },
       {
        "Classification": "emr-hadoop-yarn-resourcemanager-metrics",
        "Properties": {
          "Hadoop:service=ResourceManager,name=CapacitySchedulerMetrics": "AllocateNumOps,NodeUpdateNumOps"
        },
        "Configurations": []
      }
    ]
  }
]

Contoh sebelumnya memiliki properti berikut:

• Setiap 20 detik, agen mengumpulkan BlockCapacity dan CapacityUsedGB metrik dari instance yang menjalankan layanan Hadoop Namenode.

• Setiap 30 detik, agen mengumpulkan MemNonHeapUsedM metrik dari instance yang menjalankan layanan Hadoop Datanode.

• Setiap 30 detik, agen mengumpulkan AllocateNumOps dan NodeUpdateNumOps metrik dari instance yang menjalankan Hadoop YARN. ResourceManaager

Layanan Terkelola Amazon untuk contoh Prometheus

Contoh berikut menunjukkan cara mengonfigurasi CloudWatch agen untuk mengekspor metrik ke Amazon Managed Service untuk Prometheus.

Jika saat ini Anda mengekspor metrik ke Amazon Managed Service untuk Prometheus dan ingin mengonfigurasi ulang metrik untuk klaster dan terus mengekspor metrik ke Amazon Managed Service untuk Prometheus, Anda harus menyertakan properti dan. metrics_destination prometheus_endpoint

[
  {
    "Classification": "emr-metrics",
    "Properties": {
      "metrics_destination": "prometheus",
      "prometheus_endpoint": "http://amp-workspace/api/v1/remote_write"
    },
    "Configurations": []
  }
]

Untuk menggunakan CloudWatch agen untuk mengekspor metrik CloudWatch, gunakan contoh berikut.

[
  {
    "Classification": "emr-metrics",
    "Properties": {
      "metrics_destination": "cloudwatch"
    },
    "Configurations": []
  }
]

catatan

CloudWatch Agen memiliki eksportir Prometheus yang mengganti nama atribut tertentu. Untuk label metrik default, Amazon Managed Service untuk Prometheus menggunakan karakter garis bawah sebagai pengganti periode yang digunakan Amazon. CloudWatch Jika Anda menggunakan Grafana Terkelola Amazon untuk memvisualisasikan metrik default di Amazon Managed Service untuk Prometheus, label akan muncul sebagai,,, dan. cluster_id instance_id node_type service_name