Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Pemantauan terbuka dengan Prometheus
Anda dapat memantau MSK cluster Anda dengan Prometheus, sistem pemantauan sumber terbuka untuk data metrik deret waktu. Anda dapat mempublikasikan data ini ke Amazon Managed Service untuk Prometheus menggunakan fitur tulis jarak jauh Prometheus. Anda juga dapat menggunakan alat yang kompatibel dengan metrik atau alat berformat Prometheus yang terintegrasi dengan Amazon MSK Open Monitoring, seperti Datadog
Membuat MSK klaster Amazon dengan pemantauan terbuka diaktifkan
Menggunakan AWS Management Console
Masuk ke AWS Management Console, dan buka MSK konsol Amazon di https://console.aws.amazon.com/msk/rumah? region=us-east-1#/home/
. -
Di bagian Pemantauan, pilih kotak centang di sebelah Aktifkan pemantauan terbuka dengan Prometheus.
-
Berikan informasi yang diperlukan di semua bagian halaman, dan tinjau semua opsi yang tersedia.
-
Pilih Buat klaster.
Menggunakan AWS CLI
-
Panggil perintah create-cluster dan tentukan opsinya.
open-monitoring
AktifkanJmxExporter
, yangNodeExporter
, atau keduanya. Jika Anda menentukanopen-monitoring
, kedua eksportir tidak dapat dinonaktifkan pada saat yang sama.
Menggunakan API
-
Memanggil CreateClusteroperasi dan menentukan
OpenMonitoring
. AktifkanjmxExporter
, yangnodeExporter
, atau keduanya. Jika Anda menentukanOpenMonitoring
, kedua eksportir tidak dapat dinonaktifkan pada saat yang sama.
Mengaktifkan pemantauan terbuka untuk kluster Amazon MSK yang ada
Untuk mengaktifkan pemantauan terbuka, pastikan klaster dalam ACTIVE
status.
Menggunakan AWS Management Console
Masuk ke AWS Management Console, dan buka MSK konsol Amazon di https://console.aws.amazon.com/msk/rumah? region=us-east-1#/home/
. -
Pilih nama cluster yang ingin Anda perbarui. Ini membawa Anda ke halaman yang berisi detail untuk cluster.
-
Pada tab Properties, gulir ke bawah untuk menemukan bagian Monitoring.
-
Pilih Edit.
-
Pilih kotak centang di sebelah Aktifkan pemantauan terbuka dengan Prometheus.
-
Pilih Simpan perubahan.
Menggunakan AWS CLI
-
Panggil perintah pembaruan-pemantauan dan tentukan opsinya.
open-monitoring
AktifkanJmxExporter
, yangNodeExporter
, atau keduanya. Jika Anda menentukanopen-monitoring
, kedua eksportir tidak dapat dinonaktifkan pada saat yang sama.
Menggunakan API
-
Memanggil UpdateMonitoringoperasi dan menentukan
OpenMonitoring
. AktifkanjmxExporter
, yangnodeExporter
, atau keduanya. Jika Anda menentukanOpenMonitoring
, kedua eksportir tidak dapat dinonaktifkan pada saat yang sama.
Menyiapkan host Prometheus di instans Amazon EC2
-
Unduh server Prometheus dari https://prometheus.io/download/#prometheus
ke instans Amazon Anda. EC2 -
Ekstrak file yang diunduh ke direktori dan pergi ke direktori itu.
-
Buat file dengan konten berikut dan beri nama
prometheus.yml
.# file: prometheus.yml # my global config global: scrape_interval: 60s # A scrape configuration containing exactly one endpoint to scrape: # Here it's Prometheus itself. scrape_configs: # The job name is added as a label `job=<job_name>` to any timeseries scraped from this config. - job_name: 'prometheus' static_configs: # 9090 is the prometheus server port - targets: ['localhost:9090'] - job_name: 'broker' file_sd_configs: - files: - 'targets.json'
-
Gunakan ListNodesoperasi untuk mendapatkan daftar broker cluster Anda.
-
Buat file bernama
targets.json
dengan berikut iniJSON. Gantibroker_dns_1
,broker_dns_2
, dan sisa nama broker dengan DNS DNS nama yang Anda peroleh untuk broker Anda di langkah sebelumnya. Sertakan semua broker yang Anda peroleh pada langkah sebelumnya. Amazon MSK menggunakan port 11001 untuk JMX Eksportir dan port 11002 untuk Node Exporter.catatan
Untuk mengikis JMX metrik dari KRaft pengontrol, tambahkan DNS nama pengontrol sebagai target dalam file. JSON Misalnya:
controller_dns_1:11001
, mengganticontroller_dns_1
dengan DNS nama pengontrol yang sebenarnya. -
Untuk memulai server Prometheus pada instance EC2 Amazon Anda, jalankan perintah berikut di direktori tempat Anda mengekstrak file Prometheus dan disimpan dan.
prometheus.yml
targets.json
./prometheus
-
Temukan alamat IP IPv4 publik EC2 instance Amazon tempat Anda menjalankan Prometheus pada langkah sebelumnya. Anda memerlukan alamat IP publik ini pada langkah berikut.
-
Untuk mengakses UI web Prometheus, buka browser yang dapat mengakses instans EC2 Amazon Anda, dan pergi ke, di mana
Prometheus-Instance-Public-IP
:9090Prometheus-Instance-Public-IP
adalah alamat IP publik yang Anda dapatkan pada langkah sebelumnya.
Metrik Prometheus
Semua metrik yang dipancarkan oleh Apache Kafka dapat diakses menggunakan pemantauan terbuka dengan JMX Prometheus. Untuk informasi tentang metrik Apache Kafka, lihat Pemantauankafka.consumer.group:type=ConsumerLagMetrics
Anda juga dapat menggunakan Prometheus Node CPU Exporter untuk mendapatkan dan disk metrik untuk broker Anda di port 11002.
Menyimpan metrik Prometheus di Amazon Managed Service untuk Prometheus
Amazon Managed Service for Prometheus adalah layanan pemantauan dan peringatan yang kompatibel dengan Prometheus yang dapat Anda gunakan untuk memantau kluster Amazon. MSK Ini adalah layanan yang dikelola sepenuhnya yang secara otomatis menskalakan konsumsi, penyimpanan, kueri, dan peringatan metrik Anda. Ini juga terintegrasi dengan layanan AWS keamanan untuk memberi Anda akses cepat dan aman ke data Anda. Anda dapat menggunakan bahasa kueri PromQL sumber terbuka untuk menanyakan metrik dan memperingatkannya.
Untuk informasi selengkapnya, lihat Memulai Layanan Terkelola Amazon untuk Prometheus.