Konfigurasikan CloudWatch agen untuk Amazon EMR 7.0.0 - Amazon EMR
Metrik sistemMetrik aplikasiPrometheus sebagai penyimpanan

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Konfigurasikan CloudWatch agen untuk Amazon EMR 7.0.0

Anda dapat mengonfigurasi CloudWatch agen Amazon untuk menggunakan metrik sistem tambahan di luar metrik yang disediakan oleh konfigurasi CloudWatch agen default. Konfigurasi untuk 7.0.0 memerlukan penggunaan tindakan bootstrap, yang telah kami berikan contohnya di bagian berikut. Dalam rilis mendatang, Amazon EMR akan memberikan opsi konfigurasi tambahan melalui Amazon EMR API.

Konfigurasikan metrik sistem tambahan dengan Amazon EMR 7.0.0

Gunakan langkah-langkah berikut untuk mengonfigurasi agen agar menggunakan kumpulan metrik sistem yang berbeda di Amazon EMR 7.0.0:

  1. Buat atau pilih bucket di akun Amazon S3 tempat Anda ingin menyimpan file konfigurasi yang menentukan metrik CloudWatch agen.

  2. Buat file emr-amazon-cloudwatch-agent.json konfigurasi dengan metrik pilihan Anda yang ditentukan. Untuk melakukan ini, gunakan salah satu metode yang dijelaskan di Buat file konfigurasi CloudWatch agen. Untuk informasi selengkapnya tentang struktur file konfigurasi CloudWatch agen, lihat Membuat atau mengedit file konfigurasi CloudWatch agen secara manual di Panduan CloudWatch Pengguna Amazon.

  3. Selanjutnya, navigasikan ke aws-emr-utilities repo GitHub dan unduh skrip metrik sistem berikut:

    • install_system_metrics_launcher.sh— Skrip yang mengunduh dan kemudian berjalan install_system_metrics.sh di latar belakang sehingga node dapat menyelesaikan bootstrap.

    • install_system_metrics.sh— Skrip yang menunggu instance yang dijalankan untuk menyelesaikan bootstrap, lalu mengunduh dan menerapkan konfigurasi dalam file JSON.

  4. Buka setiap file SH dan ganti my-s3-bucket dengan nama bucket Anda dari Langkah 1.

  5. Unggah satu file JSON dan dua SH ke bucket S3 Anda.

  6. Sekarang, Anda dapat menavigasi ke konsol EMR Amazon dan membuat cluster baru dengan agen. CloudWatch Di bawah EMR pada EC2 di navigasi kiri, pilih Clusters dan kemudian Buat cluster.

  7. Di bagian Nama dan aplikasi, pilih rilis EMR Amazon 7.0.0 atau lebih tinggi.

  8. Di bawah Application bundle, pilih bundel atau aplikasi yang ingin Anda instal ke cluster Anda, dan sertakan Amazon CloudWatch Agent dengan pilihan Anda.

  9. Di bagian tindakan Bootstrap, pilih Tambah.

    • Untuk Nama, masukkaninstall_system_metrics_launcher.sh.

    • Untuk lokasi Script, masukkans3://my-s3-bucket/install_system_metrics_launcher.sh. Ganti my-s3-bucket dengan jalur ke bucket S3 Anda.

    • Biarkan blok Argumen kosong.

  10. Pilih Tambahkan tindakan bootstrap.

  11. Terus buat cluster untuk melayani kebutuhan beban kerja Anda.

Saat klaster Anda diluncurkan, CloudWatch agen akan menerbitkan metrik sistem yang Anda tentukan dalam file konfigurasi. CloudWatch

Konfigurasikan metrik aplikasi dengan Amazon EMR 7.0.0

Anda dapat mengonfigurasi CloudWatch agen Amazon untuk mempublikasikan metrik aplikasi untuk HDFS dan YARN selain metrik sistem. Gunakan langkah-langkah berikut untuk mengonfigurasi agen untuk mempublikasikan metrik aplikasi:

  1. Buat atau pilih bucket di akun Amazon S3 tempat Anda ingin menyimpan file konfigurasi yang menentukan metrik CloudWatch agen.

  2. Selanjutnya, navigasikan ke aws-emr-utilities repo GitHub dan unduh skrip berikut:

    • install_app_metrics_launcher.sh— Skrip yang mengunduh dan kemudian berjalan install_app_metrics.sh di latar belakang sehingga node dapat menyelesaikan bootstrap.

    • install_app_metrics.sh— Skrip yang menunggu instance yang dijalankan untuk menyelesaikan bootstrap, lalu mengunduh dan menerapkan konfigurasi dalam file YAMAL yang akan Anda unduh di langkah mendatang.

  3. Buka setiap file dan ganti my-s3-bucket dengan nama bucket Anda dari Langkah 1.

  4. Selanjutnya, unduh file pemetaan YAMM berikut. Untuk informasi tentang bagaimana file YAMM ini terstruktur, lihat javaagentdi OpenTelemetry Instrumentation for Java GitHub repo.

  5. Unggah dua SH dan empat file YAMM ke bucket S3 Anda.

  6. Sekarang, Anda dapat menavigasi ke konsol EMR Amazon dan membuat cluster baru dengan agen. CloudWatch Di bawah EMR pada EC2 di navigasi kiri, pilih Clusters dan kemudian Buat cluster.

  7. Di bagian Nama dan aplikasi, pilih rilis EMR Amazon 7.0.0 atau lebih tinggi.

  8. Di bawah Application bundle, pilih bundel atau grup kustom aplikasi yang ingin Anda instal ke cluster Anda, dan sertakan CloudWatch agen dengan pilihan Anda.

  9. Di bagian tindakan Bootstrap, pilih Tambah.

    • Untuk Nama, masukkaninstall_app_metrics_launcher.sh.

    • Untuk lokasi Script, masukkans3://my-s3-bucket/install_app_metrics_launcher.sh. Ganti my-s3-bucket dengan jalur ke bucket S3 Anda.

    • Biarkan blok Argumen kosong.

  10. Pilih Tambahkan tindakan bootstrap.

  11. Terus buat cluster untuk melayani kebutuhan beban kerja Anda.

Saat klaster Anda diluncurkan, CloudWatch Agen menerbitkan metrik aplikasi yang Anda tentukan bersama dengan metrik sistem. CloudWatch

Konfigurasikan Amazon Managed Service untuk Prometheus sebagai penyimpanan cloud untuk metrik dengan Amazon EMR 7.0.0

Anda dapat mengonfigurasi CloudWatch agen Amazon untuk memublikasikan metrik ke Layanan Terkelola Amazon untuk Prometheus, bukan. CloudWatch

catatan

Anda dapat memublikasikan metrik dari CloudWatch agen Amazon ke Layanan Terkelola Amazon untuk Prometheus atau ke CloudWatch Amazon, tetapi Anda tidak dapat mempublikasikan metrik ke kedua layanan untuk klaster yang sama.

Untuk mengonfigurasi agen untuk memublikasikan metrik ke Amazon Managed Service for Prometheus, Anda harus menambahkan izin (IAM) ke profil aps:RemoteWrite AWS Identity and Access Management instans Amazon EC2 untuk Amazon EMR. Contoh kebijakan berikut berisi izin yang diperlukan:

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": "aps:RemoteWrite",
      "Resource": "*"
    }
  ]
}
Gunakan CloudWatch agen di kluster EMR untuk memublikasikan metrik ke Amazon Managed Service for Prometheus

Setelah kebijakan layanan memiliki izin yang benar, gunakan langkah-langkah berikut untuk meluncurkan klaster yang menggunakan CloudWatch agen untuk mempublikasikan metrik ke Amazon Managed Service for Prometheus.

  1. Gunakan AWS Management Console atau AWS CLI untuk membuat Amazon Managed Service untuk ruang kerja Prometheus. Untuk informasi selengkapnya, lihat Membuat ruang kerja di Amazon Managed Service for Prometheus User Guide.

  2. Buat atau pilih bucket di akun Amazon S3 tempat Anda ingin menyimpan file peluncuran yang menentukan Amazon Managed Service untuk Prometheus sebagai penyimpanan cloud.

  3. Selanjutnya, navigasikan ke aws-emr-utilities repo GitHub dan unduh skrip berikut:

    • add_prometheus_endpoint_launcher.sh— Skrip yang mengunduh dan kemudian berjalan add_prometheus_endpoint.sh di latar belakang sehingga node dapat menyelesaikan bootstrap.

    • add_prometheus_endpoint.sh— Skrip yang menunggu instance yang dijalankan untuk menyelesaikan bootstrap, lalu mengonfigurasi CloudWatch agen untuk mempublikasikan ke Layanan Terkelola Amazon untuk titik akhir Prometheus yang Anda berikan sebagai argumen saat meluncurkan cluster Anda.

  4. Buka setiap file dan ganti my-s3-bucket dengan nama bucket Anda dari Langkah 2.

  5. Gunakan AWS CLI untuk membuat cluster EMR dengan aksi add_prometheus_endpoint_launcher.sh bootstrap. Pada perintah berikut, ganti my-s3-bucket dengan bucket yang menahan aksi bootstrap, dan ganti managedpro-remote-write-workspace-url dengan titik akhir penulisan jarak jauh untuk Amazon Managed Service untuk ruang kerja Prometheus. Pastikan untuk menentukan label rilis EMR Amazon emr-7.0.0 atau yang lebih tinggi.

    aws emr create-cluster --name managedpro-cluster \
    --release-label emr-7.0.0 \
    --applications Name=Hadoop Name=AmazonCloudWatchAgent \
    --ec2-attributes KeyName=myKey --instance-type m7g.2xlarge \
    --instance-count 3 --use-default-roles
   --bootstrap-actions Name='Add Prometheus Endpoint',Path=s3://my-s3-bucket/add_prometheus_endpoint_launcher.sh,Args='managedpro-remote-write-workspace-url'

Saat klaster Anda diluncurkan, CloudWatch agen menerbitkan metrik yang dikumpulkannya ke Amazon Managed Service for Prometheus.

Gunakan Amazon Managed Service untuk Prometheus sebagai sumber data untuk Amazon Managed Grafana

Setelah Amazon EMR menerbitkan metrik klaster ke Amazon Managed Service for Prometheus, Anda dapat menggunakan langkah-langkah berikut untuk memvisualisasikan metrik dengan Amazon Managed Grafana:

  1. Gunakan AWS Management Console untuk membuat ruang kerja Grafana Terkelola Amazon dan pengguna dengan izin yang sesuai. Untuk informasi selengkapnya, lihat Membuat ruang kerja di Panduan Pengguna Grafana Terkelola Amazon.

  2. Tambahkan Layanan Terkelola Amazon untuk ruang kerja Prometheus sebagai sumber data ke Grafana Terkelola Amazon. Untuk informasi selengkapnya, lihat Menggunakan konfigurasi sumber AWS data untuk menambahkan Layanan Terkelola Amazon untuk Prometheus sebagai sumber data di Panduan Pengguna Grafana Terkelola Amazon.

catatan

CloudWatch Agen memiliki eksportir Prometheus yang mengganti nama atribut tertentu. Untuk label metrik default, Amazon Managed Service untuk Prometheus menggunakan karakter garis bawah sebagai pengganti periode yang digunakan Amazon. CloudWatch Jadi, jika Anda menggunakan Grafana Terkelola Amazon untuk memvisualisasikan metrik default di Amazon Managed Service untuk Prometheus, label akan muncul sebagai,, dan. jobflow_id instance_id service_name

Selain itu, metrik aplikasi apa pun yang diterbitkan CloudWatch agen ke Amazon Managed Service untuk Prometheus menggunakan label sebagai gantinya. job service_name Namun, metrik sistem terus menggunakan service_name label.