Melihat metrik dan dimensi dalam Layanan Terkelola untuk Apache Flink - Layanan Terkelola untuk Apache Flink
Metrik aplikasiMetrik konektor Kinesis Data StreamsMetrik MSK konektor AmazonMetrik Apache ZeppelinMelihat CloudWatch metrikMetrik

Amazon Managed Service untuk Apache Flink sebelumnya dikenal sebagai Amazon Kinesis Data Analytics untuk Apache Flink.

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Melihat metrik dan dimensi dalam Layanan Terkelola untuk Apache Flink

Topik ini berisi bagian-bagian berikut:

Saat Layanan Terkelola untuk Apache Flink memproses sumber data, Managed Service for Apache Flink melaporkan metrik dan dimensi berikut ke Amazon. CloudWatch

Metrik aplikasi

Metrik Unit Deskripsi Tingkat Catatan Penggunaan
backPressuredTimeMsPerSecond* Milidetik Waktu (dalam milidetik) tugas atau operator ini kembali ditekan per detik. Tugas, Operator, Paralelisme

*Tersedia untuk Managed Service untuk aplikasi Apache Flink yang menjalankan Flink versi 1.13 saja.

Metrik ini dapat berguna dalam mengidentifikasi kemacetan dalam suatu aplikasi.
busyTimeMsPerSecond* Milidetik Waktu (dalam milidetik) tugas atau operator ini sibuk (tidak menganggur atau kembali ditekan) per detik. Bisa NaN, jika nilainya tidak bisa dihitung. Tugas, Operator, Paralelisme

*Tersedia untuk Managed Service untuk aplikasi Apache Flink yang menjalankan Flink versi 1.13 saja.

Metrik ini dapat berguna dalam mengidentifikasi kemacetan dalam suatu aplikasi.
cpuUtilization Persentase Persentase keseluruhan CPU pemanfaatan di seluruh pengelola tugas. Misalnya, jika ada lima pengelola tugas, Managed Service for Apache Flink menerbitkan lima sampel metrik ini per interval pelaporan. Aplikasi Anda dapat menggunakan metrik ini untuk memantau CPU pemanfaatan minimum, rata-rata, dan maksimum dalam aplikasi Anda. CPUUtilizationMetrik hanya memperhitungkan CPU penggunaan TaskManager JVM proses yang berjalan di dalam wadah.
containerCPUUtilization Persentase Persentase keseluruhan CPU pemanfaatan di seluruh wadah pengelola tugas di cluster aplikasi Flink. Misalnya, jika ada lima pengelola tugas, maka ada lima TaskManager kontainer dan Layanan Terkelola untuk Apache Flink menerbitkan 2 * lima sampel metrik ini per interval pelaporan 1 menit. Aplikasi

Itu dihitung per kontainer sebagai:

Total CPU waktu (dalam detik) yang dikonsumsi oleh kontainer* 100/ CPU Batas kontainer (CPUsdalam/detik)

CPUUtilizationMetrik hanya memperhitungkan CPU penggunaan TaskManager JVM proses yang berjalan di dalam wadah. Ada komponen lain yang berjalan di luar JVM dalam wadah yang sama. containerCPUUtilizationMetrik memberi Anda gambaran yang lebih lengkap, termasuk semua proses dalam hal CPU kelelahan pada wadah dan kegagalan yang dihasilkan dari itu.
containerMemoryUtilization Persentase Persentase keseluruhan pemanfaatan memori di seluruh wadah pengelola tugas di cluster aplikasi Flink. Misalnya, jika ada lima pengelola tugas, maka ada lima TaskManager kontainer dan Layanan Terkelola untuk Apache Flink menerbitkan 2 * lima sampel metrik ini per interval pelaporan 1 menit. Aplikasi

Itu dihitung per kontainer sebagai:

Penggunaan memori kontainer (byte) * 100/ Batas memori kontainer sesuai spesifikasi penerapan pod (dalam byte)

Metrik HeapMemoryUtilization dan hanya memperhitungkan ManagedMemoryUtilzations metrik memori tertentu seperti Heap Memory Usage of TaskManager JVM atau Managed Memory (penggunaan memori di luar JVM untuk proses asli seperti RocksDB State Backend). containerMemoryUtilizationMetrik memberi Anda gambaran yang lebih lengkap dengan memasukkan memori set kerja, yang merupakan pelacak yang lebih baik dari kelelahan memori total. Setelah kelelahan, itu akan menghasilkan podOut of Memory Error. TaskManager

containerDiskUtilization Persentase Persentase keseluruhan pemanfaatan disk di seluruh wadah pengelola tugas di cluster aplikasi Flink. Misalnya, jika ada lima pengelola tugas, maka ada lima TaskManager kontainer dan Layanan Terkelola untuk Apache Flink menerbitkan 2 * lima sampel metrik ini per interval pelaporan 1 menit. Aplikasi

Itu dihitung per kontainer sebagai:

Penggunaan disk dalam byte* 100/Batas Disk untuk wadah dalam byte

Untuk kontainer, ini mewakili pemanfaatan sistem file tempat volume root wadah diatur.
currentInputWatermark Milidetik Watermark terakhir yang diterima aplikasi/operator/tugas/ulir Aplikasi, Operator, Tugas, Paralelisme Catatan ini hanya dipancarkan untuk dimensi dengan dua input. Ini adalah nilai minimum dari watermark yang terakhir diterima.
currentOutputWatermark Milidetik Watermark terakhir yang dipancarkan aplikasi/operator/tugas/ulir Aplikasi, Operator, Tugas, Paralelisme
downtime Milidetik Untuk tugas yang saat ini dalam situasi gagal/memulihkan, waktu berlalu selama penghentian ini. Aplikasi Metrik ini mengukur waktu berlalu saat tugas gagal atau memulihkan. Metrik ini menampilkan 0 untuk tugas yang berjalan dan -1 untuk tugas yang selesai. Jika metrik ini bukan 0 atau -1, ini menunjukkan tugas Apache Flink untuk aplikasi gagal dijalankan.
fullRestarts Hitung Total berapa kali tugas ini sepenuhnya dimulai kembali sejak dikirimkan. Metrik ini tidak mengukur mulai ulang secara detail. Aplikasi Anda dapat menggunakan metrik ini untuk mengevaluasi kesehatan aplikasi umum. Restart dapat terjadi selama pemeliharaan internal oleh Managed Service untuk Apache Flink. Mulai ulang yang lebih tinggi dari biasanya dapat menunjukkan masalah pada aplikasi.
heapMemoryUtilization Persentase Keseluruhan pemanfaatan memori tumpukan di seluruh manajer tugas. Misalnya, jika ada lima pengelola tugas, Managed Service for Apache Flink menerbitkan lima sampel metrik ini per interval pelaporan. Aplikasi Anda dapat menggunakan metrik ini untuk memantau penggunaan memori tumpukan minimum, rata-rata, dan maksimum dalam aplikasi Anda. HeapMemoryUtilizationSatu-satunya akun untuk metrik memori tertentu seperti Heap Memory Usage of. TaskManager JVM
idleTimeMsPerSecond* Milidetik Waktu (dalam milidetik) tugas atau operator ini menganggur (tidak memiliki data untuk diproses) per detik. Waktu idle tidak termasuk waktu bertekanan kembali, jadi jika tugas kembali ditekan, itu tidak menganggur. Tugas, Operator, Paralelisme

*Tersedia untuk Managed Service untuk aplikasi Apache Flink yang menjalankan Flink versi 1.13 saja.

Metrik ini dapat berguna dalam mengidentifikasi kemacetan dalam suatu aplikasi.
lastCheckpointSize Byte Total ukuran titik pemeriksaan terakhir Aplikasi Anda dapat menggunakan metrik ini untuk menentukan penggunaan penyimpanan aplikasi yang berjalan.

Jika nilai metrik ini meningkat, ini mungkin menunjukkan adanya masalah pada aplikasi Anda, seperti kebocoran memori atau hambatan.
lastCheckpointDuration Milidetik Waktu yang diperlukan untuk menyelesaikan titik pemeriksaan terakhir Aplikasi Metrik ini mengukur waktu yang diperlukan untuk menyelesaikan titik pemeriksaan terbaru. Jika nilai metrik ini meningkat, ini mungkin menunjukkan adanya masalah pada aplikasi Anda, seperti kebocoran memori atau hambatan. Dalam beberapa kasus, Anda dapat memecahkan masalah ini dengan menonaktifkan checkpointing.
managedMemoryUsed* Byte Jumlah memori terkelola yang saat ini digunakan. Aplikasi, Operator, Tugas, Paralelisme

*Tersedia untuk Managed Service untuk aplikasi Apache Flink yang menjalankan Flink versi 1.13 saja.

Ini berkaitan dengan memori yang dikelola oleh Flink di luar tumpukan Java. Ini digunakan untuk backend status RocksDB, dan juga tersedia untuk aplikasi.
managedMemoryTotal* Byte Jumlah total memori yang dikelola. Aplikasi, Operator, Tugas, Paralelisme

*Tersedia untuk Managed Service untuk aplikasi Apache Flink yang menjalankan Flink versi 1.13 saja.

Ini berkaitan dengan memori yang dikelola oleh Flink di luar tumpukan Java. Ini digunakan untuk backend status RocksDB, dan juga tersedia untuk aplikasi. ManagedMemoryUtilzationsMetrik hanya memperhitungkan metrik memori tertentu seperti Memori Terkelola (penggunaan memori di luar JVM untuk proses asli seperti RocksDB State Backend)
managedMemoryUtilization* Persentase Diturunkan oleh managedMemoryUsed/managedMemoryTotal Aplikasi, Operator, Tugas, Paralelisme

*Tersedia untuk Managed Service untuk aplikasi Apache Flink yang menjalankan Flink versi 1.13 saja.

Ini berkaitan dengan memori yang dikelola oleh Flink di luar tumpukan Java. Ini digunakan untuk backend status RocksDB, dan juga tersedia untuk aplikasi.
numberOfFailedCheckpoints Hitung Jumlah kegagalan checkpointing. Aplikasi Anda dapat menggunakan metrik ini untuk memantau kesehatan dan kemajuan aplikasi. Titik pemeriksaan mungkin gagal karena masalah aplikasi, seperti throughput atau masalah izin.
numRecordsIn* Hitung Jumlah total catatan yang diterima aplikasi, operator, atau tugas. Aplikasi, Operator, Tugas, Paralelisme

*Untuk menerapkan SUM statistik selama periode waktu (detik/menit):

  • Pilih metrik pada Level yang benar. Jika Anda melacak metrik untuk Operator, Anda harus memilih metrik operator yang sesuai.

  • Karena Layanan Terkelola untuk Apache Flink mengambil 4 snapshot metrik per menit, matematika metrik berikut harus digunakan: m1/4 di mana m1 adalah SUM statistik selama periode (detik/menit)

Tingkat metrik menentukan apakah metrik ini mengukur jumlah total catatan yang diterima seluruh aplikasi, operator tertentu, atau tugas tertentu.
numRecordsInPerSecond* Hitungan/Detik Jumlah total catatan yang diterima aplikasi, operator, atau tugas per detik. Aplikasi, Operator, Tugas, Paralelisme

*Untuk menerapkan SUM statistik selama periode waktu (detik/menit):

  • Pilih metrik pada Level yang benar. Jika Anda melacak metrik untuk Operator, Anda harus memilih metrik operator yang sesuai.

  • Karena Layanan Terkelola untuk Apache Flink mengambil 4 snapshot metrik per menit, matematika metrik berikut harus digunakan: m1/4 di mana m1 adalah SUM statistik selama periode (detik/menit)

Tingkat metrik menentukan apakah metrik ini mengukur jumlah total catatan yang diterima seluruh aplikasi, operator tertentu, atau tugas tertentu per detik.
numRecordsOut* Hitung Jumlah total catatan yang dipancarkan aplikasi, operator, atau tugas. Aplikasi, Operator, Tugas, Paralelisme

*Untuk menerapkan SUM statistik selama periode waktu (detik/menit):

  • Pilih metrik pada Level yang benar. Jika Anda melacak metrik untuk Operator, Anda harus memilih metrik operator yang sesuai.

  • Karena Layanan Terkelola untuk Apache Flink mengambil 4 snapshot metrik per menit, matematika metrik berikut harus digunakan: m1/4 di mana m1 adalah SUM statistik selama periode (detik/menit)

Tingkat metrik menentukan apakah metrik ini mengukur jumlah total catatan yang dipancarkan seluruh aplikasi, operator tertentu, atau tugas tertentu.
numLateRecordsDropped* Hitung Aplikasi, Operator, Tugas, Paralelisme

*Untuk menerapkan SUM statistik selama periode waktu (detik/menit):

  • Pilih metrik pada Level yang benar. Jika Anda melacak metrik untuk Operator, Anda harus memilih metrik operator yang sesuai.

  • Karena Layanan Terkelola untuk Apache Flink mengambil 4 snapshot metrik per menit, matematika metrik berikut harus digunakan: m1/4 di mana m1 adalah SUM statistik selama periode (detik/menit)

Jumlah catatan yang dibuang operator atau tugas karena datang terlambat.
numRecordsOutPerSecond* Hitungan/Detik Jumlah total catatan yang dipancarkan aplikasi, operator, atau tugas per detik. Aplikasi, Operator, Tugas, Paralelisme

*Untuk menerapkan SUM statistik selama periode waktu (detik/menit):

  • Pilih metrik pada Level yang benar. Jika Anda melacak metrik untuk Operator, Anda harus memilih metrik operator yang sesuai.

  • Karena Layanan Terkelola untuk Apache Flink mengambil 4 snapshot metrik per menit, matematika metrik berikut harus digunakan: m1/4 di mana m1 adalah SUM statistik selama periode (detik/menit)

Tingkat metrik menentukan apakah metrik ini mengukur jumlah total catatan yang dipancarkan seluruh aplikasi, operator tertentu, atau tugas tertentu per detik.
oldGenerationGCCount Hitung Jumlah total operasi pengumpulan sampah lama yang terjadi di semua manajer tugas. Aplikasi
oldGenerationGCTime Milidetik Total waktu yang digunakan untuk melakukan operasi pengumpulan sampah lama. Aplikasi Anda dapat menggunakan metrik ini untuk memantau jumlah, rata-rata, dan waktu pengumpulan sampah maksimum.
threadCount Hitung Jumlah total utas langsung yang digunakan aplikasi. Aplikasi Metrik ini mengukur jumlah utas yang digunakan kode aplikasi. Ini tidak sama dengan paralelisme aplikasi.
uptime Milidetik Waktu ketika tugas berjalan tanpa gangguan. Aplikasi Anda dapat menggunakan metrik ini untuk menentukan apakah tugas berhasil berjalan. Metrik ini menampilkan -1 untuk tugas yang selesai.
KPUs* Hitung Jumlah total yang KPUs digunakan oleh aplikasi. Aplikasi

*Metrik ini menerima satu sampel per periode penagihan (satu jam). Untuk memvisualisasikan jumlah dari KPUs waktu ke waktu, gunakan MAX atau AVG selama periode setidaknya satu (1) jam.

KPUHitungannya termasuk orchestrationKPU. Untuk informasi selengkapnya, lihat Layanan Terkelola untuk Harga Apache Flink.

Metrik konektor Kinesis Data Streams

AWS memancarkan semua catatan untuk Kinesis Data Streams selain yang berikut:

Metrik Unit Deskripsi Tingkat Catatan Penggunaan
millisbehindLatest Milidetik Jumlah milidetik konsumen berada di belakang bagian depan aliran, menunjukkan seberapa jauh di belakang waktu konsumen saat ini. Aplikasi (untuk Stream), Paralelisme (untuk) ShardId

  • Nilai 0 menunjukkan bahwa pemrosesan catatan sedang dilakukan, dan tidak ada catatan baru untuk diproses saat ini. Metrik serpihan tertentu dapat ditentukan oleh nama aliran dan id serpihan.

  • Nilai -1 menunjukkan layanan belum melaporkan nilai untuk metrik.
bytesRequestedPerFetch Byte Byte yang diminta dalam satu panggilan untuk getRecords. Aplikasi (untuk Stream), Paralelisme (untuk) ShardId

Metrik MSK konektor Amazon

AWS memancarkan semua catatan untuk Amazon MSK selain yang berikut:

Metrik Unit Deskripsi Tingkat Catatan Penggunaan
currentoffsets N/A Offset baca konsumen saat ini, untuk setiap partisi. Metrik partisi tertentu dapat ditentukan berdasarkan nama topik dan id partisi. Aplikasi (untuk Topik), Paralelisme (untuk) PartitionId
commitsFailed N/A Jumlah total kegagalan commit offset ke Kafka, jika commit offset dan checkpointing diaktifkan. Aplikasi, Operator, Tugas, Paralelisme Melakukan commit offset kembali ke Kafka hanyalah sarana untuk mengungkapkan kemajuan konsumen, jadi kegagalan commit tidak memengaruhi integritas offset partisi titik pemeriksaan Flink.
commitsSucceeded N/A Jumlah total keberhasilan commit offset ke Kafka, jika commit offset dan checkpointing diaktifkan. Aplikasi, Operator, Tugas, Paralelisme
committedoffsets N/A Offset komit yang berhasil terakhir ke Kafka, untuk setiap partisi. Metrik partisi tertentu dapat ditentukan berdasarkan nama topik dan id partisi. Aplikasi (untuk Topik), Paralelisme (untuk) PartitionId
records_lag_max Hitung Keterlambatan maksimum dalam hal jumlah catatan untuk setiap partisi di jendela ini Aplikasi, Operator, Tugas, Paralelisme
bytes_consumed_rate Byte Jumlah rata-rata byte yang digunakan per detik untuk topik Aplikasi, Operator, Tugas, Paralelisme

Metrik Apache Zeppelin

Untuk notebook Studio, AWS memancarkan metrik berikut di tingkat aplikasi:KPUs,,,, cpuUtilization heapMemoryUtilizationoldGenerationGCTime, oldGenerationGCCount dan. threadCount Selain itu, ini memancarkan metrik yang ditunjukkan dalam tabel berikut, juga pada tingkat aplikasi.

Metrik Unit Deskripsi Nama Prometheus
zeppelinCpuUtilization Persentase Persentase keseluruhan CPU pemanfaatan di server Apache Zeppelin. process_cpu_usage
zeppelinHeapMemoryUtilization Persentase Persentase keseluruhan pemanfaatan memori tumpukan untuk server Apache Zeppelin. jvm_memory_used_bytes
zeppelinThreadCount Hitung Jumlah total utas langsung yang digunakan oleh server Apache Zeppelin. jvm_threads_live_threads
zeppelinWaitingJobs Hitung Jumlah antrian tugas Apache Zeppelin yang menunggu utas. jetty_threads_jobs
zeppelinServerUptime Detik Total waktu server aktif dan berjalan. process_uptime_seconds

Melihat CloudWatch metrik

Anda dapat melihat CloudWatch metrik untuk aplikasi Anda menggunakan CloudWatch konsol Amazon atau. AWS CLI

Untuk melihat metrik menggunakan konsol CloudWatch

  1. Buka CloudWatch konsol di https://console.aws.amazon.com/cloudwatch/.

  2. Di panel navigasi, pilih Metrik.

  3. Di panel CloudWatch Metrik menurut Kategori untuk Layanan Terkelola untuk Apache Flink, pilih kategori metrik.

  4. Di panel atas, gulir untuk melihat daftar lengkap metrik.

Untuk melihat metrik menggunakan AWS CLI

  • Pada jendela perintah, gunakan perintah berikut.

    aws cloudwatch list-metrics --namespace "AWS/KinesisAnalytics" --region region

Menyetel CloudWatch tingkat pelaporan metrik

Anda dapat mengontrol tingkat metrik aplikasi yang dibuat aplikasi Anda. Layanan Terkelola untuk Apache Flink mendukung tingkat metrik berikut:

  • Application (Aplikasi): Aplikasi hanya melaporkan tingkat metrik tertinggi untuk setiap aplikasi. Layanan Terkelola untuk metrik Apache Flink dipublikasikan di tingkat Aplikasi secara default.

  • Task (Tugas): Aplikasi ini melaporkan dimensi metrik khusus tugas untuk metrik yang ditentukan dengan tingkat pelaporan metrik Tugas, seperti jumlah catatan masuk dan keluar dari aplikasi per detik.

  • Operator: Aplikasi ini melaporkan dimensi metrik khusus operator untuk metrik yang ditentukan dengan tingkat pelaporan metrik Operator, seperti metrik untuk setiap operasi filter atau peta.

  • Paralelism (Paralelisme) Aplikasi melaporkan metrik tingkat Task dan Operator untuk setiap utas eksekusi. Tingkat pelaporan ini tidak disarankan untuk aplikasi dengan pengaturan Paralelisme di atas 64 karena biaya yang berlebihan.

    catatan

    Anda hanya harus menggunakan tingkat metrik ini untuk pemecahan masalah karena jumlah data metrik yang dihasilkan layanan. Anda hanya dapat mengatur level metrik ini menggunakanCLI. Tingkat metrik ini tidak tersedia di konsol.

Tingkat default adalah Application (Aplikasi). Aplikasi melaporkan metrik pada tingkat saat ini dan semua tingkat yang lebih tinggi. Misalnya, jika tingkat pelaporan diatur ke Operator, aplikasi melaporkan metrik Application (Aplikasi), Task (Tugas), dan Operator (Operator).

Anda menetapkan tingkat pelaporan CloudWatch metrik menggunakan MonitoringConfiguration parameter CreateApplicationtindakan, atau MonitoringConfigurationUpdate parameter UpdateApplicationtindakan. Contoh permintaan UpdateApplicationtindakan berikut ini menetapkan tingkat pelaporan CloudWatch metrik ke Tugas:

{
   "ApplicationName": "MyApplication",  
   "CurrentApplicationVersionId": 4,
   "ApplicationConfigurationUpdate": { 
      "FlinkApplicationConfigurationUpdate": { 
         "MonitoringConfigurationUpdate": { 
            "ConfigurationTypeUpdate": "CUSTOM",
            "MetricsLevelUpdate": "TASK"
         }
      }
   }
}

Anda juga dapat mengonfigurasi tingkat pencatatan menggunakan parameter LogLevel dari tindakan CreateApplication atau parameter LogLevelUpdate dari tindakan UpdateApplication. Anda dapat menggunakan tingkat log berikut:

  • ERROR: Mencatat peristiwa kesalahan yang berpotensi dapat dipulihkan

  • WARN: Mencatat peristiwa peringatan yang mungkin menyebabkan kesalahan.

  • INFO: Mencatat peristiwa informasi.

  • DEBUG: Mencatat peristiwa debugging umum.

Untuk informasi selengkapnya tentang tingkat pencatatan Log4j, lihat Tingkat Log Kustom di dokumentasi Apache Log4j.