Metrik lingkungan Apache Airflow v2 di CloudWatch

Apache Airflow v2 sudah diatur untuk mengumpulkan dan mengirim metrik StatSD untuk Alur Kerja Terkelola Amazon untuk lingkungan Apache Airflow ke Amazon. CloudWatch Daftar lengkap metrik yang dikirim Apache Airflow tersedia di halaman Metrik di panduan referensi Apache Airflow. Halaman ini menjelaskan metrik Apache Airflow yang tersedia di CloudWatch, dan cara mengakses metrik di konsol. CloudWatch

Daftar Isi

• Ketentuan
• Dimensi
• Mengakses metrik di konsol CloudWatch
• Metrik Apache Airflow tersedia di CloudWatch
  • Penghitung Aliran Udara Apache
  • Pengukur Aliran Udara Apache
  • Pengatur Waktu Aliran Udara Apache
• Memilih metrik mana yang dilaporkan
• Apa selanjutnya?

Ketentuan

Namespace

Namespace adalah wadah untuk CloudWatch metrik layanan. AWS Untuk Amazon MWAA, namespace adalah AmazonMWAA.

CloudWatch metrik

CloudWatch Metrik mewakili kumpulan titik data yang diurutkan waktu yang spesifik untuk CloudWatch.

Metrik Aliran Udara Apache

Metrik khusus untuk Apache Airflow.

Dimensi

Dimensi adalah pasangan nama/nilai yang merupakan bagian dari identitas metrik.

Unit

Sebuah statistik memiliki satuan ukuran. Untuk Amazon MWAA, unit termasuk Hitung, Detik, dan Millidetik. Untuk Amazon MWAA, unit ditetapkan berdasarkan unit dalam metrik Aliran Udara asli.

Dimensi

Bagian ini menjelaskan pengelompokan CloudWatch Dimensi untuk metrik Apache Airflow di. CloudWatch

Dimensi	Deskripsi
HARI	Menunjukkan nama Apache Airflow DAG tertentu.
DAG Nama file	Menunjukkan nama file Apache Airflow DAG tertentu.
Fungsi	Dimensi ini digunakan untuk meningkatkan pengelompokan metrik di. CloudWatch
Pekerjaan	Menunjukkan Apache Airflow Job yang dijalankan oleh Scheduler. Selalu memiliki nilai Job.
Operator	Menunjukkan operator Apache Airflow tertentu.
Kolam	Menunjukkan kumpulan pekerja Apache Airflow tertentu.
Tugas	Menunjukkan tugas Apache Airflow tertentu.
HostName	Menunjukkan nama host untuk proses Apache Airflow tertentu yang berjalan.

Mengakses metrik di konsol CloudWatch

Bagian ini menjelaskan cara mengakses metrik kinerja CloudWatch untuk DAG tertentu.

Untuk melihat metrik kinerja untuk dimensi

1. Buka halaman Metrik di CloudWatch konsol.

2. Gunakan pemilih AWS Wilayah untuk memilih wilayah Anda.

3. Pilih namespace AmazonMwaa.

4. Di tab Semua metrik, pilih dimensi. Misalnya, DAG, Lingkungan.

5. Pilih CloudWatch metrik untuk dimensi. Misalnya, TaskInstanceKeberhasilan atau TaskInstanceDurasi. Pilih Grafik semua hasil pencarian.

6. Pilih tab Graphed metrics untuk melihat statistik performa untuk metrik Apache Airflow, seperti DAG, Environment, Task.

Metrik Apache Airflow tersedia di CloudWatch

Bagian ini menjelaskan metrik dan dimensi Apache Airflow yang dikirim ke. CloudWatch

Penghitung Aliran Udara Apache

Metrik Apache Airflow di bagian ini berisi data tentang Apache Airflow Counters.

CloudWatch metrik	Metrik Aliran Udara Apache	Unit	Dimensi
Membanting catatan Tersedia untuk Apache Airflow v2.4.3 dan di atasnya.	sla_terlewatkan	Hitung	Fungsi, Penjadwal
FailedSlaCallback catatan Tersedia untuk Apache Airflow v2.4.3 dan di atasnya.	sla_callback_notification_failure	Hitung	Fungsi, Penjadwal
Pembaruan catatan Tersedia untuk Apache Airflow v2.6.3 dan di atasnya.	dataset.updates	Hitung	Fungsi, Penjadwal
Yatim piatu catatan Tersedia untuk Apache Airflow v2.6.3 dan di atasnya.	dataset.yatim piatu	Hitung	Fungsi, Penjadwal
FailedCeleryTaskExecution catatan Tersedia untuk Apache Airflow v2.4.3 dan di atasnya.	celery.execute_command.failure	Hitung	Fungsi, Seledri
FilePathQueueUpdateHitung catatan Tersedia untuk Apache Airflow v2.6.3 dan di atasnya.	dag_processing.file_path_queue_update_count	Hitung	Fungsi, Penjadwal
CriticalSectionSibuk	scheduler.critical_section_busy	Hitung	Fungsi, Penjadwal
DagBagUkuran	dagbag_size	Hitung	Fungsi, Pemrosesan DAG
DagCallbackPengecualian	dag.callback_exceptions	Hitung	DAG, Semua
GagalSLA EmailAttempts	sla_email_notification_failure	Hitung	Fungsi, Penjadwal
TaskInstanceSelesai	ti.finish. {dag_id}. {task_id}. {negara}	Hitung	DAG, {dag_id} Tugas, {task_id} Negara, {state}
JobEnd	{job_name} _akhir	Hitung	Job, {job_name}
JobHeartbeatKegagalan	{job_name} _heartbeat_failure	Hitung	Job, {job_name}
JobStart	{job_name} _mulai	Hitung	Job, {job_name}
ManagerStalls	dag_processing.manager_stalls	Hitung	Fungsi, Pemrosesan DAG
OperatorFailures	operator_failures_ {operator_name}	Hitung	Operator, {operator_name}
OperatorSuccesses	operator_successes_ {operator_name}	Hitung	Operator, {operator_name}
OtherCallbackHitung catatan Tersedia dalam Apache Airflow v2.6.3 dan di atasnya.	dag_processing.other_callback_count	Hitung	Fungsi, Penjadwal
Proses	dag_processing.processes	Hitung	Fungsi, Pemrosesan DAG
SchedulerHeartbeat	scheduler_heartbeat	Hitung	Fungsi, Penjadwal
StartedTaskContoh	ti.start. {dag_id}. {task_id}	Hitung	DAG, Semua Tugas, Semua
SlaCallbackHitung	dag_processing.sla_callback_count catatan Tersedia untuk Apache Airflow v2.6.3 dan di atasnya.	Hitung	Fungsi, Penjadwal
TasksKilledEksternal	scheduler.tasks.killed_externally	Hitung	Fungsi, Penjadwal
TaskTimeoutKesalahan	celery.task_timeout_error	Hitung	Fungsi, Seledri
TaskInstanceCreatedUsingOperator	task_instance_created- {operator_name}	Hitung	Operator, {operator_name}
TaskInstancePreviouslySucceeded	sebelumnya_berhasil	Hitung	DAG, Semua Tugas, Semua
TaskInstanceKegagalan	ti_failure	Hitung	DAG, Semua Tugas, Semua
TaskInstanceKeberhasilan	ti_sukses	Hitung	DAG, Semua Tugas, Semua
TaskRemovedDariDag	task_removed_from_dag. {dag_id}	Hitung	DAG, {dag_id}
TaskRestoredToDag	task_restored_to_dag. {dag_id}	Hitung	DAG, {dag_id}
TriggersSucceeded catatan Tersedia untuk Apache Airflow v2.7.2 dan di atasnya.	pemicu.berhasil	Hitung	Fungsi, Pemicu
TriggersFailed catatan Tersedia untuk Apache Airflow v2.7.2 dan di atasnya.	pemicu.gagal	Hitung	Fungsi, Pemicu
TriggersBlockedMainThread catatan Tersedia untuk Apache Airflow v2.7.2 dan di atasnya.	triggers.blocked_main_thread	Hitung	Fungsi, Pemicu
TriggerHeartbeat catatan Tersedia untuk Apache Airflow v2.8.1 dan di atasnya.	triggerer_detak jantung	Hitung	Fungsi, Pemicu
TaskInstanceCreatedUsingOperator	airflow.task_instance_created_ {operator_name} catatan Tersedia untuk Apache Airflow v2.7.2 dan di atasnya.	Hitung	Operator {operator_name}
ZombiesKilled	zombie_dibunuh	Hitung	DAG, Semua Tugas, Semua

Pengukur Aliran Udara Apache

Metrik Apache Airflow di bagian ini berisi data tentang Apache Airflow Gauges.

CloudWatch metrik	Metrik Aliran Udara Apache	Unit	Dimensi
FileRefreshKesalahan DAG	dag_file_refresh_error	Hitung	Fungsi, Pemrosesan DAG
ImportErrors	dag_processing.import_errors	Hitung	Fungsi, Pemrosesan DAG
ExceptionFailures	smart_sensor_operator.exception_failure	Hitung	Fungsi, Operator Sensor Cerdas
ExecutedTasks	smart_sensor_operator.executed_tasks	Hitung	Fungsi, Operator Sensor Cerdas
InfraFailures	smart_sensor_operator.infra_failure	Hitung	Fungsi, Operator Sensor Cerdas
LoadedTasks	smart_sensor_operator.loaded_tasks	Hitung	Fungsi, Operator Sensor Cerdas
TotalParseWaktu	dag_processing.total_parse_time	Detik	Fungsi, Pemrosesan DAG
TriggeredDagBerjalan catatan Tersedia dalam Apache Airflow v2.6.3 dan di atasnya.	dataset.triggered_dagruns	Hitung	Fungsi, Penjadwal
TriggersRunning catatan Tersedia dalam Apache Airflow v2.7.2 dan di atasnya.	pemicu.running. {nama host}	Hitung	Fungsi, Pemicu HostName, {nama host}
PoolDeferredSlot catatan Tersedia dalam Apache Airflow v2.7.2 dan di atasnya.	pool.deferred_slots. {pool_name}	Hitung	Kolam renang, {pool_name}
DAG FileProcessing LastRun SecondsAgo	dag_processing.last_run.seconds_ago. {dag_nama file}	Detik	DAG Nama file, {dag_filename}
OpenSlots	executor.open_slots	Hitung	Fungsi, Pelaksana
OrphanedTasksDiadopsi	scheduler.orphaned_tasks.adopted	Hitung	Fungsi, Penjadwal
OrphanedTasksDibersihkan	scheduler.orphaned_tasks.cleared	Hitung	Fungsi, Penjadwal
PokedExceptions	smart_sensor_operator.poked_exception	Hitung	Fungsi, Operator Sensor Cerdas
PokedSuccess	smart_sensor_operator.poked_success	Hitung	Fungsi, Operator Sensor Cerdas
PokedTasks	smart_sensor_operator.poked_tasks	Hitung	Fungsi, Operator Sensor Cerdas
PoolFailures	pool.open_slots. {pool_name}	Hitung	Kolam renang, {pool_name}
PoolStarvingTugas	pool.starving_tasks. {pool_name}	Hitung	Kolam renang, {pool_name}
PoolOpenSlot	pool.open_slots. {pool_name}	Hitung	Kolam renang, {pool_name}
PoolQueuedSlot	pool.queued_slots. {pool_name}	Hitung	Kolam renang, {pool_name}
PoolRunningSlot	pool.running_slots. {pool_name}	Hitung	Kolam renang, {pool_name}
ProcessorTimeouts	dag_processing.processor_timeouts	Hitung	Fungsi, Pemrosesan DAG
QueuedTasks	executor.queued_tasks	Hitung	Fungsi, Pelaksana
RunningTasks	executor.running_tasks	Hitung	Fungsi, Pelaksana
TasksExecutable	scheduler.tasks.executable	Hitung	Fungsi, Penjadwal
TasksPending catatan Tidak berlaku untuk Apache Airflow v2.2 dan di atasnya.	scheduler.tasks.pending	Hitung	Fungsi, Penjadwal
TasksRunning	scheduler.tasks.running	Hitung	Fungsi, Penjadwal
TasksStarving	scheduler.tasks.starving	Hitung	Fungsi, Penjadwal
TasksWithoutDagRun	scheduler.tasks.without_dagrun	Hitung	Fungsi, Penjadwal

Pengatur Waktu Aliran Udara Apache

Metrik Apache Airflow di bagian ini berisi data tentang Apache Airflow Timers.

CloudWatch metrik	Metrik Aliran Udara Apache	Unit	Dimensi
CollectdBdags	collect_db_dags	Milidetik	Fungsi, Pemrosesan DAG
CriticalSectionDurasi	scheduler.critical_section_duration	Milidetik	Fungsi, Penjadwal
CriticalSectionQueryDuration catatan Tersedia untuk Apache Airflow v2.5.1 dan di atasnya.	scheduler.critical_section_query_duration	Milidetik	Fungsi, Penjadwal
DAG DependencyCheck	dagrun.dependency-check. {dag_id}	Milidetik	DAG, {dag_id}
DAG DurationFailed	dagrun.duration.failed. {dag_id}	Milidetik	DAG, {dag_id}
DAG DurationSuccess	dagrun.duration.success. {dag_id}	Milidetik	DAG, {dag_id}
DAG FileProcessing LastDuration	dag_processing.last_duration. {dag_nama file}	Detik	DAG Nama file, {dag_filename}
DAG ScheduleDelay	dagrun.schedule_delay. {dag_id}	Milidetik	DAG, {dag_id}
FirstTaskSchedulingDelay	dagrun. {dag_id} .first_task_scheduling_delay	Milidetik	DAG, {dag_id}
SchedulerLoopDurasi catatan Tersedia untuk Apache Airflow v2.5.1 dan di atasnya.	scheduler.scheduler_loop_duration	Milidetik	Fungsi, Penjadwal
TaskInstanceDurasi	hari ini. {dag_id}. {task_id} .durasi	Milidetik	DAG, {dag_id} Tugas, {task_id}
TaskInstanceQueuedDuration	hari ini. {dag_id}. {task_id}.antrian_durasi catatan Tersedia untuk Apache Airflow v2.7.2 dan di atasnya.	Milidetik	DAG, {dag_id} Tugas, {task_id}
TaskInstanceScheduledDuration catatan Tersedia untuk Apache Airflow v2.7.2 dan di atasnya.	hari ini. {dag_id}. {task_id}.scheduled_duration	Milidetik	DAG, {dag_id} Tugas, {task_id}

Memilih metrik mana yang dilaporkan

Anda dapat memilih metrik Apache Airflow mana yang dipancarkan CloudWatch, atau diblokir oleh Apache Airflow, menggunakan opsi konfigurasi Amazon MWAA berikut:

• metrics.metrics_allow_list— Daftar awalan dipisahkan koma yang dapat Anda gunakan untuk memilih metrik mana yang dipancarkan oleh lingkungan Anda. CloudWatch Gunakan opsi ini jika Anda ingin Apache Airflow tidak mengirim semua metrik yang tersedia dan sebagai gantinya pilih subset elemen. Misalnya, scheduler,executor,dagrun.

• metrics.metrics_block_list— Daftar awalan yang dipisahkan koma untuk menyaring metrik yang dimulai dengan elemen daftar. Misalnya, scheduler,executor,dagrun.

Jika Anda mengonfigurasi keduanya metrics.metrics_allow_list danmetrics.metrics_block_list, Apache Airflow mengabaikan. metrics.metrics_block_list Jika Anda mengonfigurasi metrics.metrics_block_list tetapi tidakmetrics.metrics_allow_list, Apache Airflow menyaring elemen yang Anda tentukan. metrics.metrics_block_list

catatan

Opsi metrics.metrics_allow_list dan metrics.metrics_block_list konfigurasi hanya berlaku untuk Apache Airflow v2.6.3 dan di atasnya. Untuk versi sebelumnya dari Apache Airflow gunakan metrics.statsd_allow_list dan metrics.statsd_block_list sebagai gantinya.

Apa selanjutnya?

• Jelajahi operasi Amazon MWAA API yang digunakan untuk mempublikasikan metrik kesehatan lingkungan di. PublishMetrics