の Apache Airflow v2 環境メトリクス CloudWatch

Apache Airflow v2 は、Amazon Managed Workflows for Apache Airflow 環境の StatsD メトリクスを収集して Amazon に送信するように既に設定されています CloudWatch。Apache Airflow が送信するメトリクスの全リストは、「Apache Airflow リファレンスガイド」のメトリクスページにあります。このページでは、 で利用可能な Apache Airflow メトリクスと CloudWatch、 CloudWatch コンソールでメトリクスにアクセスする方法について説明します。

目次

• 用語
• ディメンション
• CloudWatch コンソールでのメトリクスへのアクセス
• で利用可能な Apache Airflow メトリクス CloudWatch
  • Apache Airflow カウンター
  • Apache Airflow Gauges
  • Apache Airflow Timers
• どのメトリクスを報告するかを選択する
• 次のステップ

用語

名前空間

名前空間は、 AWS サービスの CloudWatch メトリクスのコンテナです。Amazon MWAA の場合、名前空間は AmazonMWAA です。

CloudWatch メトリクス

CloudWatch メトリクスは、 に固有の時系列のデータポイントのセットを表します CloudWatch。

Apache Airflow メトリクス

Apache Airflow 固有の「メトリクス」。

ディメンション

ディメンションは、メトリクスのアイデンティティの一部である名前と値のペアです。

単位

1 つの統計には、測定単位があります。Amazon MWAA の単位には、カウント、秒、ミリ秒が含まれます。Amazon MWAA の場合、単位は元の Airflow メトリクスの単位に基づいて設定されます。

ディメンション

このセクションでは、 CloudWatch の Apache Airflow メトリクスのディメンショングループについて説明します CloudWatch。

ディメンション	説明
DAG	特定の Apache Airflow DAG 名を示します。
DAG ファイル名	特定の Apache Airflow DAG ファイル名を示します。
機能	このディメンションは、 でのメトリクスのグループ化を改善するために使用されます CloudWatch。
ジョブ	スケジューラーによって実行される Apache Airflow ジョブを示します。常にジョブという価値がある。
演算子	特定の Apache Airflow オペレーターを示します。
プール	特定の Apache Airflow ワーカープールを示します。
タスク	特定の Apache Airflow タスクを示します。
HostName	実行中の特定の Apache Airflow プロセスのホスト名を示します。

CloudWatch コンソールでのメトリクスへのアクセス

このセクションでは、特定の DAG CloudWatch の でパフォーマンスメトリクスにアクセスする方法について説明します。

ディメンションのパフォーマンスメトリクスを表示する方法

1. CloudWatch コンソールでメトリクスページを開きます。

2. AWS リージョンセレクタを使用して、リージョンを選択します。

3. [AmazonMWAA] の名前空間を選択します。

4. [すべてのメトリクス] タブでディメンションを選択します。たとえば、DAG、環境などです。

5. ディメンションの CloudWatch メトリクスを選択します。例えば、TaskInstance成功またはTaskInstance期間 などです。[すべての検索結果をグラフ化] を選択します。

6. 「グラフ化されたメトリクス」 タブを選択すると、DAG、環境、タスクなどの Apache Airflow メトリクスのパフォーマンス統計が表示されます。

で利用可能な Apache Airflow メトリクス CloudWatch

このセクションでは、 に送信される Apache Airflow メトリクスとディメンションについて説明します CloudWatch。

Apache Airflow カウンター

このセクションの Apache Airflow メトリクスには、「Apache Airflow カウンター」に関するデータが含まれています。

CloudWatch メトリクス	Apache Airflow メトリクス	単位	ディメンション
SLAMissed 注記 Apache Airflow v2.4.3 以上で利用可能です。	sla_missed	カウント	関数、スケジュール
FailedSLACallback 注記 Apache Airflow v2.4.3 以上で利用可能です。	sla_callback_notification_failure	カウント	関数、スケジュール
更新 注記 Apache Airflow v2.6.3 以上で利用可能です。	dataset.updates	カウント	関数、スケジュール
Orphaned 注記 Apache Airflow v2.6.3 以上で利用可能です。	dataset.orphaned	カウント	関数、スケジュール
FailedCeleryTaskExecution 注記 Apache Airflow v2.4.3 以上で利用可能です。	celery.execute_command.failure	カウント	関数、Celery
FilePathQueueUpdateカウント 注記 Apache Airflow v2.6.3 以上で利用可能です。	dag_processing.file_path_queue_update_count	カウント	関数、スケジュール
CriticalSectionビジー	scheduler.critical_section_busy	カウント	関数、スケジュール
DagBagサイズ	dagbag_size	カウント	関数、DAG 処理
DagCallback例外	dag.callback_exceptions	カウント	DAG、すべて
FailedSLAEmailAttempts	sla_email_notification_failure	カウント	関数、スケジュール
TaskInstance終了	ti.finish.{dag_id}.{task_id}.{state}	カウント	DAG, {dag_id} Task, {task_id} State, {state}
JobEnd	{job_name}_end	カウント	Job, {job_name}
JobHeartbeat失敗	{job_name}_heartbeat_failure	カウント	Job, {job_name}
JobStart	{job_name}_start	カウント	Job, {job_name}
ManagerStalls	dag_processing.manager_stalls	カウント	関数、DAG 処理
OperatorFailures	operator_failures_{operator_name}	カウント	Operator, {operator_name}
OperatorSuccesses	operator_successes_{operator_name}	カウント	Operator, {operator_name}
OtherCallbackカウント 注記 Apache Airflow v2.6.3 以上で利用可能です。	dag_processing.other_callback_count	カウント	関数、スケジュール
プロセス	dag_processing.processes	カウント	関数、DAG 処理
SchedulerHeartbeat	scheduler_heartbeat	カウント	関数、スケジュール
StartedTaskインスタンス	ti.start.{dag_id}.{task_id}	カウント	DAG、すべて タスク、すべて
SlaCallbackカウント	dag_processing.sla_callback_count 注記 Apache Airflow v2.6.3 以上で利用可能です。	カウント	関数、スケジュール
TasksKilled外部	scheduler.tasks.killed_externally	カウント	関数、スケジュール
TaskTimeoutエラー	celery.task_timeout_error	カウント	関数、Celery
TaskInstanceCreatedUsing演算子	task_instance_created-{operator_name}	カウント	Operator, {operator_name}
TaskInstancePreviouslySucceeded	previously_succeeded	カウント	DAG、すべて タスク、すべて
TaskInstance失敗	ti_failure	カウント	DAG、すべて タスク、すべて
TaskInstance成功	ti_success	カウント	DAG、すべて タスク、すべて
TaskRemovedFromDAG	task_removed_from_dag.{dag_id}	カウント	DAG, {dag_id}
TaskRestoredToDAG	task_restored_to_dag.{dag_id}	カウント	DAG, {dag_id}
TriggersSucceeded 注記 Apache Airflow v2.7.2 以上で利用可能です。	triggers.succeeded	カウント	関数、トリガー
TriggersFailed 注記 Apache Airflow v2.7.2 以上で利用可能です。	triggers.failed	カウント	関数、トリガー
TriggersBlockedMainThread 注記 Apache Airflow v2.7.2 以上で利用可能です。	triggers.blocked_main_thread	カウント	関数、トリガー
TriggerHeartbeat 注記 Apache Airflow v2.8.1 以降で使用できます。	triggerer_heartbeat	カウント	関数、トリガー
TaskInstanceCreatedUsing演算子	airflow.task_instance_created_ {operator_name} 注記 Apache Airflow v2.7.2 以上で利用可能です。	カウント	演算子、{operator_name}
ZombiesKilled	zombies_killed	カウント	DAG、すべて タスク、すべて

Apache Airflow Gauges

このセクションの Apache Airflow メトリクスには、「Apache Airflow ゲージ」に関するデータが含まれています。

CloudWatch メトリクス	Apache Airflow メトリクス	単位	ディメンション
DAG FileRefreshエラー	dag_file_refresh_error	カウント	関数、DAG 処理
ImportErrors	dag_processing.import_errors	カウント	関数、DAG 処理
ExceptionFailures	smart_sensor_operator.exception_failures	カウント	関数、スマートセンサーオペレーター
ExecutedTasks	smart_sensor_operator.executed_tasks	カウント	関数、スマートセンサーオペレーター
InfraFailures	smart_sensor_operator.infra_failures	カウント	関数、スマートセンサーオペレーター
LoadedTasks	smart_sensor_operator.loaded_tasks	カウント	関数、スマートセンサーオペレーター
TotalParse時間	dag_processing.total_parse_time	[秒]	関数、DAG 処理
TriggeredDag実行 注記 Apache Airflow v2.6.3 以上で利用可能です。	dataset.triggered_dagruns	カウント	関数、スケジュール
TriggersRunning 注記 Apache Airflow v2.7.2 以上で利用可能です。	triggers.running.{hostname}	カウント	関数、トリガー HostName、{hostname}
PoolDeferredスロット 注記 Apache Airflow v2.7.2 以上で利用可能です。	pool.deferred_slots. {pool_name}	カウント	Pool, {pool_name}
DAGFileProcessingLastRunSecondsAgo	dag_processing.last_run.seconds_ago.{dag_filename}	[秒]	DAG Filename, {dag_filename}
OpenSlots	executor.open_slots	カウント	関数、エグゼキューター
OrphanedTasks採用済み	scheduler.orphaned_tasks.adopted	カウント	関数、スケジュール
OrphanedTasksクリア済み	scheduler.orphaned_tasks.cleared	カウント	関数、スケジュール
PokedExceptions	smart_sensor_operator.poked_exception	カウント	関数、スマートセンサーオペレーター
PokedSuccess	smart_sensor_operator.poked_success	カウント	関数、スマートセンサーオペレーター
PokedTasks	smart_sensor_operator.poked_tasks	カウント	関数、スマートセンサーオペレーター
PoolFailures	pool.open_slots.{pool_name}	カウント	Pool, {pool_name}
PoolStarvingタスク	pool.starving_tasks.{pool_name}	カウント	Pool, {pool_name}
PoolOpenスロット	pool.open_slots.{pool_name}	カウント	Pool, {pool_name}
PoolQueuedスロット	pool.queued_slots.{pool_name}	カウント	Pool, {pool_name}
PoolRunningスロット	pool.running_slots.{pool_name}	カウント	Pool, {pool_name}
ProcessorTimeouts	dag_processing.processor_timeouts	カウント	関数、DAG 処理
QueuedTasks	executor.queued_tasks	カウント	関数、エグゼキューター
RunningTasks	executor.running_tasks	カウント	関数、エグゼキューター
TasksExecutable	scheduler.tasks.executable	カウント	関数、スケジュール
TasksPending 注記 Apache Airflow v2.2 以上には適用されません。	scheduler.tasks.pending	カウント	関数、スケジュール
TasksRunning	scheduler.tasks.running	カウント	関数、スケジュール
TasksStarving	scheduler.tasks.starving	カウント	関数、スケジュール
TasksWithoutDagRun	scheduler.tasks.without_dagrun	カウント	関数、スケジュール

Apache Airflow Timers

このセクションの Apache Airflow メトリクスには、「Apache Airflow Timers」に関するデータが含まれています。

CloudWatch メトリクス	Apache Airflow メトリクス	単位	ディメンション
CollectDBDags	collect_db_dags	ミリ秒	関数、DAG 処理
CriticalSection期間	scheduler.critical_section_duration	ミリ秒	関数、スケジュール
CriticalSectionQueryDuration 注記 Apache Airflow v2.5.1 以上で利用可能です。	scheduler.critical_section_query_duration	ミリ秒	関数、スケジュール
DAGDependencyCheck	dagrun.dependency-check.{dag_id}	ミリ秒	DAG, {dag_id}
DAGDurationFailed	dagrun.duration.failed.{dag_id}	ミリ秒	DAG, {dag_id}
DAGDurationSuccess	dagrun.duration.success.{dag_id}	ミリ秒	DAG, {dag_id}
DAGFileProcessingLastDuration	dag_processing.last_duration.{dag_filename}	[秒]	DAG Filename, {dag_filename}
DAGScheduleDelay	dagrun.schedule_delay.{dag_id}	ミリ秒	DAG, {dag_id}
FirstTaskSchedulingDelay	dagrun.{dag_id}.first_task_scheduling_delay	ミリ秒	DAG, {dag_id}
SchedulerLoop期間 注記 Apache Airflow v2.5.1 以上で利用可能です。	scheduler.scheduler_loop_duration	ミリ秒	関数、スケジュール
TaskInstance期間	dag.{dag_id}.{task_id}.duration	ミリ秒	DAG, {dag_id} Task, {task_id}
TaskInstanceQueuedDuration	dag.{dag_id}.{task_id}.queued_duration 注記 Apache Airflow v2.7.2 以上で利用可能です。	ミリ秒	DAG, {dag_id} Task, {task_id}
TaskInstanceScheduledDuration 注記 Apache Airflow v2.7.2 以上で利用可能です。	dag.{dag_id}.{task_id}.scheduled_duration	ミリ秒	DAG, {dag_id} Task, {task_id}

どのメトリクスを報告するかを選択する

次の Amazon MWAA 設定オプションを使用して CloudWatch、Apache Airflow に出力される、または Apache Airflow によってブロックされる Apache Airflow メトリクスを選択できます。

• metrics.metrics_allow_list — 環境 CloudWatch によって出力されるメトリクスを選択するために使用できるカンマ区切りプレフィックスのリスト。Apache Airflow で利用可能なメトリクスをすべて送信させずに、要素のサブセットを選択させたい場合は、このオプションを使用してください。例えば scheduler,executor,dagrun です。

• metrics.metrics_block_list — リストの要素で始まるメトリクスを除外するための、カンマで区切られたプレフィックスのリスト。例えば scheduler,executor,dagrun です。

metrics.metrics_allow_list と metrics.metrics_block_list を両方構成した場合、Apache Airflow は metrics.metrics_block_list を無視します。metrics.metrics_block_list を構成して、metrics.metrics_allow_list を構成しなかった場合、Apache Airflow は metrics.metrics_block_list で指定した要素を除外します。

注記

metrics.metrics_allow_list および metrics.metrics_block_list設定オプションは、Apache Airflow v2.6.3 以降にのみ適用されます。Apache Airflow の以前のバージョンでは、metrics.statsd_block_list代わりに metrics.statsd_allow_listと を使用します。

次のステップ

• で環境ヘルスメトリクスを公開するために使用される Amazon MWAA API オペレーションについて説明しますPublishMetrics。