Métriques de l'environnement Apache Airflow v2 dans CloudWatch

Apache Airflow v2 est déjà configuré pour collecter et envoyer à Amazon des métriques StatsD pour un environnement Amazon Managed Workflows for Apache Airflow. CloudWatch La liste complète des métriques envoyées par Apache Airflow est disponible sur la page Metrics du guide de référence Apache Airflow. Cette page décrit les métriques Apache Airflow disponibles dans CloudWatch la CloudWatch console et explique comment y accéder.

Table des matières

• Conditions
• Dimensions
• Accès aux métriques dans la CloudWatch console
• Les métriques Apache Airflow sont disponibles dans CloudWatch
  • Compteurs Apache Airflow
  • Jauges de débit d'air Apache
  • Minuteries Apache Airflow
• Choix des indicateurs à signaler
• Quelle est la prochaine étape ?

Conditions

Espace de noms

Un espace de noms est un conteneur pour les CloudWatch métriques d'un AWS service. Pour Amazon MWAA, l'espace de noms est AmazonMWAA.

CloudWatch métriques

Une CloudWatch métrique représente un ensemble chronologique de points de données spécifiques à CloudWatch.

Métriques d'Apache Airflow

Les métriques spécifiques à Apache Airflow.

Dimension

Une dimension est une paire nom-valeur qui fait partie de l'identité d'une métrique.

Unité

Une statistique possède une unité de mesure. Pour Amazon MWAA, les unités incluent le nombre, les secondes et les millisecondes. Pour Amazon MWAA, les unités sont définies en fonction des unités indiquées dans les métriques Airflow d'origine.

Dimensions

Cette section décrit le regroupement de CloudWatch dimensions pour les métriques Apache Airflow dans CloudWatch.

Dimension	Description
JOUR	Indique un nom de DAG Apache Airflow spécifique.
Nom de fichier DAG	Indique un nom de fichier DAG Apache Airflow spécifique.
Fonction	Cette dimension est utilisée pour améliorer le regroupement des métriques dans CloudWatch.
Tâche	Indique un Job Apache Airflow exécuté par le planificateur. A toujours la valeur Job.
Opérateur	Indique un opérateur Apache Airflow spécifique.
Pool	Indique un pool de travailleurs Apache Airflow spécifique.
Tâche	Indique une tâche Apache Airflow spécifique.
HostName	Indique le nom d'hôte d'un processus Apache Airflow spécifique en cours d'exécution.

Accès aux métriques dans la CloudWatch console

Cette section décrit comment accéder aux métriques de performance CloudWatch pour un DAG spécifique.

Pour consulter les indicateurs de performance d'une dimension

1. Ouvrez la page Metrics sur la CloudWatch console.

2. Utilisez le sélecteur de AWS région pour sélectionner votre région.

3. Choisissez l'espace de noms AmazonMWAA.

4. Dans l'onglet Toutes les mesures, sélectionnez une dimension. Par exemple, DAG, Environnement.

5. Choisissez une CloudWatch métrique pour une dimension. Par exemple, TaskInstanceSuccessesou TaskInstanceDuration. Choisissez Représenter graphiquement tous les résultats de recherche.

6. Choisissez l'onglet Graphed metrics pour afficher les statistiques de performance des métriques Apache Airflow, telles que DAG, Environment, Task.

Les métriques Apache Airflow sont disponibles dans CloudWatch

Cette section décrit les métriques et les dimensions d'Apache Airflow envoyées à CloudWatch.

Compteurs Apache Airflow

Les métriques Apache Airflow présentées dans cette section contiennent des données sur les compteurs Apache Airflow.

CloudWatch métrique	Métrique Apache Airflow	Unité	Dimension
SLA manqué Note Disponible pour Apache Airflow v2.4.3 et versions ultérieures.	sla_missed	Nombre	Fonction, planificateur
Rappel SLA échoué Note Disponible pour Apache Airflow v2.4.3 et versions ultérieures.	sla_callback_notification_failure	Nombre	Fonction, planificateur
Mises à jour Note Disponible pour Apache Airflow v2.6.3 et versions ultérieures.	jeu de données.mises à jour	Nombre	Fonction, planificateur
Orphelin Note Disponible pour Apache Airflow v2.6.3 et versions ultérieures.	jeu de données orphelin	Nombre	Fonction, planificateur
FailedCeleryTaskExecution Note Disponible pour Apache Airflow v2.4.3 et versions ultérieures.	celery.execute_command.failure	Nombre	Fonction, céleri
FilePathQueueUpdateCount Note Disponible pour Apache Airflow v2.6.3 et versions ultérieures.	dag_processing.file_path_queue_update_count	Nombre	Fonction, planificateur
CriticalSectionBusy	scheduler.critical_section_busy	Nombre	Fonction, planificateur
DagBagSize	taille_du_sac	Nombre	Fonction, traitement DAG
DagCallbackExceptions	dag.callback_exceptions	Nombre	DAG, Tous
SLA défaillant EmailAttempts	échec de notification par e-mail	Nombre	Fonction, planificateur
TaskInstanceFinished	ti.finish. {day_id}. {identifiant de tâche}. {état}	Nombre	DAG, {day_id} Tâche, {task_id} État, {état}
JobEnd	{job_name} _fin	Nombre	Job, {job_name}
JobHeartbeatFailure	{job_name} _heartbeat_failure	Nombre	Job, {job_name}
JobStart	{nom_tâche} _démarrer	Nombre	Job, {job_name}
ManagerStalls	dag_processing.manager_stalls	Nombre	Fonction, traitement DAG
OperatorFailures	opérateur_failures_ {nom_opérateur}	Nombre	Opérateur, {operator_name}
OperatorSuccesses	operator_successes_ {nom_opérateur}	Nombre	Opérateur, {operator_name}
OtherCallbackCount Note Disponible dans Apache Airflow v2.6.3 et versions ultérieures.	dag_processing.other_callback_count	Nombre	Fonction, planificateur
Processus	dag_processing.processes	Nombre	Fonction, traitement DAG
SchedulerHeartbeat	scheduler_heartbeat	Nombre	Fonction, planificateur
StartedTaskInstances	ti.start. {day_id}. {identifiant de tâche}	Nombre	DAG, Tous Tâche, tout
SlaCallbackCount	dag_processing.sla_callback_count Note Disponible pour Apache Airflow v2.6.3 et versions ultérieures.	Nombre	Fonction, planificateur
TasksKilledExternally	scheduler.tasks.killed_external	Nombre	Fonction, planificateur
TaskTimeoutError	celery.task_timeout_error	Nombre	Fonction, céleri
TaskInstanceCreatedUsingOperator	task_instance_created- {nom_opérateur}	Nombre	Opérateur, {operator_name}
TaskInstancePreviouslySucceeded	précédemment _réussi	Nombre	DAG, Tous Tâche, tout
TaskInstanceFailures	ti_failures	Nombre	DAG, Tous Tâche, tout
TaskInstanceSuccesses	ti_success	Nombre	DAG, Tous Tâche, tout
TaskRemovedFromDAG	task_removed_from_dag. {day_id}	Nombre	DAG, {day_id}
TaskRestoredToDAG	task_restored_to_day. {day_id}	Nombre	DAG, {day_id}
TriggersSucceeded Note Disponible pour Apache Airflow v2.7.2 et versions ultérieures.	déclencheurs réussis	Nombre	Fonction, déclencheur
TriggersFailed Note Disponible pour Apache Airflow v2.7.2 et versions ultérieures.	déclencheurs. Echec	Nombre	Fonction, déclencheur
TriggersBlockedMainThread Note Disponible pour Apache Airflow v2.7.2 et versions ultérieures.	triggers. blocked_main_thread	Nombre	Fonction, déclencheur
TriggerHeartbeat Note Disponible pour Apache Airflow v2.8.1 et versions ultérieures.	déclencheur du battement de cœur	Nombre	Fonction, déclencheur
TaskInstanceCreatedUsingOperator	airflow.task_instance_created_ {operator_name} Note Disponible pour Apache Airflow v2.7.2 et versions ultérieures.	Nombre	Opérateur, {operator_name}
ZombiesKilled	zombies tués	Nombre	DAG, Tous Tâche, tout

Jauges de débit d'air Apache

Les métriques Apache Airflow présentées dans cette section contiennent des données sur les jauges Apache Airflow.

CloudWatch métrique	Métrique Apache Airflow	Unité	Dimension
DAG FileRefreshError	dag_file_refresh_error	Nombre	Fonction, traitement DAG
ImportErrors	dag_processing.import_errors	Nombre	Fonction, traitement DAG
ExceptionFailures	smart_sensor_operator.exception_failures	Nombre	Fonction, opérateur de capteur intelligent
ExecutedTasks	smart_sensor_operator.tâches exécutées	Nombre	Fonction, opérateur de capteur intelligent
InfraFailures	smart_sensor_operator.infra_failures	Nombre	Fonction, opérateur de capteur intelligent
LoadedTasks	smart_sensor_operator.loaded_tasks	Nombre	Fonction, opérateur de capteur intelligent
TotalParseTime	dag_processing.total_parse_time	Secondes	Fonction, traitement DAG
TriggeredDagRuns Note Disponible dans Apache Airflow v2.6.3 et versions ultérieures.	jeu de données .triggered_dagruns	Nombre	Fonction, planificateur
TriggersRunning Note Disponible dans Apache Airflow v2.7.2 et versions ultérieures.	déclencheurs. Exécution. {nom d'hôte}	Nombre	Fonction, déclencheur HostName, {nom d'hôte}
PoolDeferredSlots Note Disponible dans Apache Airflow v2.7.2 et versions ultérieures.	pool.deferred_slots. {pool_name}	Nombre	Piscine, {pool_name}
DAG FileProcessingLastRunSecondsAgo	dag_processing.last_run. Il y a quelques secondes. {dag_filename}	Secondes	Nom du fichier DAG, {dag_filename}
OpenSlots	exécuteur.open_slots	Nombre	Fonction, exécuteur
OrphanedTasksAdopted	scheduler.orphaned_tasks.adopted	Nombre	Fonction, planificateur
OrphanedTasksCleared	scheduler.orphaned_tasks.cleared	Nombre	Fonction, planificateur
PokedExceptions	smart_sensor_operator.poked_exception	Nombre	Fonction, opérateur de capteur intelligent
PokedSuccess	smart_sensor_operator.poked_success	Nombre	Fonction, opérateur de capteur intelligent
PokedTasks	smart_sensor_operator.poked_tasks	Nombre	Fonction, opérateur de capteur intelligent
PoolFailures	pool.open_slots. {nom_piscine}	Nombre	Piscine, {pool_name}
PoolStarvingTasks	pool.starving_tasks. {nom_piscine}	Nombre	Piscine, {pool_name}
PoolOpenSlots	pool.open_slots. {nom_piscine}	Nombre	Piscine, {pool_name}
PoolQueuedSlots	pool.queued_slots. {nom_piscine}	Nombre	Piscine, {pool_name}
PoolRunningSlots	pool.running_slots. {nom_piscine}	Nombre	Piscine, {pool_name}
ProcessorTimeouts	dag_processing.processor_timeouts	Nombre	Fonction, traitement DAG
QueuedTasks	executor.queued_tasks	Nombre	Fonction, exécuteur
RunningTasks	exécuteur.running_tasks	Nombre	Fonction, exécuteur
TasksExecutable	scheduler.tasks.exécutable	Nombre	Fonction, planificateur
TasksPending Note Ne s'applique pas à Apache Airflow v2.2 et versions ultérieures.	scheduler.tasks.pending	Nombre	Fonction, planificateur
TasksRunning	scheduler.tasks.running	Nombre	Fonction, planificateur
TasksStarving	scheduler.tasks.starving	Nombre	Fonction, planificateur
TasksWithoutDagRun	scheduler.tasks.without_dagrun	Nombre	Fonction, planificateur

Minuteries Apache Airflow

Les métriques Apache Airflow présentées dans cette section contiennent des données sur les minuteries Apache Airflow.

CloudWatch métrique	Métrique Apache Airflow	Unité	Dimension
Collectez les BDAG	collecte_db_dags	Millisecondes	Fonction, traitement DAG
CriticalSectionDuration	scheduler.critical_section_duration	Millisecondes	Fonction, planificateur
CriticalSectionQueryDuration Note Disponible pour Apache Airflow v2.5.1 et versions ultérieures.	scheduler.critical_section_query_duration	Millisecondes	Fonction, planificateur
DAG DependencyCheck	dagrun.dependency-check. {day_id}	Millisecondes	DAG, {day_id}
DAG DurationFailed	dagrun.duration. a échoué. {day_id}	Millisecondes	DAG, {day_id}
DAG DurationSuccess	dagrun.duration.success. {day_id}	Millisecondes	DAG, {day_id}
DAG FileProcessingLastDuration	dag_processing.last_duration. {dag_filename}	Secondes	Nom du fichier DAG, {dag_filename}
DAG ScheduleDelay	dagrun.schedule_delay. {day_id}	Millisecondes	DAG, {day_id}
FirstTaskSchedulingDelay	dagrun. {dag_id} .first_task_scheduling_delay	Millisecondes	DAG, {day_id}
SchedulerLoopDuration Note Disponible pour Apache Airflow v2.5.1 et versions ultérieures.	scheduler.scheduler_loop_duration	Millisecondes	Fonction, planificateur
TaskInstanceDuration	jour. {day_id}. {task_id} .durée	Millisecondes	DAG, {day_id} Tâche, {task_id}
TaskInstanceQueuedDuration	jour. {dag_id}. {task_id}.queued_duration Note Disponible pour Apache Airflow v2.7.2 et versions ultérieures.	Millisecondes	DAG, {day_id} Tâche, {task_id}
TaskInstanceScheduledDuration Note Disponible pour Apache Airflow v2.7.2 et versions ultérieures.	jour. {dag_id}. {task_id}.durée_planifiée	Millisecondes	DAG, {day_id} Tâche, {task_id}

Choix des indicateurs à signaler

Vous pouvez choisir les métriques Apache Airflow qui sont émises ou bloquées par Apache Airflow CloudWatch, à l'aide des options de configuration Amazon MWAA suivantes :

• metrics.metrics_allow_list— Une liste de préfixes séparés par des virgules que vous pouvez utiliser pour sélectionner les métriques vers CloudWatch lesquelles votre environnement émet. Utilisez cette option si vous souhaitez qu'Apache Airflow n'envoie pas toutes les métriques disponibles et sélectionne un sous-ensemble d'éléments. Par exemple, scheduler,executor,dagrun.

• metrics.metrics_block_list— Une liste de préfixes séparés par des virgules pour filtrer les métriques commençant par les éléments de la liste. Par exemple, scheduler,executor,dagrun.

Si vous configurez les deux metrics.metrics_allow_list etmetrics.metrics_block_list, Apache Airflow les ignoremetrics.metrics_block_list. Si vous configurez metrics.metrics_block_list mais nonmetrics.metrics_allow_list, Apache Airflow filtre les éléments que vous spécifiez. metrics.metrics_block_list

Note

Les options metrics.metrics_block_list de configuration metrics.metrics_allow_list et s'appliquent uniquement à Apache Airflow v2.6.3 et versions ultérieures. Pour les versions précédentes d'Apache Airflow, utilisez metrics.statsd_allow_list et à la metrics.statsd_block_list place.

Quelle est la prochaine étape ?

• Découvrez le fonctionnement de l'API Amazon MWAA utilisé pour publier les indicateurs de santé de l'environnement sur PublishMetrics.