Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Métriques de l'environnement Apache Airflow v2 dans CloudWatch
Apache Airflow v2 est déjà configuré pour collecter et envoyer à Amazon des métriques StatsD
Table des matières
Conditions
- Espace de noms
-
Un espace de noms est un conteneur pour les CloudWatch métriques d'un AWS service. Pour Amazon MWAA, l'espace de noms est AmazonMWAA.
- CloudWatch métriques
-
Une CloudWatch métrique représente un ensemble chronologique de points de données spécifiques à CloudWatch.
- Métriques d'Apache Airflow
-
Les métriques
spécifiques à Apache Airflow. - Dimension
-
Une dimension est une paire nom-valeur qui fait partie de l'identité d'une métrique.
- Unité
-
Une statistique possède une unité de mesure. Pour Amazon MWAA, les unités incluent le nombre, les secondes et les millisecondes. Pour Amazon MWAA, les unités sont définies en fonction des unités indiquées dans les métriques Airflow d'origine.
Dimensions
Cette section décrit le regroupement de CloudWatch dimensions pour les métriques Apache Airflow dans CloudWatch.
Dimension | Description |
---|---|
JOUR |
Indique un nom de DAG Apache Airflow spécifique. |
Nom de fichier DAG |
Indique un nom de fichier DAG Apache Airflow spécifique. |
Fonction |
Cette dimension est utilisée pour améliorer le regroupement des métriques dans CloudWatch. |
Tâche |
Indique un Job Apache Airflow exécuté par le planificateur. A toujours la valeur Job. |
Opérateur |
Indique un opérateur Apache Airflow spécifique. |
Pool |
Indique un pool de travailleurs Apache Airflow spécifique. |
Tâche |
Indique une tâche Apache Airflow spécifique. |
HostName |
Indique le nom d'hôte d'un processus Apache Airflow spécifique en cours d'exécution. |
Accès aux métriques dans la CloudWatch console
Cette section décrit comment accéder aux métriques de performance CloudWatch pour un DAG spécifique.
Pour consulter les indicateurs de performance d'une dimension
-
Ouvrez la page Metrics
sur la CloudWatch console. -
Utilisez le sélecteur de AWS région pour sélectionner votre région.
-
Choisissez l'espace de noms AmazonMWAA.
-
Dans l'onglet Toutes les mesures, sélectionnez une dimension. Par exemple, DAG, Environnement.
-
Choisissez une CloudWatch métrique pour une dimension. Par exemple, TaskInstanceSuccessesou TaskInstanceDuration. Choisissez Représenter graphiquement tous les résultats de recherche.
-
Choisissez l'onglet Graphed metrics pour afficher les statistiques de performance des métriques Apache Airflow, telles que DAG, Environment, Task.
Les métriques Apache Airflow sont disponibles dans CloudWatch
Cette section décrit les métriques et les dimensions d'Apache Airflow envoyées à CloudWatch.
Compteurs Apache Airflow
Les métriques Apache Airflow présentées dans cette section contiennent des données sur les compteurs Apache Airflow
CloudWatch métrique | Métrique Apache Airflow | Unité | Dimension |
---|---|---|---|
SLA manqué NoteDisponible pour Apache Airflow v2.4.3 et versions ultérieures. |
sla_missed |
Nombre |
Fonction, planificateur |
Rappel SLA échoué NoteDisponible pour Apache Airflow v2.4.3 et versions ultérieures. |
sla_callback_notification_failure |
Nombre |
Fonction, planificateur |
Mises à jour NoteDisponible pour Apache Airflow v2.6.3 et versions ultérieures. |
jeu de données.mises à jour |
Nombre |
Fonction, planificateur |
Orphelin NoteDisponible pour Apache Airflow v2.6.3 et versions ultérieures. |
jeu de données orphelin |
Nombre |
Fonction, planificateur |
FailedCeleryTaskExecution NoteDisponible pour Apache Airflow v2.4.3 et versions ultérieures. |
celery.execute_command.failure |
Nombre |
Fonction, céleri |
FilePathQueueUpdateCount NoteDisponible pour Apache Airflow v2.6.3 et versions ultérieures. |
dag_processing.file_path_queue_update_count |
Nombre |
Fonction, planificateur |
CriticalSectionBusy |
scheduler.critical_section_busy |
Nombre |
Fonction, planificateur |
DagBagSize |
taille_du_sac |
Nombre |
Fonction, traitement DAG |
DagCallbackExceptions |
dag.callback_exceptions |
Nombre |
DAG, Tous |
SLA défaillant EmailAttempts |
échec de notification par e-mail |
Nombre |
Fonction, planificateur |
TaskInstanceFinished |
ti.finish. {day_id}. {identifiant de tâche}. {état} |
Nombre |
DAG, {day_id} Tâche, {task_id} État, {état} |
JobEnd |
{job_name} _fin |
Nombre |
Job, {job_name} |
JobHeartbeatFailure |
{job_name} _heartbeat_failure |
Nombre |
Job, {job_name} |
JobStart |
{nom_tâche} _démarrer |
Nombre |
Job, {job_name} |
ManagerStalls |
dag_processing.manager_stalls |
Nombre |
Fonction, traitement DAG |
OperatorFailures |
opérateur_failures_ {nom_opérateur} |
Nombre |
Opérateur, {operator_name} |
OperatorSuccesses |
operator_successes_ {nom_opérateur} |
Nombre |
Opérateur, {operator_name} |
OtherCallbackCount NoteDisponible dans Apache Airflow v2.6.3 et versions ultérieures. |
dag_processing.other_callback_count |
Nombre |
Fonction, planificateur |
Processus |
dag_processing.processes |
Nombre |
Fonction, traitement DAG |
SchedulerHeartbeat |
scheduler_heartbeat |
Nombre |
Fonction, planificateur |
StartedTaskInstances |
ti.start. {day_id}. {identifiant de tâche} |
Nombre |
DAG, Tous Tâche, tout |
SlaCallbackCount |
dag_processing.sla_callback_count NoteDisponible pour Apache Airflow v2.6.3 et versions ultérieures. |
Nombre |
Fonction, planificateur |
TasksKilledExternally |
scheduler.tasks.killed_external |
Nombre |
Fonction, planificateur |
TaskTimeoutError |
celery.task_timeout_error |
Nombre |
Fonction, céleri |
TaskInstanceCreatedUsingOperator |
task_instance_created- {nom_opérateur} |
Nombre |
Opérateur, {operator_name} |
TaskInstancePreviouslySucceeded |
précédemment _réussi |
Nombre |
DAG, Tous Tâche, tout |
TaskInstanceFailures |
ti_failures |
Nombre |
DAG, Tous Tâche, tout |
TaskInstanceSuccesses |
ti_success |
Nombre |
DAG, Tous Tâche, tout |
TaskRemovedFromDAG |
task_removed_from_dag. {day_id} |
Nombre |
DAG, {day_id} |
TaskRestoredToDAG |
task_restored_to_day. {day_id} |
Nombre |
DAG, {day_id} |
TriggersSucceeded NoteDisponible pour Apache Airflow v2.7.2 et versions ultérieures. |
déclencheurs réussis |
Nombre |
Fonction, déclencheur |
TriggersFailed NoteDisponible pour Apache Airflow v2.7.2 et versions ultérieures. |
déclencheurs. Echec |
Nombre |
Fonction, déclencheur |
TriggersBlockedMainThread NoteDisponible pour Apache Airflow v2.7.2 et versions ultérieures. |
triggers. blocked_main_thread |
Nombre |
Fonction, déclencheur |
TriggerHeartbeat NoteDisponible pour Apache Airflow v2.8.1 et versions ultérieures. |
déclencheur du battement de cœur |
Nombre |
Fonction, déclencheur |
TaskInstanceCreatedUsingOperator |
airflow.task_instance_created_ NoteDisponible pour Apache Airflow v2.7.2 et versions ultérieures. |
Nombre |
Opérateur, |
ZombiesKilled |
zombies tués |
Nombre |
DAG, Tous Tâche, tout |
Jauges de débit d'air Apache
Les métriques Apache Airflow présentées dans cette section contiennent des données sur les jauges Apache Airflow
CloudWatch métrique | Métrique Apache Airflow | Unité | Dimension |
---|---|---|---|
DAG FileRefreshError |
dag_file_refresh_error |
Nombre |
Fonction, traitement DAG |
ImportErrors |
dag_processing.import_errors |
Nombre |
Fonction, traitement DAG |
ExceptionFailures |
smart_sensor_operator.exception_failures |
Nombre |
Fonction, opérateur de capteur intelligent |
ExecutedTasks |
smart_sensor_operator.tâches exécutées |
Nombre |
Fonction, opérateur de capteur intelligent |
InfraFailures |
smart_sensor_operator.infra_failures |
Nombre |
Fonction, opérateur de capteur intelligent |
LoadedTasks |
smart_sensor_operator.loaded_tasks |
Nombre |
Fonction, opérateur de capteur intelligent |
TotalParseTime |
dag_processing.total_parse_time |
Secondes |
Fonction, traitement DAG |
TriggeredDagRuns NoteDisponible dans Apache Airflow v2.6.3 et versions ultérieures. |
jeu de données .triggered_dagruns |
Nombre |
Fonction, planificateur |
TriggersRunning NoteDisponible dans Apache Airflow v2.7.2 et versions ultérieures. |
déclencheurs. Exécution. |
Nombre |
Fonction, déclencheur HostName, |
PoolDeferredSlots NoteDisponible dans Apache Airflow v2.7.2 et versions ultérieures. |
pool.deferred_slots. |
Nombre |
Piscine, {pool_name} |
DAG FileProcessingLastRunSecondsAgo |
dag_processing.last_run. Il y a quelques secondes. {dag_filename} |
Secondes |
Nom du fichier DAG, {dag_filename} |
OpenSlots |
exécuteur.open_slots |
Nombre |
Fonction, exécuteur |
OrphanedTasksAdopted |
scheduler.orphaned_tasks.adopted |
Nombre |
Fonction, planificateur |
OrphanedTasksCleared |
scheduler.orphaned_tasks.cleared |
Nombre |
Fonction, planificateur |
PokedExceptions |
smart_sensor_operator.poked_exception |
Nombre |
Fonction, opérateur de capteur intelligent |
PokedSuccess |
smart_sensor_operator.poked_success |
Nombre |
Fonction, opérateur de capteur intelligent |
PokedTasks |
smart_sensor_operator.poked_tasks |
Nombre |
Fonction, opérateur de capteur intelligent |
PoolFailures |
pool.open_slots. {nom_piscine} |
Nombre |
Piscine, {pool_name} |
PoolStarvingTasks |
pool.starving_tasks. {nom_piscine} |
Nombre |
Piscine, {pool_name} |
PoolOpenSlots |
pool.open_slots. {nom_piscine} |
Nombre |
Piscine, {pool_name} |
PoolQueuedSlots |
pool.queued_slots. {nom_piscine} |
Nombre |
Piscine, {pool_name} |
PoolRunningSlots |
pool.running_slots. {nom_piscine} |
Nombre |
Piscine, {pool_name} |
ProcessorTimeouts |
dag_processing.processor_timeouts |
Nombre |
Fonction, traitement DAG |
QueuedTasks |
executor.queued_tasks |
Nombre |
Fonction, exécuteur |
RunningTasks |
exécuteur.running_tasks |
Nombre |
Fonction, exécuteur |
TasksExecutable |
scheduler.tasks.exécutable |
Nombre |
Fonction, planificateur |
TasksPending NoteNe s'applique pas à Apache Airflow v2.2 et versions ultérieures. |
scheduler.tasks.pending |
Nombre |
Fonction, planificateur |
TasksRunning |
scheduler.tasks.running |
Nombre |
Fonction, planificateur |
TasksStarving |
scheduler.tasks.starving |
Nombre |
Fonction, planificateur |
TasksWithoutDagRun |
scheduler.tasks.without_dagrun |
Nombre |
Fonction, planificateur |
Minuteries Apache Airflow
Les métriques Apache Airflow présentées dans cette section contiennent des données sur les minuteries Apache Airflow
CloudWatch métrique | Métrique Apache Airflow | Unité | Dimension |
---|---|---|---|
Collectez les BDAG |
collecte_db_dags |
Millisecondes |
Fonction, traitement DAG |
CriticalSectionDuration |
scheduler.critical_section_duration |
Millisecondes |
Fonction, planificateur |
CriticalSectionQueryDuration NoteDisponible pour Apache Airflow v2.5.1 et versions ultérieures. |
scheduler.critical_section_query_duration |
Millisecondes |
Fonction, planificateur |
DAG DependencyCheck |
dagrun.dependency-check. {day_id} |
Millisecondes |
DAG, {day_id} |
DAG DurationFailed |
dagrun.duration. a échoué. {day_id} |
Millisecondes |
DAG, {day_id} |
DAG DurationSuccess |
dagrun.duration.success. {day_id} |
Millisecondes |
DAG, {day_id} |
DAG FileProcessingLastDuration |
dag_processing.last_duration. {dag_filename} |
Secondes |
Nom du fichier DAG, {dag_filename} |
DAG ScheduleDelay |
dagrun.schedule_delay. {day_id} |
Millisecondes |
DAG, {day_id} |
FirstTaskSchedulingDelay |
dagrun. {dag_id} .first_task_scheduling_delay |
Millisecondes |
DAG, {day_id} |
SchedulerLoopDuration NoteDisponible pour Apache Airflow v2.5.1 et versions ultérieures. |
scheduler.scheduler_loop_duration |
Millisecondes |
Fonction, planificateur |
TaskInstanceDuration |
jour. {day_id}. {task_id} .durée |
Millisecondes |
DAG, {day_id} Tâche, {task_id} |
TaskInstanceQueuedDuration |
jour. NoteDisponible pour Apache Airflow v2.7.2 et versions ultérieures. |
Millisecondes |
DAG, {day_id} Tâche, {task_id} |
TaskInstanceScheduledDuration NoteDisponible pour Apache Airflow v2.7.2 et versions ultérieures. |
jour. |
Millisecondes |
DAG, {day_id} Tâche, {task_id} |
Choix des indicateurs à signaler
metrics.metrics_allow_list
— Une liste de préfixes séparés par des virgules que vous pouvez utiliser pour sélectionner les métriques vers CloudWatch lesquelles votre environnement émet. Utilisez cette option si vous souhaitez qu'Apache Airflow n'envoie pas toutes les métriques disponibles et sélectionne un sous-ensemble d'éléments. Par exemple,scheduler,executor,dagrun
.metrics.metrics_block_list
— Une liste de préfixes séparés par des virgules pour filtrer les métriques commençant par les éléments de la liste. Par exemple,scheduler,executor,dagrun
.
Si vous configurez les deux metrics.metrics_allow_list
etmetrics.metrics_block_list
, Apache Airflow les ignoremetrics.metrics_block_list
. Si vous configurez metrics.metrics_block_list
mais nonmetrics.metrics_allow_list
, Apache Airflow filtre les éléments que vous spécifiez. metrics.metrics_block_list
Note
Les options metrics.metrics_block_list
de configuration metrics.metrics_allow_list
et s'appliquent uniquement à Apache Airflow v2.6.3 et versions ultérieures. Pour les versions précédentes d'Apache Airflow, utilisez metrics.statsd_allow_list
et à la metrics.statsd_block_list
place.
Quelle est la prochaine étape ?
-
Découvrez le fonctionnement de l'API Amazon MWAA utilisé pour publier les indicateurs de santé de l'environnement sur PublishMetrics.