Métricas del entorno Apache Airflow v2 en CloudWatch - Amazon Managed Workflows para Apache Airflow
TérminosDimensionesAcceder a las métricas en la consola CloudWatch Las métricas de Apache Airflow están disponibles en CloudWatchSelección de las métricas se comunicanSiguientes pasos

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Métricas del entorno Apache Airflow v2 en CloudWatch

Apache Airflow v2 ya está configurada para recopilar y enviar métricas de StatsD para un entorno de Amazon Managed Workflows for Apache Airflow a Amazon. CloudWatch Encontrará la lista completa de métricas que envía Apache Airflow en la página Metrics de la guía de referencia de Apache Airflow. En esta página, se describen las métricas de Apache Airflow disponibles en la CloudWatch consola y cómo acceder a ellas. CloudWatch

Términos

Espacio de nombres

Un espacio de nombres es un contenedor de CloudWatch las métricas de un servicio. AWS En el caso de AmazonMWAA, el espacio de nombres es Amazon. MWAA

CloudWatch métricas

Una CloudWatch métrica representa un conjunto de puntos de datos ordenados en el tiempo que son específicos de CloudWatch.

Métricas de Apache Airflow

Las métricas que son específicas de Apache Airflow.

Dimensión

Una dimensión es un par de nombre-valor que forma parte de la identidad de una métrica.

Unidad

Las estadísticas tienen unidades de medida. En el caso de AmazonMWAA, las unidades incluyen recuento, segundos y milisegundos. En el caso de AmazonMWAA, las unidades se establecen en función de las unidades de las métricas originales de Airflow.

Dimensiones

En esta sección se describe la agrupación de CloudWatch dimensiones de las métricas de Apache Airflow. CloudWatch

Dimensión Descripción

DAG

Indica un nombre específico de Apache DAG Airflow.

DAGNombre del archivo

Indica un nombre de DAG archivo de Apache Airflow específico.

Función

Esta dimensión se utiliza para mejorar la agrupación de las métricas. CloudWatch

Trabajo

Indica un trabajo de Apache Airflow ejecutado por el programador. Siempre tiene un valor trabajo.

Operador

Indica un operador específico de Apache Airflow.

Grupo

Indica un grupo de procesos de trabajo específico de Apache Airflow.

Tarea

Indica una tarea específica de Apache Airflow.

HostName

Indica el nombre de host de un proceso específico que se está ejecutando en Apache Airflow.

Acceder a las métricas en la consola CloudWatch

En esta sección se describe cómo acceder a las métricas de rendimiento CloudWatch de una información específicaDAG.

Pasos para consultar las métricas de rendimiento de una dimensión

  1. Abre la página de métricas en la CloudWatch consola.

  2. Usa el selector de AWS regiones para seleccionar tu región.

  3. Elige el espacio de MWAA nombres de Amazon.

  4. En la pestaña Todas las métricas, elija una dimensión. Por ejemplo, Medio ambienteDAG.

  5. Elija una CloudWatch métrica para una dimensión. Por ejemplo, TaskInstanceSuccesseso TaskInstanceDuration. Elija Representar gráficamente todos los resultados de la búsqueda.

  6. Seleccione la pestaña Métricas graficadas para ver las estadísticas de rendimiento de las métricas de Apache Airflow DAG, como el entorno o la tarea.

Las métricas de Apache Airflow están disponibles en CloudWatch

En esta sección se describen las métricas y dimensiones de Apache Airflow enviadas a. CloudWatch

Contadores de Apache Airflow

Las métricas de Apache Airflow que figuran en esta sección contienen datos sobre los contadores de Apache Airflow.

CloudWatch métrica Métrica de Apache Airflow Unidad Dimensión

SLAMissed

nota

Disponible para Apache Airflow v2.4.3 y posterior.

sla_missed

Recuento

Función, Programador

F ailedSLACallback

nota

Disponible para Apache Airflow v2.4.3 y posterior.

sla_callback_notification_failure

Recuento

Función, Programador

Actualizaciones

nota

Disponible para Apache Airflow v2.6.3 y posterior.

dataset.updates

Recuento

Función, Programador

Orphaned

nota

Disponible para Apache Airflow v2.6.3 y posterior.

dataset.orphaned

Recuento

Función, Programador

FailedCeleryTaskExecution

nota

Disponible para Apache Airflow v2.4.3 y posterior.

celery.execute_command.failure

Recuento

Función, Celery

FilePathQueueUpdateCount

nota

Disponible para Apache Airflow v2.6.3 y posterior.

dag_processing.file_path_queue_update_count

Recuento

Función, Programador

CriticalSectionBusy

scheduler.critical_section_busy

Recuento

Función, Programador

DagBagSize

dagbag_size

Recuento

Función, DAG procesamiento

DagCallbackExceptions

dag.callback_exceptions

Recuento

DAG, Todos

F ailedSLAEmail intentos

sla_email_notification_failure

Recuento

Función, Programador

TaskInstanceFinished

ti.finish.{dag_id}.{task_id}.{state}

Recuento

DAG, {dag_id}

Tarea, {task_id}

Estado, {state}

JobEnd

{job_name}_end

Recuento

Trabajo, {job_name}

JobHeartbeatFailure

{job_name}_heartbeat_failure

Recuento

Trabajo, {job_name}

JobStart

{job_name}_start

Recuento

Trabajo, {job_name}

ManagerStalls

dag_processing.manager_stalls

Recuento

Función, procesamiento DAG

OperatorFailures

operator_failures_{operator_name}

Recuento

Operador, {operator_name}

OperatorSuccesses

operator_successes_{operator_name}

Recuento

Operador, {operator_name}

OtherCallbackCount

nota

Disponible en Apache Airflow v2.6.3 y posterior.

dag_processing.other_callback_count

Recuento

Función, Programador

Processes

dag_processing.processes

Recuento

Función, DAG procesamiento

SchedulerHeartbeat

scheduler_heartbeat

Recuento

Función, Programador

StartedTaskInstances

ti.start.{dag_id}.{task_id}

Recuento

DAG, Todos

Tarea, Todas

SlaCallbackCount

dag_processing.sla_callback_count

nota

Disponible para Apache Airflow v2.6.3 y posterior.

Recuento

Función, Programador

TasksKilledExternally

scheduler.tasks.killed_externally

Recuento

Función, Programador

TaskTimeoutError

celery.task_timeout_error

Recuento

Función, Celery

TaskInstanceCreatedUsingOperator

task_instance_created-{operator_name}

Recuento

Operador, {operator_name}

TaskInstancePreviouslySucceeded

previously_succeeded

Recuento

DAG, Todos

Tarea, Todas

TaskInstanceFailures

ti_failures

Recuento

DAG, Todos

Tarea, Todas

TaskInstanceSuccesses

ti_successes

Recuento

DAG, Todos

Tarea, Todas

TaskRemovedFromDAG

task_removed_from_dag.{dag_id}

Recuento

DAG, {dag_id}

TaskRestoredToDAG

task_restored_to_dag.{dag_id}

Recuento

DAG, {dag_id}

TriggersSucceeded

nota

Disponible para Apache Airflow v2.7.2 y posterior.

triggers.succeeded

Recuento

Función, Disparador

TriggersFailed

nota

Disponible para Apache Airflow v2.7.2 y posterior.

triggers.failed

Recuento

Función, Disparador

TriggersBlockedMainThread

nota

Disponible para Apache Airflow v2.7.2 y posterior.

triggers.blocked_main_thread

Recuento

Función, Disparador

TriggerHeartbeat

nota

Disponible para Apache Airflow v2.8.1 y versiones posteriores.

triggerer_heartbeat

Recuento

Función, disparador

TaskInstanceCreatedUsingOperator

airflow.task_instance_created_{operator_name}

nota

Disponible para Apache Airflow v2.7.2 y posterior.

Recuento

Operador, {operator_name}

ZombiesKilled

zombies_killed

Recuento

DAG, Todos

Tarea, Todas

Indicadores de Apache Airflow

Las métricas de Apache Airflow que figuran en esta sección contienen datos sobre los indicadores de Apache Airflow.

CloudWatch métrico Métrica de Apache Airflow Unidad Dimensión

DAGFileRefreshError

dag_file_refresh_error

Recuento

Función, DAG procesamiento

ImportErrors

dag_processing.import_errors

Recuento

Función, DAG procesamiento

ExceptionFailures

smart_sensor_operator.exception_failures

Recuento

Función, Operador de sensores inteligentes

ExecutedTasks

smart_sensor_operator.executed_tasks

Recuento

Función, Operador de sensores inteligentes

InfraFailures

smart_sensor_operator.infra_failures

Recuento

Función, Operador de sensores inteligentes

LoadedTasks

smart_sensor_operator.loaded_tasks

Recuento

Función, Operador de sensores inteligentes

TotalParseTime

dag_processing.total_parse_time

Segundos

Función, DAG procesamiento

TriggeredDagRuns

nota

Disponible en Apache Airflow v2.6.3 y posterior.

dataset.triggered_dagruns

Recuento

Función, Programador

TriggersRunning

nota

Disponible en Apache Airflow v2.7.2 y posterior.

desencadena. corre.{hostname}

Recuento

Función, Disparador

HostName, {hostname}

PoolDeferredSlots

nota

Disponible en Apache Airflow v2.7.2 y posterior.

pool.deferred_slots.{pool_name}

Recuento

Grupo, {pool_name}

DAGFileProcessingLastRunSecondsAgo

dag_processing.last_run.seconds_ago.{dag_filename}

Segundos

DAGNombre de archivo, {dag_filename}

OpenSlots

executor.open_slots

Recuento

Función, Ejecutor

OrphanedTasksAdopted

scheduler.orphaned_tasks.adopted

Recuento

Función, Programador

OrphanedTasksCleared

scheduler.orphaned_tasks.cleared

Recuento

Función, Programador

PokedExceptions

smart_sensor_operator.poked_exception

Recuento

Función, Operador de sensores inteligentes

PokedSuccess

smart_sensor_operator.poked_success

Recuento

Función, Operador de sensores inteligentes

PokedTasks

smart_sensor_operator.poked_tasks

Recuento

Función, Operador de sensores inteligentes

PoolFailures

pool.open_slots.{pool_name}

Recuento

Grupo, {pool_name}

PoolStarvingTasks

pool.starving_tasks.{pool_name}

Recuento

Grupo, {pool_name}

PoolOpenSlots

pool.open_slots.{pool_name}

Recuento

Grupo, {pool_name}

PoolQueuedSlots

pool.queued_slots.{pool_name}

Recuento

Grupo, {pool_name}

PoolRunningSlots

pool.running_slots.{pool_name}

Recuento

Grupo, {pool_name}

ProcessorTimeouts

dag_processing.processor_timeouts

Recuento

Función, procesamiento DAG

QueuedTasks

executor.queued_tasks

Recuento

Función, Ejecutor

RunningTasks

executor.running_tasks

Recuento

Función, Ejecutor

TasksExecutable

scheduler.tasks.executable

Recuento

Función, Programador

TasksPending

nota

No se aplica a Apache Airflow v2.2 y posterior.

scheduler.tasks.pending

Recuento

Función, Programador

TasksRunning

scheduler.tasks.running

Recuento

Función, Programador

TasksStarving

scheduler.tasks.starving

Recuento

Función, Programador

TasksWithoutDagRun

scheduler.tasks.without_dagrun

Recuento

Función, Programador

Temporizadores de Apache Airflow

Las métricas de Apache Airflow que figuran en esta sección contienen datos sobre los temporizadores de Apache Airflow.

CloudWatch métrica Métrica de Apache Airflow Unidad Dimensión

C ollectDBDags

colect_db_dags

Milisegundos

Función, DAG procesamiento

CriticalSectionDuration

scheduler.critical_section_duration

Milisegundos

Función, Programador

CriticalSectionQueryDuration

nota

Disponible para Apache Airflow v2.5.1 y posterior.

scheduler.critical_section_query_duration

Milisegundos

Función, Programador

DAGDependencyCheck

dagrun.dependency-check.{dag_id}

Milisegundos

DAG, {dag_id}

DAGDurationFailed

dagrun.duration.failed.{dag_id}

Milisegundos

DAG, {dag_id}

DAGDurationSuccess

dagrun.duration.success.{dag_id}

Milisegundos

DAG, {dag_id}

DAGFileProcessingLastDuration

dag_processing.last_duration.{dag_filename}

Segundos

DAGNombre de archivo, {dag_filename}

DAGScheduleDelay

dagrun.schedule_delay.{dag_id}

Milisegundos

DAG, {dag_id}

FirstTaskSchedulingDelay

dagrun.{dag_id}.first_task_scheduling_delay

Milisegundos

DAG, {dag_id}

SchedulerLoopDuration

nota

Disponible para Apache Airflow v2.5.1 y posterior.

scheduler.scheduler_loop_duration

Milisegundos

Función, Programador

TaskInstanceDuration

dag.{dag_id}.{task_id}.duration

Milisegundos

DAG, {dag_id}

Tarea, {task_id}

TaskInstanceQueuedDuration

dag.{dag_id}.{task_id}.queued_duration

nota

Disponible para Apache Airflow v2.7.2 y posterior.

Milisegundos

DAG, {dag_id}

Tarea, {task_id}

TaskInstanceScheduledDuration

nota

Disponible para Apache Airflow v2.7.2 y posterior.

dag.{dag_id}.{task_id}.scheduled_duration

Milisegundos

DAG, {dag_id}

Tarea, {task_id}

Selección de las métricas se comunican

Puedes elegir qué métricas de Apache Airflow emitirá o CloudWatch bloqueará Apache Airflow mediante las siguientes opciones de MWAA configuración de Amazon:

  • metrics.metrics_allow_list— Una lista de prefijos separados por comas que puede utilizar para seleccionar las métricas que emitirá su entorno. CloudWatch Utilice esta opción si no quiere que Apache Airflow envíe todas las métricas disponibles y el subconjunto de elementos que sí quiere enviar. Por ejemplo, scheduler,executor,dagrun.

  • metrics.metrics_block_list: una lista de prefijos separados por comas para filtrar las métricas que comienzan con los elementos de la lista. Por ejemplo, scheduler,executor,dagrun.

Si configura ambas opciones, la metrics.metrics_allow_list y metrics.metrics_block_list, Apache Airflow ignorará la metrics.metrics_block_list. Si configura la metrics.metrics_block_list pero no metrics.metrics_allow_list, Apache Airflow filtrará los elementos que haya especificado en la metrics.metrics_block_list.

nota

Estas opciones metrics.metrics_allow_list de metrics.metrics_block_list configuración solo se aplican a Apache Airflow v2.6.3 y versiones posteriores. Para la versión anterior de Apache Airflow, utilice y en su lugar. metrics.statsd_allow_list metrics.statsd_block_list

Siguientes pasos

  • Explore la MWAA API operación de Amazon utilizada para publicar métricas de salud ambiental en PublishMetrics.