Métricas do ambiente Apache Airflow v2 em CloudWatch

O Apache Airflow v2 já está configurado para coletar e enviar métricas StatsD para um ambiente Amazon Managed Workflows for Apache Airflow para a Amazon. CloudWatch A lista completa de métricas que o Apache Airflow envia está disponível na página Métricas em Guia de referência do Apache Airflow. Esta página descreve as métricas do Apache Airflow disponíveis no CloudWatch console e como acessá-las. CloudWatch

Sumário

• Termos
• Dimensões
• Acessando métricas no CloudWatch console
• Métricas do Apache Airflow disponíveis em CloudWatch
  • Contadores do Apache Airflow
  • Medidores do Apache Airflow
  • Temporizadores do Apache Airflow
• Como escolher quais métricas são relatadas
• Próximas etapas

Termos

Namespace

Um namespace é um contêiner para as CloudWatch métricas de um AWS serviço. Para o Amazon MWAA, o namespace é AmazonMWAA.

CloudWatch métricas

Uma CloudWatch métrica representa um conjunto ordenado por tempo de pontos de dados específicos de CloudWatch.

Métricas do Apache Airflow

As métricas específicas do Apache Airflow.

Dimensão

Uma dimensão é um par de nome/valor que faz parte da identidade de uma métrica.

Unidade

Uma estatística tem uma unidade de medida. Para o Amazon MWAA, as unidades incluem Contagem, Segundos e Milissegundos. Para o Amazon MWAA, as unidades são definidas com base nas unidades nas métricas originais do Airflow.

Dimensões

Esta seção descreve o agrupamento de CloudWatch dimensões para métricas do Apache Airflow em. CloudWatch

Dimensão	Descrição
DAG	Indica um nome específico de DAG do Apache Airflow.
Nome do arquivo DAG	Indica um nome de arquivo específico de DAG do Apache Airflow.
Função	Essa dimensão é usada para melhorar o agrupamento de métricas em CloudWatch.
Trabalho	Indica um trabalho do Apache Airflow executado pelo Agendador. Sempre tem o valor de Trabalho.
Operador	Indica um operador específico do Apache Airflow.
Grupo	Indica um grupo de operadores específico do Apache Airflow.
Tarefa	Indica uma tarefa específica do Apache Airflow.
HostName	Indica o nome do host de um processo específico do Apache Airflow em execução.

Acessando métricas no CloudWatch console

Esta seção descreve como acessar as métricas de desempenho CloudWatch de um DAG específico.

Para visualizar as métricas de desempenho para uma dimensão

1. Abra a página Métricas no CloudWatch console.

2. Use o seletor de AWS região para selecionar sua região.

3. Escolha o namespace AmazonMWAA.

4. Na guia Todas as métricas, selecione uma dimensão. Por exemplo, DAG, Ambiente.

5. Escolha uma CloudWatch métrica para uma dimensão. Por exemplo, TaskInstanceSuccessesou TaskInstanceDuration. Escolha Representar graficamente todos os resultados da pesquisa.

6. Escolha a guia Métricas representadas graficamente para visualizar estatísticas de desempenho das métricas do Apache Airflow, como DAG, Ambiente, Tarefa.

Métricas do Apache Airflow disponíveis em CloudWatch

Esta seção descreve as métricas e dimensões do Apache Airflow enviadas para. CloudWatch

Contadores do Apache Airflow

As métricas do Apache Airflow nesta seção contêm dados sobre os Contadores do Apache Airflow.

CloudWatch métrica	Métrica do Apache Airflow	Unidade	Dimensão
SLAMissed nota Disponível para Apache Airflow v2.4.3 e superior.	sla_missed	Contagem	Função, Agendador
FailedSLACallback nota Disponível para Apache Airflow v2.4.3 e superior.	sla_callback_notification_failure	Contagem	Função, Agendador
Atualizações nota Disponível para Apache Airflow v2.6.3 e superior.	dataset.updates	Contagem	Função, Agendador
Orphaned nota Disponível para Apache Airflow v2.6.3 e superior.	dataset.orphaned	Contagem	Função, Agendador
FailedCeleryTaskExecution nota Disponível para Apache Airflow v2.4.3 e superior.	celery.execute_command.failure	Contagem	Função, Celery
FilePathQueueUpdateCount nota Disponível para Apache Airflow v2.6.3 e superior.	dag_processing.file_path_queue_update_count	Contagem	Função, Agendador
CriticalSectionBusy	scheduler.critical_section_busy	Contagem	Função, Agendador
DagBagSize	dagbag_size	Contagem	Função, Processamento de DAG
DagCallbackExceptions	dag.callback_exceptions	Contagem	DAG, Todos
Falha no SLA EmailAttempts	sla_email_notification_failure	Contagem	Função, Agendador
TaskInstanceFinished	ti.finish.{dag_id}.{task_id}.{state}	Contagem	DAG, {dag_id} Tarefa, {task_id} Estado, {state}
JobEnd	{job_name}_end	Contagem	Trabalho, {job_name}
JobHeartbeatFailure	{job_name}_heartbeat_failure	Contagem	Trabalho, {job_name}
JobStart	{job_name}_start	Contagem	Trabalho, {job_name}
ManagerStalls	dag_processing.manager_stalls	Contagem	Função, Processamento de DAG
OperatorFailures	operator_failures_{operator_name}	Contagem	Operador, {operator_name}
OperatorSuccesses	operator_successes_{operator_name}	Contagem	Operador, {operator_name}
OtherCallbackCount nota Disponível no Apache Airflow v2.6.3 e superior.	dag_processing.other_callback_count	Contagem	Função, Agendador
Processos	dag_processing.processes	Contagem	Função, Processamento de DAG
SchedulerHeartbeat	scheduler_heartbeat	Contagem	Função, Agendador
StartedTaskInstances	ti.start.{dag_id}.{task_id}	Contagem	DAG, Todos Tarefa, Todos
SlaCallbackCount	dag_processing.sla_callback_count nota Disponível para Apache Airflow v2.6.3 e superior.	Contagem	Função, Agendador
TasksKilledExternally	scheduler.tasks.killed_externally	Contagem	Função, Agendador
TaskTimeoutError	celery.task_timeout_error	Contagem	Função, Celery
TaskInstanceCreatedUsingOperator	task_instance_created-{operator_name}	Contagem	Operador, {operator_name}
TaskInstancePreviouslySucceeded	previously_succeeded	Contagem	DAG, Todos Tarefa, Todos
TaskInstanceFailures	ti_failures	Contagem	DAG, Todos Tarefa, Todos
TaskInstanceSuccesses	ti_successes	Contagem	DAG, Todos Tarefa, Todos
TaskRemovedFromDAG	task_removed_from_dag.{dag_id}	Contagem	DAG, {dag_id}
TaskRestoredToDAG	task_restored_to_dag.{dag_id}	Contagem	DAG, {dag_id}
TriggersSucceeded nota Disponível para Apache Airflow v2.7.2 e superior.	triggers.succeeded	Contagem	Função, Trigger
TriggersFailed nota Disponível para Apache Airflow v2.7.2 e superior.	triggers.failed	Contagem	Função, Trigger
TriggersBlockedMainThread nota Disponível para Apache Airflow v2.7.2 e superior.	triggers.blocked_main_thread	Contagem	Função, Trigger
TriggerHeartbeat nota Disponível para Apache Airflow v2.8.1 e superior.	triggerer_heartbeat	Contagem	Função, gatilho
TaskInstanceCreatedUsingOperator	airflow.task_instance_created_{operator_name} nota Disponível para Apache Airflow v2.7.2 e superior.	Contagem	Operador, {operator_name}
ZombiesKilled	zombies_killed	Contagem	DAG, Todos Tarefa, Todos

Medidores do Apache Airflow

As métricas do Apache Airflow nesta seção contêm dados sobre os Medidores do Apache Airflow.

CloudWatch métrica	Métrica do Apache Airflow	Unidade	Dimensão
DAG FileRefreshError	dag_file_refresh_error	Contagem	Função, Processamento de DAG
ImportErrors	dag_processing.import_errors	Contagem	Função, Processamento de DAG
ExceptionFailures	smart_sensor_operator.exception_failures	Contagem	Função, Operador de sensor inteligente
ExecutedTasks	smart_sensor_operator.executed_tasks	Contagem	Função, Operador de sensor inteligente
InfraFailures	smart_sensor_operator.infra_failures	Contagem	Função, Operador de sensor inteligente
LoadedTasks	smart_sensor_operator.loaded_tasks	Contagem	Função, Operador de sensor inteligente
TotalParseTime	dag_processing.total_parse_time	Segundos	Função, Processamento de DAG
TriggeredDagRuns nota Disponível no Apache Airflow v2.6.3 e superior.	dataset.triggered_dagruns	Contagem	Função, Agendador
TriggersRunning nota Disponível no Apache Airflow v2.7.2 e superior.	triggers.running.{hostname}	Contagem	Função, Trigger HostName, {nome do host}
PoolDeferredSlots nota Disponível no Apache Airflow v2.7.2 e superior.	pool.deferred_slots.{pool_name}	Contagem	Pool, {pool_name}
DAG FileProcessingLastRunSecondsAgo	dag_processing.last_run.seconds_ago.{dag_filename}	Segundos	Nome do arquivo DAG, {dag_filename}
OpenSlots	executor.open_slots	Contagem	Função, Executor
OrphanedTasksAdopted	scheduler.orphaned_tasks.adopted	Contagem	Função, Agendador
OrphanedTasksCleared	scheduler.orphaned_tasks.cleared	Contagem	Função, Agendador
PokedExceptions	smart_sensor_operator.poked_exception	Contagem	Função, Operador de sensor inteligente
PokedSuccess	smart_sensor_operator.poked_success	Contagem	Função, Operador de sensor inteligente
PokedTasks	smart_sensor_operator.poked_tasks	Contagem	Função, Operador de sensor inteligente
PoolFailures	pool.open_slots.{pool_name}	Contagem	Pool, {pool_name}
PoolStarvingTasks	pool.starving_tasks.{pool_name}	Contagem	Pool, {pool_name}
PoolOpenSlots	pool.open_slots.{pool_name}	Contagem	Pool, {pool_name}
PoolQueuedSlots	pool.queued_slots.{pool_name}	Contagem	Pool, {pool_name}
PoolRunningSlots	pool.running_slots.{pool_name}	Contagem	Pool, {pool_name}
ProcessorTimeouts	dag_processing.processor_timeouts	Contagem	Função, Processamento de DAG
QueuedTasks	executor.queued_tasks	Contagem	Função, Executor
RunningTasks	executor.running_tasks	Contagem	Função, Executor
TasksExecutable	scheduler.tasks.executable	Contagem	Função, Agendador
TasksPending nota Não se aplica ao Apache Airflow v2.2 e superior.	scheduler.tasks.pending	Contagem	Função, Agendador
TasksRunning	scheduler.tasks.running	Contagem	Função, Agendador
TasksStarving	scheduler.tasks.starving	Contagem	Função, Agendador
TasksWithoutDagRun	scheduler.tasks.without_dagrun	Contagem	Função, Agendador

Temporizadores do Apache Airflow

As métricas do Apache Airflow nesta seção contêm dados sobre os temporizadores do Apache Airflow.

CloudWatch métrica	Métrica do Apache Airflow	Unidade	Dimensão
CollectDBDags	collect_db_dags	Milissegundos	Função, Processamento de DAG
CriticalSectionDuration	scheduler.critical_section_duration	Milissegundos	Função, Agendador
CriticalSectionQueryDuration nota Disponível para Apache Airflow v2.5.1 e superior.	scheduler.critical_section_query_duration	Milissegundos	Função, Agendador
DAG DependencyCheck	dagrun.dependency-check.{dag_id}	Milissegundos	DAG, {dag_id}
DAG DurationFailed	dagrun.duration.failed.{dag_id}	Milissegundos	DAG, {dag_id}
DAG DurationSuccess	dagrun.duration.success.{dag_id}	Milissegundos	DAG, {dag_id}
DAG FileProcessingLastDuration	dag_processing.last_duration.{dag_filename}	Segundos	Nome do arquivo DAG, {dag_filename}
DAG ScheduleDelay	dagrun.schedule_delay.{dag_id}	Milissegundos	DAG, {dag_id}
FirstTaskSchedulingDelay	dagrun.{dag_id}.first_task_scheduling_delay	Milissegundos	DAG, {dag_id}
SchedulerLoopDuration nota Disponível para Apache Airflow v2.5.1 e superior.	scheduler.scheduler_loop_duration	Milissegundos	Função, Agendador
TaskInstanceDuration	dag.{dag_id}.{task_id}.duration	Milissegundos	DAG, {dag_id} Tarefa, {task_id}
TaskInstanceQueuedDuration	dag.{dag_id}.{task_id}.queued_duration nota Disponível para Apache Airflow v2.7.2 e superior.	Milissegundos	DAG, {dag_id} Tarefa, {task_id}
TaskInstanceScheduledDuration nota Disponível para Apache Airflow v2.7.2 e superior.	dag.{dag_id}.{task_id}.scheduled_duration	Milissegundos	DAG, {dag_id} Tarefa, {task_id}

Como escolher quais métricas são relatadas

Você pode escolher quais métricas do Apache Airflow são emitidas ou bloqueadas pelo Apache Airflow usando as seguintes opções de configuração do Amazon MWAA: CloudWatch

• metrics.metrics_allow_list— Uma lista de prefixos separados por vírgula que você pode usar para selecionar quais métricas são emitidas pelo seu CloudWatch ambiente. Use essa opção se quiser que o Apache Airflow não envie todas as métricas disponíveis e, em vez disso, selecione um subconjunto de elementos. Por exemplo, scheduler,executor,dagrun.

• metrics.metrics_block_list: uma lista de prefixos separados por vírgula para filtrar as métricas que começam com os elementos da lista. Por exemplo, scheduler,executor,dagrun.

Se você configurar metrics.metrics_allow_list emetrics.metrics_block_list, o Apache Airflow ignorará metrics.metrics_block_list. Se você configura metrics.metrics_block_list, mas não metrics.metrics_allow_list, o Apache Airflow filtra os elementos que você especifica em metrics.metrics_block_list.

nota

As opções de metrics.metrics_block_list configuração metrics.metrics_allow_list e se aplicam somente ao Apache Airflow v2.6.3 e superior. Para a versão anterior do Apache Airflow, use metrics.statsd_allow_list e metrics.statsd_block_list em vez disso.

Próximas etapas

• Explore a operação da API Amazon MWAA usada para publicar métricas de integridade do ambiente em. PublishMetrics