Apache Airflow v2-Umgebungsmetriken in CloudWatch

Apache Airflow v2 ist bereits dafür eingerichtet, StatsD-Metriken für eine Amazon Managed Workflows for Apache Airflow Airflow-Umgebung zu sammeln und an Amazon zu senden. CloudWatch Die vollständige Liste der von Apache Airflow gesendeten Metriken ist auf der Seite Metriken im Apache Airflow Airflow-Referenzhandbuch verfügbar. Auf dieser Seite werden die Apache Airflow-Metriken beschrieben, die in der Konsole verfügbar sind CloudWatch, und wie Sie auf Metriken in der CloudWatch Konsole zugreifen können.

Inhalt

• Bedingungen

• Dimensionen

• Zugreifen auf Metriken in der Konsole CloudWatch

• Apache Airflow-Metriken verfügbar in CloudWatch

  • Apache Airflow Luftstromzähler

  • Apache Airflow Luftstrommessgeräte

  • Apache Airflow Timer

• Auswahl der Metriken, die gemeldet werden

• Als nächstes

Bedingungen

Namespace

Ein Namespace ist ein Container für die CloudWatch Metriken eines AWS Dienstes. Für Amazon MWAA lautet der Namespace AmazonMWAA.

CloudWatch Metriken

Eine CloudWatch Metrik stellt einen nach der Zeit geordneten Satz von Datenpunkten dar, die spezifisch für sind. CloudWatch

Apache Airflow-Metriken

Die spezifischen Metriken für Apache Airflow.

Dimension

Eine Dimension ist ein name/value Paar, das Teil der Identität einer Metrik ist.

Einheit

Eine Statistik hat eine Maßeinheit. Für Amazon MWAA umfassen die Einheiten Anzahl, Sekunden und Millisekunden. Für Amazon MWAA werden die Einheiten auf der Grundlage der Einheiten in den ursprünglichen Airflow-Metriken festgelegt.

Dimensionen

In diesem Abschnitt wird die Gruppierung von CloudWatch Dimensionen für Apache Airflow-Metriken in beschrieben. CloudWatch

Dimension	Beschreibung
DAG	Zeigt einen bestimmten Apache Airflow DAG-Namen an.
DAG-Dateiname	Zeigt einen bestimmten Apache Airflow DAG-Dateinamen an.
Funktion	Diese Dimension wird verwendet, um die Gruppierung von Metriken in zu verbessern. CloudWatch
Aufgabe	Zeigt einen Apache Airflow Airflow-Job an, der vom Scheduler ausgeführt wird. Hat immer den Wert Job.
Operator	Zeigt einen bestimmten Apache Airflow Airflow-Operator an.
Pool	Zeigt einen bestimmten Apache Airflow Airflow-Workerpool an.
Aufgabe	Weist auf eine bestimmte Apache Airflow Airflow-Aufgabe hin.
HostName	Gibt den Hostnamen für einen bestimmten laufenden Apache Airflow Airflow-Prozess an.

Zugreifen auf Metriken in der Konsole CloudWatch

In diesem Abschnitt wird beschrieben, wie Sie auf Leistungsmetriken CloudWatch für eine bestimmte DAG zugreifen.

So zeigen Sie Leistungskennzahlen für eine Dimension an

1. Öffnen Sie die Seite „Metriken“ in der CloudWatch Konsole.

2. Verwenden Sie die AWS Regionsauswahl, um Ihre Region auszuwählen.

3. Wählen Sie den AmazonMWAA-Namespace.

4. Wählen Sie auf der Registerkarte Alle Metriken eine Dimension aus. Zum Beispiel DAG, Umgebung.

5. Wählen Sie eine CloudWatch Metrik für eine Dimension aus. Zum Beispiel TaskInstanceSuccesses oder TaskInstanceDuration. Wählen Sie Alle Suchergebnisse grafisch darstellen aus.

6. Wählen Sie den Tab Graphed Metrics, um Leistungsstatistiken für Apache Airflow-Metriken wie DAG, Umgebung, Task anzuzeigen.

Apache Airflow-Metriken verfügbar in CloudWatch

In diesem Abschnitt werden die Apache Airflow-Metriken und -Dimensionen beschrieben, an die CloudWatch gesendet werden.

Apache Airflow Luftstromzähler

Die Apache Airflow-Metriken in diesem Abschnitt enthalten Daten über Apache Airflow Counters.

CloudWatch Metrik	Apache Airflow-Metrik	Einheit	Dimension
SLAMissed Anmerkung Verfügbar für Apache Airflow v2.4.3 und höher.	sla_missed	Anzahl	Funktion, Scheduler
Fehlgeschlagen SLACallback Anmerkung Verfügbar für Apache Airflow v2.4.3 und höher.	sla_callback_notification_failure	Anzahl	Funktion, Scheduler
Aktualisierungen Anmerkung Verfügbar für Apache Airflow v2.6.3 und höher.	dataset.updates	Anzahl	Funktion, Scheduler
Verwaist Anmerkung Verfügbar für Apache Airflow v2.6.3 und höher.	dataset.verwaist	Anzahl	Funktion, Scheduler
FailedCeleryTaskExecution Anmerkung Verfügbar für Apache Airflow v2.4.3 und höher.	celery.execute_command.failure	Anzahl	Funktion, Sellerie
FilePathQueueUpdateCount Anmerkung Verfügbar für Apache Airflow v2.6.3 und höher.	dag_processing.file_path_queue_update_count	Anzahl	Funktion, Scheduler
CriticalSectionBusy	scheduler.critical_section_busy	Anzahl	Funktion, Scheduler
DagBagSize	dagbag_size	Anzahl	Funktion, DAG-Verarbeitung
DagCallbackExceptions	dag.callback_exceptions	Anzahl	DAG, Alle
Fehlgeschlagene SLAEmail Versuche	sla_email_notification_failure	Anzahl	Funktion, Scheduler
TaskInstanceFinished	bis fertig. {tag_id}. {Aufgaben-ID}. {Bundesstaat}	Anzahl	TAG, {tag_id} Aufgabe, {task_id} Bundesstaat, {Bundesstaat}
JobEnd	{Jobname} _Ende	Anzahl	Job, {job_name}
JobHeartbeatFailure	{Jobname} _Heartbeat_Failure	Anzahl	Job, {job_name}
JobStart	{Jobname} _Start	Anzahl	Job, {job_name}
ManagerStalls	dag_processing.manager_stalls	Anzahl	Funktion, DAG-Verarbeitung
OperatorFailures	operator_failures_ {operator_name}	Anzahl	Betreiber, {operator_name}
OperatorSuccesses	operator_successes_ {operator_name}	Anzahl	Betreiber, {operator_name}
OtherCallbackCount Anmerkung Verfügbar in Apache Airflow v2.6.3 und höher.	dag_processing.other_callback_count	Anzahl	Funktion, Scheduler
Prozesse	dag_processing.processes	Anzahl	Funktion, DAG-Verarbeitung
SchedulerHeartbeat	scheduler_heartbeat	Anzahl	Funktion, Scheduler
StartedTaskInstances	ti.start. {tag_id}. {Aufgaben-ID}	Anzahl	DAG, Alle Aufgabe, Alle
SlaCallbackCount	dag_processing.sla_callback_count Anmerkung Verfügbar für Apache Airflow v2.6.3 und höher.	Anzahl	Funktion, Scheduler
TasksKilledExternally	scheduler.tasks.killed_external	Anzahl	Funktion, Scheduler
TaskTimeoutError	celery.task_timeout_error	Anzahl	Funktion, Sellerie
TaskInstanceCreatedUsingOperator	task_instance_created- {Operatorname}	Anzahl	Betreiber, {operator_name}
TaskInstancePreviouslySucceeded	früher_erfolgreich	Anzahl	DAG, Alle Aufgabe, Alle
TaskInstanceFailures	ti_failures	Anzahl	DAG, Alle Aufgabe, Alle
TaskInstanceSuccesses	ti_successes	Anzahl	DAG, Alle Aufgabe, Alle
TaskRemovedFromTAG	task_from_dag entfernt. {tag_id}	Anzahl	TAG, {dag_id}
TaskRestoredToTAG	task_restored_to_dag. {tag_id}	Anzahl	TAG, {dag_id}
TriggersSucceeded Anmerkung Verfügbar für Apache Airflow v2.7.2 und höher.	triggers.erfolgreich	Anzahl	Funktion, Auslöser
TriggersFailed Anmerkung Verfügbar für Apache Airflow v2.7.2 und höher.	triggers.failed	Anzahl	Funktion, Auslöser
TriggersBlockedMainThread Anmerkung Verfügbar für Apache Airflow v2.7.2 und höher.	triggers.blocked_main_thread	Anzahl	Funktion, Auslöser
TriggerHeartbeat Anmerkung Verfügbar für Apache Airflow v2.8.1 und höher.	triggerer_heartbeat	Anzahl	Funktion, Triggerer
TaskInstanceCreatedUsingOperator	airflow.task_instance_created_ {operator_name} Anmerkung Verfügbar für Apache Airflow v2.7.2 und höher.	Anzahl	Betreiber, {operator_name}
ZombiesKilled	Zombies_getötet	Anzahl	DAG, Alle Aufgabe, Alle

Apache Airflow Luftstrommessgeräte

Die Apache Airflow-Metriken in diesem Abschnitt enthalten Daten über Apache Airflow Gauges.

CloudWatch Metrik	Apache Airflow-Metrik	Einheit	Dimension
DAGFileRefreshError	dag_file_refresh_error	Anzahl	Funktion, DAG-Verarbeitung
ImportErrors	dag_processing.import_errors	Anzahl	Funktion, DAG-Verarbeitung
ExceptionFailures	smart_sensor_operator.exception_failures	Anzahl	Funktion, intelligenter Sensoroperator
ExecutedTasks	smart_sensor_operator.executed_tasks	Anzahl	Funktion, intelligenter Sensor-Operator
InfraFailures	smart_sensor_operator.infra_failures	Anzahl	Funktion, intelligenter Sensor-Operator
LoadedTasks	smart_sensor_operator.loaded_tasks	Anzahl	Funktion, intelligenter Sensoroperator
TotalParseTime	dag_processing.total_parse_time	Sekunden	Funktion, DAG-Verarbeitung
TriggeredDagRuns Anmerkung Verfügbar in Apache Airflow v2.6.3 und höher.	dataset.triggered_dagruns	Anzahl	Funktion, Scheduler
TriggersRunning Anmerkung Verfügbar in Apache Airflow v2.7.2 und höher.	löst aus. Wird ausgeführt. {hostname}	Anzahl	Funktion, Auslöser HostName, {hostname}
PoolDeferredSlots Anmerkung Verfügbar in Apache Airflow v2.7.2 und höher.	pool.deferred_slots. {pool_name}	Anzahl	Schwimmbad, {Poolname}
DAGFileProcessingLastRunSecondsAgo	dag_processing.last_run.seconds_ago. {dag_Dateiname}	Sekunden	DAG-Dateiname, {dag_filename}
OpenSlots	executor.open_slots	Anzahl	Funktion, Executor
OrphanedTasksAdopted	scheduler.orphaned_tasks.adoptiert	Anzahl	Funktion, Scheduler
OrphanedTasksCleared	scheduler.orphaned_tasks.clear	Anzahl	Funktion, Scheduler
PokedExceptions	smart_sensor_operator.poked_exception	Anzahl	Funktion, intelligenter Sensor-Operator
PokedSuccess	smart_sensor_operator.poked_success	Anzahl	Funktion, intelligenter Sensoroperator
PokedTasks	smart_sensor_operator.poked_tasks	Anzahl	Funktion, intelligenter Sensor-Operator
PoolFailures	pool.open_slots. {Poolname}	Anzahl	Schwimmbad, {Poolname}
PoolStarvingTasks	pool.starving_tasks. {Poolname}	Anzahl	Schwimmbad, {Poolname}
PoolOpenSlots	pool.open_slots. {Poolname}	Anzahl	Schwimmbad, {Poolname}
PoolQueuedSlots	pool.queued_slots. {Poolname}	Anzahl	Schwimmbad, {Poolname}
PoolRunningSlots	pool.running_slots. {Poolname}	Anzahl	Schwimmbad, {Poolname}
ProcessorTimeouts	dag_processing.processor_timeouts	Anzahl	Funktion, DAG-Verarbeitung
QueuedTasks	executor.queued_tasks	Anzahl	Funktion, Executor
RunningTasks	executor.running_tasks	Anzahl	Funktion, Executor
TasksExecutable	scheduler.tasks.executable	Anzahl	Funktion, Scheduler
TasksPending Anmerkung Gilt nicht für Apache Airflow v2.2 und höher.	scheduler.tasks.pending	Anzahl	Funktion, Scheduler
TasksRunning	scheduler.tasks.running	Anzahl	Funktion, Scheduler
TasksStarving	scheduler.tasks.starving	Anzahl	Funktion, Scheduler
TasksWithoutDagRun	scheduler.tasks.without_dagrun	Anzahl	Funktion, Scheduler
DAGFileProcessingLastNumOfDbQueries Anmerkung Verfügbar in Apache Airflow v2.10.1 und höher.	dag_processing.last_num_of_db_queries. {dag_Dateiname}	Anzahl	DAG-Dateiname, {dag_filename}
PoolScheduledSlots Anmerkung Verfügbar in Apache Airflow v2.10.1 und höher.	pool.scheduled_slots. {Poolname}	Anzahl	Schwimmbad, {Poolname}
TaskCpuUsage Anmerkung Verfügbar in Apache Airflow v2.10.1 und höher.	CPU-Nutzung. {tag_id}. {Aufgaben-ID}	Prozent	TAG, {tag_id} Aufgabe, {task_id}
TaskMemoryUsage Anmerkung Verfügbar in Apache Airflow v2.10.1 und höher.	Speicherverbrauch. {tag_id}. {Aufgaben-ID}	Prozent	TAG, {tag_id} Aufgabe, {task_id}

Apache Airflow Timer

Die Apache Airflow-Metriken in diesem Abschnitt enthalten Daten über Apache Airflow Timer.

CloudWatch Metrik	Apache Airflow-Metrik	Einheit	Dimension
Sammeln DBDags	collect_db_dags	Millisekunden	Funktion, DAG-Verarbeitung
CriticalSectionDuration	scheduler.critical_section_duration	Millisekunden	Funktion, Scheduler
CriticalSectionQueryDuration Anmerkung Verfügbar für Apache Airflow v2.5.1 und höher.	scheduler.critical_section_query_duration	Millisekunden	Funktion, Scheduler
DAGDependencyPrüfen	dagrun. Abhängigkeitsprüfung. {tag_id}	Millisekunden	TAG, {dag_id}
DAGDurationFehlgeschlagen	dagrun.duration.ist fehlgeschlagen. {dag_id}	Millisekunden	TAG, {dag_id}
DAGDurationErfolgreich	Tag. Dauer. Erfolg. {tag_id}	Millisekunden	TAG, {dag_id}
DAGFileProcessingLastDuration	dag_processing.last_duration. {dag_Dateiname}	Sekunden	DAG-Dateiname, {dag_filename}
DAGScheduleVerzögerung	dagrun.schedule_delay. {tag_id}	Millisekunden	TAG, {dag_id}
FirstTaskSchedulingDelay	Dagrun. {tag_id} .first_task_scheduling_delay	Millisekunden	TAG, {dag_id}
SchedulerLoopDuration Anmerkung Verfügbar für Apache Airflow v2.5.1 und höher.	scheduler.scheduler_loop_duration	Millisekunden	Funktion, Scheduler
TaskInstanceDuration	Tag. {tag_id}. {task_id} .dauer	Millisekunden	Tag, {tag_id} Aufgabe, {task_id}
TaskInstanceQueuedDuration	Tag. {dag_id}. {task_id}. Dauer der Warteschlange Anmerkung Verfügbar für Apache Airflow v2.7.2 und höher.	Millisekunden	DAG, {dag_id} Aufgabe, {task_id}
TaskInstanceScheduledDuration Anmerkung Verfügbar für Apache Airflow v2.7.2 und höher.	Tag. {dag_id}. {task_id}.geplante Dauer	Millisekunden	Tag, {tag_id} Aufgabe, {task_id}

Auswahl der Metriken, die gemeldet werden

Mithilfe der folgenden Amazon MWAA-Konfigurationsoptionen können Sie wählen CloudWatch, welche Apache Airflow-Metriken an Apache Airflow gesendet oder von Apache Airflow blockiert werden:

• metrics.metrics_allow_list— Eine Liste von kommagetrennten Präfixen, anhand derer Sie auswählen können, an welche Metriken von Ihrer Umgebung ausgegeben werden. CloudWatch Verwenden Sie diese Option, wenn Sie möchten, dass Apache Airflow nicht alle verfügbaren Metriken sendet und stattdessen eine Teilmenge von Elementen auswählt. Beispiel, scheduler,executor,dagrun.

• metrics.metrics_block_list— Eine Liste von kommagetrennten Präfixen, um Metriken herauszufiltern, die mit den Elementen der Liste beginnen. Beispiel, scheduler,executor,dagrun.

Wenn Sie metrics.metrics_allow_list sowohl als auch konfigurierenmetrics.metrics_block_list, ignoriert metrics.metrics_block_list Apache Airflow. Wenn Sie konfigurieren, metrics.metrics_block_list aber nichtmetrics.metrics_allow_list, filtert Apache Airflow die Elemente heraus, in metrics.metrics_block_list denen Sie angeben.

Anmerkung

Die metrics.metrics_allow_list und metrics.metrics_block_list Konfigurationsoptionen gelten nur für Apache Airflow v2.6.3 und höher. Verwenden Sie für frühere Versionen von Apache Airflow metrics.statsd_block_list stattdessen metrics.statsd_allow_list und.

Als nächstes

• Erkunden Sie den Amazon MWAA-API-Betrieb, der zur Veröffentlichung von Umweltgesundheitsmetriken verwendet wird, unter. PublishMetrics