Apache Airflow v2-Umgebungsmetriken in CloudWatch

Apache Airflow v2 ist bereits dafür eingerichtet, StatsD-Metriken für eine Amazon Managed Workflows for Apache Airflow-Umgebung zu sammeln und an Amazon zu senden. CloudWatch Die vollständige Liste der von Apache Airflow gesendeten Metriken ist auf der Seite Metriken im Apache Airflow-Referenzhandbuch verfügbar. Auf dieser Seite werden die Apache Airflow-Metriken beschrieben, die in der Konsole verfügbar sind CloudWatch, und wie Sie auf Metriken in der Konsole zugreifen können. CloudWatch

Inhalt

• Bedingungen
• Dimensionen
• Zugreifen auf Metriken in der Konsole CloudWatch
• Apache Airflow-Metriken sind verfügbar in CloudWatch
  • Apache Airflow-Zähler
  • Apache Luftstrommessgeräte
  • Apache Airflow Timer
• Auswahl der Metriken, die gemeldet werden
• Als nächstes

Bedingungen

Namespace

Ein Namespace ist ein Container für die CloudWatch Metriken eines AWS Dienstes. Für Amazon MWAA ist der Namespace Amazon MWAA.

CloudWatch Metriken

Eine CloudWatch Metrik stellt einen nach der Zeit geordneten Satz von Datenpunkten dar, die spezifisch für sind. CloudWatch

Apache Airflow-Metriken

Die spezifischen Metriken für Apache Airflow.

Dimension

Eine Dimension ist ein Name-Wert-Paar, das zur Identifizierung einer Metrik beiträgt.

Einheit

Eine Statistik hat eine Maßeinheit. Bei Amazon MWAA umfassen die Einheiten Anzahl, Sekunden und Millisekunden. Für Amazon MWAA werden die Einheiten auf der Grundlage der Einheiten in den ursprünglichen Airflow-Metriken festgelegt.

Dimensionen

In diesem Abschnitt wird die Gruppierung von CloudWatch Dimensionen für Apache Airflow-Metriken unter beschrieben. CloudWatch

Dimension	Beschreibung
DAG	Zeigt einen bestimmten Apache DAG Airflow-Namen an.
DAGDateiname	Zeigt einen bestimmten Apache DAG Airflow-Dateinamen an.
Funktion	Diese Dimension wird verwendet, um die Gruppierung von Metriken in zu verbessern. CloudWatch
Aufgabe	Zeigt einen Apache Airflow-Job an, der vom Scheduler ausgeführt wird. Hat immer den Wert Job.
Operator	Zeigt einen bestimmten Apache Airflow-Operator an.
Pool	Weist auf einen bestimmten Apache Airflow-Workerpool hin.
Aufgabe	Weist auf eine bestimmte Apache Airflow-Aufgabe hin.
HostName	Gibt den Hostnamen für einen bestimmten laufenden Apache Airflow-Prozess an.

Zugreifen auf Metriken in der Konsole CloudWatch

In diesem Abschnitt wird beschrieben, wie Sie auf Leistungsmetriken CloudWatch für einen bestimmten Bereich zugreifen könnenDAG.

So zeigen Sie Leistungskennzahlen für eine Dimension an

1. Öffnen Sie die Seite „Metriken“ in der CloudWatch Konsole.

2. Verwenden Sie die AWS Regionsauswahl, um Ihre Region auszuwählen.

3. Wählen Sie den MWAAAmazon-Namespace.

4. Wählen Sie auf der Registerkarte Alle Metriken eine Dimension aus. Zum DAGBeispiel Umwelt.

5. Wählen Sie eine CloudWatch Metrik für eine Dimension aus. Zum Beispiel, TaskInstanceSuccessesoder TaskInstanceDuration. Wählen Sie Alle Suchergebnisse grafisch darstellen aus.

6. Wählen Sie die Registerkarte Graphische Metriken, um Leistungsstatistiken für Apache Airflow-Metriken wie Umgebung DAG und Aufgabe anzuzeigen.

Apache Airflow-Metriken sind verfügbar in CloudWatch

In diesem Abschnitt werden die Apache Airflow-Metriken und -Dimensionen beschrieben, die an gesendet werden. CloudWatch

Apache Airflow-Zähler

Die Apache Airflow-Metriken in diesem Abschnitt enthalten Daten zu Apache Airflow Counters.

CloudWatch metrisch	Apache Airflow-Metrik	Einheit	Dimension
SLAMissed Anmerkung Verfügbar für Apache Airflow v2.4.3 und höher.	sla_missing	Anzahl	Funktion, Scheduler
F ailedSLACallback Anmerkung Verfügbar für Apache Airflow v2.4.3 und höher.	sla_callback_notification_failure	Anzahl	Funktion, Scheduler
Aktualisierungen Anmerkung Verfügbar für Apache Airflow v2.6.3 und höher.	dataset.updates	Anzahl	Funktion, Scheduler
Verwaist Anmerkung Verfügbar für Apache Airflow v2.6.3 und höher.	dataset.verwaist	Anzahl	Funktion, Scheduler
FailedCeleryTaskExecution Anmerkung Verfügbar für Apache Airflow v2.4.3 und höher.	celery.execute_command.failure	Anzahl	Funktion, Sellerie
FilePathQueueUpdateCount Anmerkung Verfügbar für Apache Airflow v2.6.3 und höher.	dag_processing.file_path_queue_update_count	Anzahl	Funktion, Scheduler
CriticalSectionBusy	scheduler.critical_section_busy	Anzahl	Funktion, Scheduler
DagBagSize	dagbag_size	Anzahl	Funktion, Verarbeitung DAG
DagCallbackExceptions	dag.callback_exceptions	Anzahl	DAG, Alle
F ailedSLAEmail Versuche	sla_email_notification_failure	Anzahl	Funktion, Scheduler
TaskInstanceFinished	bis fertig. {tag_id}. {Aufgaben-ID}. {Bundesstaat}	Anzahl	DAG, {tag_id} Aufgabe, {task_id} Bundesstaat, {Bundesstaat}
JobEnd	{Jobname} _Ende	Anzahl	Job, {job_name}
JobHeartbeatFailure	{Jobname} _Heartbeat_Failure	Anzahl	Job, {job_name}
JobStart	{Jobname} _Start	Anzahl	Job, {job_name}
ManagerStalls	dag_processing.manager_stalls	Anzahl	Funktion, Verarbeitung DAG
OperatorFailures	operator_failures_ {operator_name}	Anzahl	Betreiber, {operator_name}
OperatorSuccesses	operator_successes_ {operator_name}	Anzahl	Betreiber, {operator_name}
OtherCallbackCount Anmerkung Verfügbar in Apache Airflow v2.6.3 und höher.	dag_processing.other_callback_count	Anzahl	Funktion, Scheduler
Prozesse	dag_processing.processes	Anzahl	Funktion, Verarbeitung DAG
SchedulerHeartbeat	scheduler_heartbeat	Anzahl	Funktion, Scheduler
StartedTaskInstances	ti.start. {tag_id}. {Aufgaben-ID}	Anzahl	DAG, Alle Aufgabe, Alle
SlaCallbackCount	dag_processing.sla_callback_count Anmerkung Verfügbar für Apache Airflow v2.6.3 und höher.	Anzahl	Funktion, Scheduler
TasksKilledExternally	scheduler.tasks.killed_external	Anzahl	Funktion, Scheduler
TaskTimeoutError	celery.task_timeout_error	Anzahl	Funktion, Sellerie
TaskInstanceCreatedUsingOperator	task_instance_created- {Operatorname}	Anzahl	Betreiber, {operator_name}
TaskInstancePreviouslySucceeded	vorherig_erfolgreich	Anzahl	DAG, Alle Aufgabe, Alle
TaskInstanceFailures	ti_failures	Anzahl	DAG, Alle Aufgabe, Alle
TaskInstanceSuccesses	ti_successes	Anzahl	DAG, Alle Aufgabe, Alle
TaskRemovedFromDAG	task_removed_from_dag. {tag_id}	Anzahl	DAG, {tag_id}
TaskRestoredToDAG	task_to_day wiederhergestellt. {tag_id}	Anzahl	DAG, {tag_id}
TriggersSucceeded Anmerkung Verfügbar für Apache Airflow v2.7.2 und höher.	triggers.erfolgreich	Anzahl	Funktion, Auslöser
TriggersFailed Anmerkung Verfügbar für Apache Airflow v2.7.2 und höher.	triggers.failed	Anzahl	Funktion, Auslöser
TriggersBlockedMainThread Anmerkung Verfügbar für Apache Airflow v2.7.2 und höher.	triggers.blocked_main_thread	Anzahl	Funktion, Auslöser
TriggerHeartbeat Anmerkung Verfügbar für Apache Airflow v2.8.1 und höher.	triggerer_heartbeat	Anzahl	Funktion, Triggerer
TaskInstanceCreatedUsingOperator	airflow.task_instance_created_ {operator_name} Anmerkung Verfügbar für Apache Airflow v2.7.2 und höher.	Anzahl	Betreiber, {operator_name}
ZombiesKilled	Zombies_getötet	Anzahl	DAG, Alle Aufgabe, Alle

Apache Luftstrommessgeräte

Die Apache Airflow-Metriken in diesem Abschnitt enthalten Daten zu Apache Airflow Gauges.

CloudWatch metrisch	Apache Airflow-Metrik	Einheit	Dimension
DAGFileRefreshError	dag_file_refresh_error	Anzahl	Funktion, Verarbeitung DAG
ImportErrors	dag_processing.import_errors	Anzahl	Funktion, Verarbeitung DAG
ExceptionFailures	smart_sensor_operator.exception_failures	Anzahl	Funktion, intelligenter Sensoroperator
ExecutedTasks	smart_sensor_operator.executed_tasks	Anzahl	Funktion, intelligenter Sensor-Operator
InfraFailures	smart_sensor_operator.infra_failures	Anzahl	Funktion, intelligenter Sensoroperator
LoadedTasks	smart_sensor_operator.loaded_tasks	Anzahl	Funktion, intelligenter Sensor-Operator
TotalParseTime	dag_processing.total_parse_time	Sekunden	Funktion, Verarbeitung DAG
TriggeredDagRuns Anmerkung Verfügbar in Apache Airflow v2.6.3 und höher.	dataset.triggered_dagruns	Anzahl	Funktion, Scheduler
TriggersRunning Anmerkung Verfügbar in Apache Airflow v2.7.2 und höher.	löst aus. Wird ausgeführt.{hostname}	Anzahl	Funktion, Auslöser HostName, {hostname}
PoolDeferredSlots Anmerkung Verfügbar in Apache Airflow v2.7.2 und höher.	pool.deferred_slots. {pool_name}	Anzahl	Schwimmbad, {Poolname}
DAGFileProcessingLastRunSecondsAgo	dag_processing.last_run.seconds_ago. {dag_Dateiname}	Sekunden	DAGDateiname, {dag_filename}
OpenSlots	executor.open_slots	Anzahl	Funktion, Executor
OrphanedTasksAdopted	scheduler.orphaned_tasks.adoptiert	Anzahl	Funktion, Scheduler
OrphanedTasksCleared	scheduler.orphaned_tasks.clear	Anzahl	Funktion, Scheduler
PokedExceptions	smart_sensor_operator.poked_exception	Anzahl	Funktion, intelligenter Sensoroperator
PokedSuccess	smart_sensor_operator.poked_success	Anzahl	Funktion, intelligenter Sensor-Operator
PokedTasks	smart_sensor_operator.poked_tasks	Anzahl	Funktion, intelligenter Sensor-Operator
PoolFailures	pool.open_slots. {Poolname}	Anzahl	Schwimmbad, {Poolname}
PoolStarvingTasks	pool.starving_tasks. {Poolname}	Anzahl	Schwimmbad, {Poolname}
PoolOpenSlots	pool.open_slots. {Poolname}	Anzahl	Schwimmbad, {Poolname}
PoolQueuedSlots	pool.queued_slots. {Poolname}	Anzahl	Schwimmbad, {Poolname}
PoolRunningSlots	pool.running_slots. {Poolname}	Anzahl	Schwimmbad, {Poolname}
ProcessorTimeouts	dag_processing.processor_timeouts	Anzahl	Funktion, Verarbeitung DAG
QueuedTasks	executor.queued_tasks	Anzahl	Funktion, Executor
RunningTasks	executor.running_tasks	Anzahl	Funktion, Executor
TasksExecutable	scheduler.tasks.executable	Anzahl	Funktion, Scheduler
TasksPending Anmerkung Gilt nicht für Apache Airflow v2.2 und höher.	scheduler.tasks.pending	Anzahl	Funktion, Scheduler
TasksRunning	scheduler.tasks.running	Anzahl	Funktion, Scheduler
TasksStarving	scheduler.tasks.starving	Anzahl	Funktion, Scheduler
TasksWithoutDagRun	scheduler.tasks.without_dagrun	Anzahl	Funktion, Scheduler

Apache Airflow Timer

Die Apache Airflow-Metriken in diesem Abschnitt enthalten Daten über Apache Airflow Timer.

CloudWatch metrisch	Apache Airflow-Metrik	Einheit	Dimension
C ollectDBDags	sammle DB_Tage	Millisekunden	Funktion, Verarbeitung DAG
CriticalSectionDuration	scheduler.critical_section_duration	Millisekunden	Funktion, Scheduler
CriticalSectionQueryDuration Anmerkung Verfügbar für Apache Airflow v2.5.1 und höher.	scheduler.critical_section_query_duration	Millisekunden	Funktion, Scheduler
DAGDependencyCheck	dagrun.dependency-check. {tag_id}	Millisekunden	DAG, {tag_id}
DAGDurationFailed	dagrun.duration.ist fehlgeschlagen. {dag_id}	Millisekunden	DAG, {tag_id}
DAGDurationSuccess	dagrun.duration.success. {tag_id}	Millisekunden	DAG, {tag_id}
DAGFileProcessingLastDuration	dag_processing.last_duration. {dag_Dateiname}	Sekunden	DAGDateiname, {dag_filename}
DAGScheduleDelay	dagrun.schedule_delay. {tag_id}	Millisekunden	DAG, {tag_id}
FirstTaskSchedulingDelay	Dagrun. {tag_id} .first_task_scheduling_delay	Millisekunden	DAG, {dag_id}
SchedulerLoopDuration Anmerkung Verfügbar für Apache Airflow v2.5.1 und höher.	scheduler.scheduler_loop_duration	Millisekunden	Funktion, Scheduler
TaskInstanceDuration	Tag. {tag_id}. {task_id} .dauer	Millisekunden	DAG, {tag_id} Aufgabe, {task_id}
TaskInstanceQueuedDuration	Tag. {dag_id}. {task_id}. Dauer der Warteschlange Anmerkung Verfügbar für Apache Airflow v2.7.2 und höher.	Millisekunden	DAG, {dag_id} Aufgabe, {task_id}
TaskInstanceScheduledDuration Anmerkung Verfügbar für Apache Airflow v2.7.2 und höher.	Tag. {dag_id}. {task_id}.geplante Dauer	Millisekunden	DAG, {tag_id} Aufgabe, {task_id}

Auswahl der Metriken, die gemeldet werden

Mithilfe der folgenden MWAA Amazon-Konfigurationsoptionen können Sie wählen CloudWatch, welche Apache Airflow-Metriken an Apache Airflow gesendet oder von Apache Airflow blockiert werden:

• metrics.metrics_allow_list— Eine Liste von kommagetrennten Präfixen, anhand derer Sie auswählen können, an welche Metriken von Ihrer Umgebung ausgegeben werden. CloudWatch Verwenden Sie diese Option, wenn Sie möchten, dass Apache Airflow nicht alle verfügbaren Metriken sendet und stattdessen eine Teilmenge von Elementen auswählt. Beispiel, scheduler,executor,dagrun.

• metrics.metrics_block_list— Eine Liste von kommagetrennten Präfixen, um Metriken herauszufiltern, die mit den Elementen der Liste beginnen. Beispiel, scheduler,executor,dagrun.

Wenn Sie sowohl als auch metrics.metrics_allow_list konfigurieren, ignoriert Apache metrics.metrics_block_list Airflow. metrics.metrics_block_list Wenn Sie konfigurieren, metrics.metrics_block_list aber nichtmetrics.metrics_allow_list, filtert Apache Airflow die Elemente heraus, die Sie angeben. metrics.metrics_block_list

Anmerkung

Die Optionen metrics.metrics_allow_list und die metrics.metrics_block_list Konfigurationsoptionen gelten nur für Apache Airflow v2.6.3 und höher. Verwenden Sie für frühere Versionen von Apache Airflow stattdessen und. metrics.statsd_allow_list metrics.statsd_block_list

Als nächstes

• Erkunden Sie den MWAA API Amazon-Betrieb, der zur Veröffentlichung von Umweltgesundheitskennzahlen verwendet wurde, unter PublishMetrics.