Apache Airflow v2-Umgebungsmetriken in CloudWatch - Amazon Managed Workflows für Apache Airflow
BedingungenDimensionenZugreifen auf Metriken in der Konsole CloudWatch Apache Airflow-Metriken sind verfügbar in CloudWatchAuswahl der Metriken, die gemeldet werdenAls nächstes

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Apache Airflow v2-Umgebungsmetriken in CloudWatch

Apache Airflow v2 ist bereits dafür eingerichtet, StatsD-Metriken für eine Amazon Managed Workflows for Apache Airflow-Umgebung zu sammeln und an Amazon zu senden. CloudWatch Die vollständige Liste der von Apache Airflow gesendeten Metriken ist auf der Seite Metriken im Apache Airflow-Referenzhandbuch verfügbar. Auf dieser Seite werden die Apache Airflow-Metriken beschrieben, die in der Konsole verfügbar sind CloudWatch, und wie Sie auf Metriken in der Konsole zugreifen können. CloudWatch

Bedingungen

Namespace

Ein Namespace ist ein Container für die CloudWatch Metriken eines AWS Dienstes. Für Amazon MWAA lautet der Namespace AmazonMWAA.

CloudWatch Metriken

Eine CloudWatch Metrik stellt einen zeitlich geordneten Satz von Datenpunkten dar, die spezifisch für sind. CloudWatch

Apache Airflow-Metriken

Die spezifischen Metriken für Apache Airflow.

Dimension

Eine Dimension ist ein name/value Paar, das Teil der Identität einer Metrik ist.

Einheit

Eine Statistik hat eine Maßeinheit. Für Amazon MWAA umfassen die Einheiten Anzahl, Sekunden und Millisekunden. Für Amazon MWAA werden die Einheiten auf der Grundlage der Einheiten in den ursprünglichen Airflow-Metriken festgelegt.

Dimensionen

In diesem Abschnitt wird die Gruppierung von CloudWatch Dimensionen für Apache Airflow-Metriken unter beschrieben. CloudWatch

Dimension Beschreibung

DAG

Zeigt einen bestimmten Apache Airflow DAG-Namen an.

DAG-Dateiname

Zeigt einen bestimmten Apache Airflow DAG-Dateinamen an.

Funktion

Diese Dimension wird verwendet, um die Gruppierung von Metriken in zu verbessern. CloudWatch

Aufgabe

Zeigt einen Apache Airflow-Job an, der vom Scheduler ausgeführt wird. Hat immer den Wert Job.

Operator

Zeigt einen bestimmten Apache Airflow-Operator an.

Pool

Weist auf einen bestimmten Apache Airflow-Workerpool hin.

Aufgabe

Weist auf eine bestimmte Apache Airflow-Aufgabe hin.

HostName

Gibt den Hostnamen für einen bestimmten laufenden Apache Airflow-Prozess an.

Zugreifen auf Metriken in der Konsole CloudWatch

In diesem Abschnitt wird beschrieben, wie Sie auf Leistungsmetriken CloudWatch für eine bestimmte DAG zugreifen.

So zeigen Sie Leistungskennzahlen für eine Dimension an

  1. Öffnen Sie die Seite „Metriken“ in der CloudWatch Konsole.

  2. Verwenden Sie die AWS Regionsauswahl, um Ihre Region auszuwählen.

  3. Wählen Sie den AmazonMWAA-Namespace.

  4. Wählen Sie auf der Registerkarte Alle Metriken eine Dimension aus. Zum Beispiel DAG, Umgebung.

  5. Wählen Sie eine CloudWatch Metrik für eine Dimension aus. Zum Beispiel TaskInstanceSuccesses oder TaskInstanceDuration. Wählen Sie Alle Suchergebnisse grafisch darstellen aus.

  6. Wählen Sie die Registerkarte Graphische Metriken, um Leistungsstatistiken für Apache Airflow-Metriken wie DAG, Umgebung und Aufgabe anzuzeigen.

Apache Airflow-Metriken sind verfügbar in CloudWatch

In diesem Abschnitt werden die Apache Airflow-Metriken und -Dimensionen beschrieben, die an gesendet werden. CloudWatch

Apache Airflow-Zähler

Die Apache Airflow-Metriken in diesem Abschnitt enthalten Daten zu Apache Airflow Counters.

CloudWatch Metrik Apache Airflow-Metrik Einheit Dimension

SLAMissed

Anmerkung

Verfügbar für Apache Airflow v2.4.3 und höher.

sla_missed

Anzahl

Funktion, Scheduler

Fehlgeschlagen SLACallback

Anmerkung

Verfügbar für Apache Airflow v2.4.3 und höher.

sla_callback_notification_failure

Anzahl

Funktion, Scheduler

Aktualisierungen

Anmerkung

Verfügbar für Apache Airflow v2.6.3 und höher.

dataset.updates

Anzahl

Funktion, Scheduler

Verwaist

Anmerkung

Verfügbar für Apache Airflow v2.6.3 und höher.

dataset.verwaist

Anzahl

Funktion, Scheduler

FailedCeleryTaskExecution

Anmerkung

Verfügbar für Apache Airflow v2.4.3 und höher.

celery.execute_command.failure

Anzahl

Funktion, Sellerie

FilePathQueueUpdateCount

Anmerkung

Verfügbar für Apache Airflow v2.6.3 und höher.

dag_processing.file_path_queue_update_count

Anzahl

Funktion, Scheduler

CriticalSectionBusy

scheduler.critical_section_busy

Anzahl

Funktion, Scheduler

DagBagSize

dagbag_size

Anzahl

Funktion, DAG-Verarbeitung

DagCallbackExceptions

dag.callback_exceptions

Anzahl

DAG, Alle

Fehlgeschlagene SLAEmail Versuche

sla_email_notification_failure

Anzahl

Funktion, Scheduler

TaskInstanceFinished

bis ich fertig bin. {tag_id}. {Aufgaben-ID}. {Bundesstaat}

Anzahl

TAG, {tag_id}

Aufgabe, {task_id}

Bundesstaat, {Bundesstaat}

JobEnd

{Jobname} _Ende

Anzahl

Job, {job_name}

JobHeartbeatFailure

{Jobname} _Heartbeat_Failure

Anzahl

Job, {job_name}

JobStart

{Jobname} _Start

Anzahl

Job, {job_name}

ManagerStalls

dag_processing.manager_stalls

Anzahl

Funktion, DAG-Verarbeitung

OperatorFailures

operator_failures_ {operator_name}

Anzahl

Betreiber, {operator_name}

OperatorSuccesses

operator_successes_ {operator_name}

Anzahl

Betreiber, {operator_name}

OtherCallbackCount

Anmerkung

Verfügbar in Apache Airflow v2.6.3 und höher.

dag_processing.other_callback_count

Anzahl

Funktion, Scheduler

Prozesse

dag_processing.processes

Anzahl

Funktion, DAG-Verarbeitung

SchedulerHeartbeat

scheduler_heartbeat

Anzahl

Funktion, Scheduler

StartedTaskInstances

ti.start. {tag_id}. {Aufgaben-ID}

Anzahl

DAG, Alle

Aufgabe, Alle

SlaCallbackCount

dag_processing.sla_callback_count

Anmerkung

Verfügbar für Apache Airflow v2.6.3 und höher.

Anzahl

Funktion, Scheduler

TasksKilledExternally

scheduler.tasks.killed_external

Anzahl

Funktion, Scheduler

TaskTimeoutError

celery.task_timeout_error

Anzahl

Funktion, Sellerie

TaskInstanceCreatedUsingOperator

task_instance_created- {Operatorname}

Anzahl

Betreiber, {operator_name}

TaskInstancePreviouslySucceeded

vorherig_erfolgreich

Anzahl

DAG, Alle

Aufgabe, Alle

TaskInstanceFailures

ti_failures

Anzahl

DAG, Alle

Aufgabe, Alle

TaskInstanceSuccesses

ti_successes

Anzahl

DAG, Alle

Aufgabe, Alle

TaskRemovedFromTAG

task_from_dag entfernt. {tag_id}

Anzahl

TAG, {dag_id}

TaskRestoredToTAG

task_restored_to_dag. {tag_id}

Anzahl

TAG, {dag_id}

TriggersSucceeded

Anmerkung

Verfügbar für Apache Airflow v2.7.2 und höher.

triggers.erfolgreich

Anzahl

Funktion, Auslöser

TriggersFailed

Anmerkung

Verfügbar für Apache Airflow v2.7.2 und höher.

triggers.failed

Anzahl

Funktion, Auslöser

TriggersBlockedMainThread

Anmerkung

Verfügbar für Apache Airflow v2.7.2 und höher.

triggers.blocked_main_thread

Anzahl

Funktion, Auslöser

TriggerHeartbeat

Anmerkung

Verfügbar für Apache Airflow v2.8.1 und höher.

triggerer_heartbeat

Anzahl

Funktion, Triggerer

TaskInstanceCreatedUsingOperator

airflow.task_instance_created_ {operator_name}

Anmerkung

Verfügbar für Apache Airflow v2.7.2 und höher.

Anzahl

Betreiber, {operator_name}

ZombiesKilled

Zombies getötet

Anzahl

DAG, Alle

Aufgabe, Alle

Apache Luftstrommessgeräte

Die Apache Airflow-Metriken in diesem Abschnitt enthalten Daten zu Apache Airflow Gauges.

CloudWatch Metrik Apache Airflow-Metrik Einheit Dimension

DAGFileRefreshError

dag_file_refresh_error

Anzahl

Funktion, DAG-Verarbeitung

ImportErrors

dag_processing.import_errors

Anzahl

Funktion, DAG-Verarbeitung

ExceptionFailures

smart_sensor_operator.exception_failures

Anzahl

Funktion, intelligenter Sensor-Operator

ExecutedTasks

smart_sensor_operator.executed_tasks

Anzahl

Funktion, intelligenter Sensoroperator

InfraFailures

smart_sensor_operator.infra_failures

Anzahl

Funktion, intelligenter Sensoroperator

LoadedTasks

smart_sensor_operator.loaded_tasks

Anzahl

Funktion, intelligenter Sensoroperator

TotalParseTime

dag_processing.total_parse_time

Sekunden

Funktion, DAG-Verarbeitung

TriggeredDagRuns

Anmerkung

Verfügbar in Apache Airflow v2.6.3 und höher.

dataset.triggered_dagruns

Anzahl

Funktion, Scheduler

TriggersRunning

Anmerkung

Verfügbar in Apache Airflow v2.7.2 und höher.

löst aus. Wird ausgeführt. {hostname}

Anzahl

Funktion, Auslöser

HostName, {hostname}

PoolDeferredSlots

Anmerkung

Verfügbar in Apache Airflow v2.7.2 und höher.

pool.deferred_slots. {pool_name}

Anzahl

Schwimmbad, {Poolname}

DAGFileProcessingLastRunSecondsAgo

dag_processing.last_run.seconds_ago. {dag_Dateiname}

Sekunden

DAG-Dateiname, {dag_filename}

OpenSlots

executor.open_slots

Anzahl

Funktion, Executor

OrphanedTasksAdopted

scheduler.orphaned_tasks.adoptiert

Anzahl

Funktion, Scheduler

OrphanedTasksCleared

scheduler.orphaned_tasks.clear

Anzahl

Funktion, Scheduler

PokedExceptions

smart_sensor_operator.poked_exception

Anzahl

Funktion, intelligenter Sensor-Operator

PokedSuccess

smart_sensor_operator.poked_success

Anzahl

Funktion, intelligenter Sensoroperator

PokedTasks

smart_sensor_operator.poked_tasks

Anzahl

Funktion, intelligenter Sensoroperator

PoolFailures

pool.open_slots. {Poolname}

Anzahl

Schwimmbad, {Poolname}

PoolStarvingTasks

pool.starving_tasks. {Poolname}

Anzahl

Schwimmbad, {Poolname}

PoolOpenSlots

pool.open_slots. {Poolname}

Anzahl

Schwimmbad, {Poolname}

PoolQueuedSlots

pool.queued_slots. {Poolname}

Anzahl

Schwimmbad, {Poolname}

PoolRunningSlots

pool.running_slots. {Poolname}

Anzahl

Schwimmbad, {Poolname}

ProcessorTimeouts

dag_processing.processor_timeouts

Anzahl

Funktion, DAG-Verarbeitung

QueuedTasks

executor.queued_tasks

Anzahl

Funktion, Executor

RunningTasks

executor.running_tasks

Anzahl

Funktion, Executor

TasksExecutable

scheduler.tasks.executable

Anzahl

Funktion, Scheduler

TasksPending

Anmerkung

Gilt nicht für Apache Airflow v2.2 und höher.

scheduler.tasks.pending

Anzahl

Funktion, Scheduler

TasksRunning

scheduler.tasks.running

Anzahl

Funktion, Scheduler

TasksStarving

scheduler.tasks.starving

Anzahl

Funktion, Scheduler

TasksWithoutDagRun

scheduler.tasks.without_dagrun

Anzahl

Funktion, Scheduler
DAGFileProcessingLastNumOfDbQueries
Anmerkung

Verfügbar in Apache Airflow v2.10.1 und höher.

 dag_processing.last_num_of_db_queries. {dag_Dateiname} Anzahl

DAG-Dateiname, {dag_filename}
PoolScheduledSlots
Anmerkung

Verfügbar in Apache Airflow v2.10.1 und höher.

 pool.scheduled_slots. {Poolname} Anzahl

Schwimmbad, {Poolname}
TaskCpuUsage
Anmerkung

Verfügbar in Apache Airflow v2.10.1 und höher.

 CPU-Nutzung. {tag_id}. {Aufgaben-ID} Prozent

TAG, {tag_id}

Aufgabe, {task_id}
TaskMemoryUsage
Anmerkung

Verfügbar in Apache Airflow v2.10.1 und höher.

 Speicherverbrauch. {tag_id}. {Aufgaben-ID} Prozent

TAG, {tag_id}

Aufgabe, {task_id}

Apache Airflow Timer

Die Apache Airflow-Metriken in diesem Abschnitt enthalten Daten über Apache Airflow Timer.

CloudWatch Metrik Apache Airflow-Metrik Einheit Dimension

Sammeln DBDags

collect_db_dags

Millisekunden

Funktion, DAG-Verarbeitung

CriticalSectionDuration

scheduler.critical_section_duration

Millisekunden

Funktion, Scheduler

CriticalSectionQueryDuration

Anmerkung

Verfügbar für Apache Airflow v2.5.1 und höher.

scheduler.critical_section_query_duration

Millisekunden

Funktion, Scheduler

DAGDependencyPrüfen

dagrun. Abhängigkeitsprüfung. {tag_id}

Millisekunden

TAG, {dag_id}

DAGDurationFehlgeschlagen

dagrun.duration.ist fehlgeschlagen. {dag_id}

Millisekunden

TAG, {dag_id}

DAGDurationErfolg

Tag. Dauer. Erfolg. {tag_id}

Millisekunden

TAG, {dag_id}

DAGFileProcessingLastDuration

dag_processing.last_duration. {dag_Dateiname}

Sekunden

DAG-Dateiname, {dag_filename}

DAGScheduleVerzögerung

dagrun.schedule_delay. {tag_id}

Millisekunden

TAG, {dag_id}

FirstTaskSchedulingDelay

Dagrun. {tag_id} .first_task_scheduling_delay

Millisekunden

TAG, {dag_id}

SchedulerLoopDuration

Anmerkung

Verfügbar für Apache Airflow v2.5.1 und höher.

scheduler.scheduler_loop_duration

Millisekunden

Funktion, Scheduler

TaskInstanceDuration

Tag. {tag_id}. {task_id} .dauer

Millisekunden

Tag, {tag_id}

Aufgabe, {task_id}

TaskInstanceQueuedDuration

Tag. {dag_id}. {task_id}. Dauer der Warteschlange

Anmerkung

Verfügbar für Apache Airflow v2.7.2 und höher.

Millisekunden

DAG, {dag_id}

Aufgabe, {task_id}

TaskInstanceScheduledDuration

Anmerkung

Verfügbar für Apache Airflow v2.7.2 und höher.

Tag. {dag_id}. {task_id}.geplante Dauer

Millisekunden

Tag, {tag_id}

Aufgabe, {task_id}

Auswahl der Metriken, die gemeldet werden

Mithilfe der folgenden Amazon MWAA-Konfigurationsoptionen können Sie wählen CloudWatch, welche Apache Airflow-Metriken an Apache Airflow gesendet oder von Apache Airflow blockiert werden:

  • metrics.metrics_allow_list— Eine Liste von kommagetrennten Präfixen, anhand derer Sie auswählen können, an welche Metriken von Ihrer Umgebung ausgegeben werden. CloudWatch Verwenden Sie diese Option, wenn Sie möchten, dass Apache Airflow nicht alle verfügbaren Metriken sendet und stattdessen eine Teilmenge von Elementen auswählt. Beispiel, scheduler,executor,dagrun.

  • metrics.metrics_block_list— Eine Liste von kommagetrennten Präfixen, um Metriken herauszufiltern, die mit den Elementen der Liste beginnen. Beispiel, scheduler,executor,dagrun.

Wenn Sie sowohl als auch metrics.metrics_allow_list konfigurieren, ignoriert Apache metrics.metrics_block_list Airflow. metrics.metrics_block_list Wenn Sie konfigurieren, metrics.metrics_block_list aber nichtmetrics.metrics_allow_list, filtert Apache Airflow die Elemente heraus, die Sie angeben. metrics.metrics_block_list

Anmerkung

Die Optionen metrics.metrics_allow_list und die metrics.metrics_block_list Konfigurationsoptionen gelten nur für Apache Airflow v2.6.3 und höher. Verwenden Sie für frühere Versionen von Apache Airflow stattdessen und. metrics.statsd_allow_list metrics.statsd_block_list

Als nächstes

  • Erkunden Sie den Amazon MWAA-API-Betrieb, der zur Veröffentlichung von Umweltgesundheitsmetriken verwendet wird, unter. PublishMetrics