Container-, Warteschlangen- und Datenbankmetriken für Amazon MWAA - Amazon Managed Workflows für Apache Airflow

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Container-, Warteschlangen- und Datenbankmetriken für Amazon MWAA

Zusätzlich zu den Apache Airflow-Metriken können Sie die zugrunde liegenden Komponenten Ihrer Amazon Managed Workflows für Apache Airflow-Umgebungen mithilfe CloudWatch von Amazon überwachen. Dabei werden Rohdaten gesammelt und Daten zu lesbaren, nahezu in Echtzeit verfügbaren Metriken verarbeitet. Mit diesen Umgebungsmetriken erhalten Sie einen besseren Einblick in wichtige Leistungsindikatoren, sodass Sie Ihre Umgebungen entsprechend dimensionieren und Probleme mit Ihren Workflows beheben können. Diese Metriken gelten für alle unterstützten Apache Airflow-Versionen auf Amazon MWAA.

Amazon MWAA stellt die CPU- und Speicherauslastung für jeden Amazon Elastic Container Service (Amazon ECS) -Container und jede Amazon Aurora PostgreSQL-Instance sowie Amazon Simple Queue Service (Amazon SQS) -Metriken für die Anzahl der Nachrichten und das Alter der ältesten Nachricht, Amazon Relational Database Service (Amazon RDS) -Metriken für Datenbankverbindungen, Festplattenwarteschlangentiefe, Schreibvorgänge, Latenz und Durchsatz sowie Amazon RDS Proxy-Metriken bereit. Zu diesen Metriken gehören auch die Anzahl der Basisarbeiter, zusätzlichen Worker, Scheduler und Webserver.

Diese Statistiken werden 15 Monate lang aufbewahrt, sodass Sie auf historische Informationen zugreifen und einen besseren Überblick darüber erhalten, warum ein Zeitplan ausfällt, und die zugrunde liegenden Probleme beheben können. Sie können auch Alarme einrichten, die auf bestimmte Grenzwerte achten und Benachrichtigungen senden oder Aktivitäten auslösen, wenn diese Grenzwerte erreicht werden. Weitere Informationen finden Sie im CloudWatch Amazon-Benutzerhandbuch.

Bedingungen

Namespace

Ein Namespace ist ein Container für die CloudWatch Metriken eines AWS Dienstes. Für Amazon MWAA lautet der Namespace. AWS/MWAA

CloudWatch Metriken

Eine CloudWatch Metrik stellt einen nach der Zeit geordneten Satz von Datenpunkten dar, die spezifisch für sind. CloudWatch

Dimension

Eine Dimension ist ein Name-Wert-Paar, das zur Identifizierung einer Metrik beiträgt.

Einheit

Eine Statistik hat eine Maßeinheit. Bei Amazon MWAA enthalten Einheiten die Anzahl.

Dimensionen

In diesem Abschnitt wird die Gruppierung der CloudWatch Dimensionen für Amazon MWAA-Metriken in beschrieben. CloudWatch

Dimension Beschreibung

Cluster

Metriken für die mindestens drei Amazon ECS-Container, die eine Amazon MWAA-Umgebung zur Ausführung von Apache Airflow-Komponenten verwendet: Scheduler, Worker und Webserver.

Warteschlange

Metriken für die Amazon SQS SQS-Warteschlangen, die den Scheduler von den Workern entkoppeln. Wenn Mitarbeiter die Nachrichten lesen, gelten sie als während des Fluges und sind für andere Mitarbeiter nicht verfügbar. Nachrichten können von anderen Mitarbeitern gelesen werden, sofern sie nicht vor Ablauf der Sichtbarkeitsdauer von 12 Stunden gelöscht werden.

Datenbank

Metrikt die von Amazon MWAA verwendeten Aurora-Cluster. Dazu gehören Metriken für die primäre Datenbank-Instance und eine Read Replica zur Unterstützung der Lesevorgänge. Amazon MWAA veröffentlicht Datenbankmetriken für READER- und WRITER-Instances.

Zugreifen auf Metriken in der Konsole CloudWatch

In diesem Abschnitt wird beschrieben, wie Sie in auf Ihre Amazon MWAA-Metriken zugreifen können. CloudWatch

Um Leistungskennzahlen für eine Dimension anzuzeigen
  1. Öffnen Sie die Seite „Metriken“ in der CloudWatch Konsole.

  2. Verwenden Sie die AWS Regionsauswahl, um Ihre Region auszuwählen.

  3. Wählen Sie den AWS/MWAA-Namespace.

  4. Wählen Sie auf der Registerkarte Alle Metriken eine Dimension aus. Zum Beispiel Cluster.

  5. Wählen Sie eine CloudWatch Metrik für eine Dimension aus. Zum Beispiel NumSchedulersoder CPUUtilization. Wählen Sie dann Alle Suchergebnisse grafisch darstellen aus.

  6. Wählen Sie den Tab Graphische Metriken, um die Leistungskennzahlen anzuzeigen.

Liste der Metriken

In den folgenden Tabellen sind die Cluster-, Warteschlangen- und Datenbankservice-Metriken für Amazon MWAA aufgeführt. Um Beschreibungen für Metriken anzuzeigen, die direkt von Amazon ECS, Amazon SQS oder Amazon RDS ausgegeben werden, wählen Sie den entsprechenden Dokumentationslink.

Cluster-Metriken

Die folgenden Metriken gelten für jeden Scheduler, Basisworker, zusätzlichen Worker und Webserver. Weitere Informationen und Beschreibungen der einzelnen Cluster-Metriken finden Sie unter Verfügbare Metriken und Dimensionen im Amazon ECS Developer Guide.

Namespace Metrik Einheit

AWS/MWAA

CPUUtilization

Prozent

AWS/MWAA

MemoryUtilization

Prozent

Bewertung der Anzahl zusätzlicher Worker- und Webserver-Container

Sie können die in der Cluster-Dimension bereitgestellten Komponentenmetriken verwenden, wie im folgenden Verfahren beschrieben, um zu beurteilen, wie viele zusätzliche Worker oder Webserver eine Umgebung zu einem bestimmten Zeitpunkt verwendet. Sie können dies tun, indem Sie entweder die CPU-Auslastung oder die MemoryUtilizationMetrik grafisch darstellen und den Statistiktyp auf Stichprobenanzahl festlegen. Der resultierende Wert ist die Gesamtzahl der RUNNING Aufgaben für die Komponente. AdditionalWorker Wenn Sie die Anzahl der zusätzlichen Worker-Instanzen kennen, die von Ihrer Umgebung genutzt werden, können Sie besser einschätzen, wie Ihre Umgebung skaliert, und Sie können die Anzahl der zusätzlichen Worker optimieren.

Workers
Um die Anzahl der zusätzlichen Mitarbeiter zu ermitteln, die AWS Management Console
  1. Wählen Sie den AWS/MWAA-Namespace.

  2. Wählen Sie auf der Registerkarte Alle Metriken die Cluster-Dimension aus.

  3. Wählen Sie unter der Cluster-Dimension für entweder die AdditionalWorkerCPUUtilization oder die MemoryUtilizationMetrik aus.

  4. Stellen Sie auf der Registerkarte Graphische Metriken die Option Zeitraum auf 1 Minute und Statistik auf Stichprobenanzahl ein.

Web servers
Um die Anzahl der zusätzlichen Webserver mit dem zu ermitteln AWS Management Console
  1. Wählen Sie den AWS/MWAA-Namespace.

  2. Wählen Sie auf der Registerkarte Alle Metriken die Cluster-Dimension aus.

  3. Wählen Sie unter der Cluster-Dimension für entweder die AdditionalWebserversCPUUtilization oder die MemoryUtilizationMetrik aus.

  4. Stellen Sie auf der Registerkarte Graphische Metriken die Option Zeitraum auf 1 Minute und Statistik auf Stichprobenanzahl ein.

Weitere Informationen finden Sie unter Anzahl der RUNNING Serviceaufgaben im Amazon Elastic Container Service Developer Guide.

Datenbankmetriken

Die folgenden Metriken gelten für jede Datenbank-Instance, die der Amazon MWAA-Umgebung zugeordnet ist.

Namespace Metrik Einheit

AWS/MWAA

CPUUtilization

Prozent

AWS/MWAA

DatabaseConnections

Anzahl

AWS/MWAA

DiskQueueDepth

Anzahl

AWS/MWAA

FreeableMemory

Bytes

AWS/MWAA

VolumeWriteIOPS

Zählt alle fünf Minuten

AWS/MWAA

WriteIOPS

Anzahl pro Sekunde

AWS/MWAA

WriteLatency

Sekunden

AWS/MWAA

WriteThroughput

Bytes pro Sekunde

Warteschlangenmetriken

Weitere Informationen zu Einheiten und Beschreibungen für die folgenden Warteschlangenmetriken finden Sie unter Verfügbare CloudWatch Metriken für Amazon SQS im Amazon Simple Queue Service Developer Guide.

Namespace Metrik Einheit

AWS/MWAA

ApproximateAgeOfOldestTask

Sekunden

AWS/MWAA

RunningTasks

Anzahl

AWS/MWAA

QueuedTasks

Anzahl

Application-Load-Balancer-Metriken

Die Application Load Balancer Balancer-Metriken gelten für die Webserver, die in Ihrer Umgebung ausgeführt werden. Amazon MWAA verwendet diese Metriken, um Ihre Webserver basierend auf der Menge des Datenverkehrs zu skalieren. Weitere Informationen zu Einheiten und Beschreibungen der folgenden Load Balancer-Metriken finden Sie unter CloudWatch Metriken für Ihren Application Load Balancer im Application Load Balancers User Guide.

Namespace Metrik Einheit

AWS/MWAA

ActiveConnectionCount

Anzahl