Monitorización de paneles y alarmas en Amazon MWAA

Puedes crear un panel personalizado en Amazon CloudWatch y añadir alarmas para una métrica concreta a fin de supervisar el estado de un entorno de Amazon Managed Workflows for Apache Airflow. Cuando hay una alarma en un panel de control, se pone roja cuando está en ese ALARM estado, lo que facilita la supervisión proactiva del estado de un MWAA entorno de Amazon.

Apache Airflow muestra las métricas de varios procesos, como la cantidad de procesos, el tamaño del paquete, DAG las tareas que se están ejecutando actualmente, DAG los errores de las tareas y los éxitos. Al crear un entorno, Airflow se configura para enviar automáticamente las métricas de un MWAA entorno de Amazon a CloudWatch. En esta página, se describe cómo crear un panel de estado de salud para las métricas de Airflow en CloudWatch un MWAA entorno de Amazon.

Contenido

• Métricas
• Información general sobre los estados de las alarmas
• Ejemplos de paneles y alarmas personalizados
  • Acerca de las métricas
  • Acerca del panel
  • Uso de AWS tutoriales
  • Usando AWS CloudFormation
• Eliminación de métricas y paneles
• Siguientes pasos

Métricas

Puede crear paneles y alarmas personalizados para cualquiera de las métricas disponibles en su versión de Apache Airflow. Cada métrica corresponde a un indicador clave de rendimiento de Apache Airflow ()KPI. Para ver una lista de las métricas, consulte:

• Métricas del entorno Apache Airflow v2 en CloudWatch

Información general sobre los estados de las alarmas

Una alarma de métrica tiene los siguientes estados posibles:

• OK: la métrica o expresión está dentro del umbral definido.

• ALARM: la métrica o expresión está fuera del umbral definido.

• INSUFFICIENT_DATA: la alarma acaba de iniciarse, la métrica no está disponible o no hay suficientes datos disponibles en la métrica para determinar el estado de la alarma.

Ejemplos de paneles y alarmas personalizados

Puede crear un panel de supervisión personalizado que muestre gráficos de las métricas seleccionadas para su MWAA entorno de Amazon.

Acerca de las métricas

En la siguiente lista se describen cada una de las métricas que se han creado en el panel personalizado mediante el tutorial y las plantillas de esta sección.

• QueuedTasks- El número de tareas en estado de cola. Se corresponde con la métrica executor.queued_tasks de Apache Airflow.

• TasksPending- El número de tareas pendientes en el ejecutor. Se corresponde con la métrica scheduler.tasks.pending de Apache Airflow.

  nota

  No se aplica a Apache Airflow v2.2 y posterior.

• RunningTasks- El número de tareas en ejecución en el ejecutor. Se corresponde con la métrica executor.running_tasks de Apache Airflow.

• SchedulerHeartbeat- El número de comprobaciones que Apache Airflow realiza en el trabajo del programador. Se corresponde con la métrica scheduler_heartbeat de Apache Airflow.

• TotalParseTime- El número de segundos que se tardan en escanear e importar todos los DAG archivos una vez. Se corresponde con la métrica dag_processing.total_parse_time de Apache Airflow.

Acerca del panel

La imagen siguiente muestra el panel de monitorización que se ha creado mediante el tutorial y la plantilla de esta sección.

Uso de AWS tutoriales

Puedes usar el siguiente AWS tutorial para crear automáticamente un panel de estado de salud para cualquier MWAA entorno de Amazon que esté desplegado actualmente. También crea CloudWatch alarmas para los trabajadores en mal estado y los fallos en los latidos del programador en todos los MWAA entornos de Amazon.

• CloudWatch Automatización de paneles de control para Amazon MWAA

Usando AWS CloudFormation

Puede utilizar la definición de AWS CloudFormation plantilla de esta sección para crear un panel de supervisión y CloudWatch, a continuación, añadir alarmas a la CloudWatch consola para recibir notificaciones cuando una métrica supere un umbral determinado. Para crear la pila con esta definición de plantilla, consulte Crear una pila en la AWS CloudFormation consola. Para añadir una alarma al panel, consulte Uso de las alarmas de Amazon CloudWatch.

AWSTemplateFormatVersion: "2010-09-09"
Description: Creates MWAA Cloudwatch Dashboard
Parameters:
  DashboardName:
    Description: Enter the name of the CloudWatch Dashboard
    Type: String
  EnvironmentName:
    Description: Enter the name of the MWAA Environment
    Type: String    
Resources:
  BasicDashboard:
    Type: AWS::CloudWatch::Dashboard
    Properties:
      DashboardName: !Ref DashboardName
      DashboardBody:
        Fn::Sub: '{
              "widgets": [
                  {
                      "type": "metric",
                      "x": 0,
                      "y": 0,
                      "width": 12,
                      "height": 6,
                      "properties": {
                          "view": "timeSeries",
                          "stacked": true,
                          "metrics": [
                              [
                                  "AmazonMWAA",
                                  "QueuedTasks",
                                  "Function",
                                  "Executor",
                                  "Environment",
                                  "${EnvironmentName}"
                              ]
                          ],
                          "region": "${AWS::Region}",
                          "title": "QueuedTasks ${EnvironmentName}",
                          "period": 300
                      }
                  },
                  {
                      "type": "metric",
                      "x": 0,
                      "y": 6,
                      "width": 12,
                      "height": 6,
                      "properties": {
                          "view": "timeSeries",
                          "stacked": true,
                          "metrics": [
                              [
                                  "AmazonMWAA",
                                  "RunningTasks",
                                  "Function",
                                  "Executor",
                                  "Environment",
                                  "${EnvironmentName}"
                              ]
                          ],
                          "region": "${AWS::Region}",
                          "title": "RunningTasks ${EnvironmentName}",
                          "period": 300
                      }
                  },
                  {
                      "type": "metric",
                      "x": 12,
                      "y": 6,
                      "width": 12,
                      "height": 6,
                      "properties": {
                          "view": "timeSeries",
                          "stacked": true,
                          "metrics": [
                              [
                                  "AmazonMWAA",
                                  "SchedulerHeartbeat",
                                  "Function",
                                  "Scheduler",
                                  "Environment",
                                  "${EnvironmentName}"
                              ]
                          ],
                          "region": "${AWS::Region}",
                          "title": "SchedulerHeartbeat ${EnvironmentName}",
                          "period": 300
                      }
                  },
                  {
                      "type": "metric",
                      "x": 12,
                      "y": 0,
                      "width": 12,
                      "height": 6,
                      "properties": {
                          "view": "timeSeries",
                          "stacked": true,
                          "metrics": [
                              [
                                  "AmazonMWAA",
                                  "TasksPending",
                                  "Function",
                                  "Scheduler",
                                  "Environment",
                                  "${EnvironmentName}"
                              ]
                          ],
                          "region": "${AWS::Region}",
                          "title": "TasksPending ${EnvironmentName}",
                          "period": 300
                      }
                  },
                  {
                      "type": "metric",
                      "x": 0,
                      "y": 12,
                      "width": 24,
                      "height": 6,
                      "properties": {
                          "view": "timeSeries",
                          "stacked": true,
                          "region": "${AWS::Region}",
                          "metrics": [
                              [
                                  "AmazonMWAA",
                                  "TotalParseTime",
                                  "Function",
                                  "DAG Processing",
                                  "Environment",
                                  "${EnvironmentName}"
                              ]
                          ],
                          "title": "TotalParseTime  ${EnvironmentName}",
                          "period": 300
                      }
                  }
              ]
          }'

Eliminación de métricas y paneles

Si eliminas un MWAA entorno de Amazon, también se eliminará el panel de control correspondiente. CloudWatch Las métricas se almacenan durante quince (15) meses y no se pueden eliminar. La CloudWatch consola limita la búsqueda de métricas a dos (2) semanas después de la última ingesta de una métrica para garantizar que se muestren las instancias más actualizadas de su MWAA entorno de Amazon. Para obtener más información, consulta Amazon CloudWatch FAQs.

Siguientes pasos

• Aprenda a crear una DAG que consulte la base de datos de SQL metadatos Postgre de Amazon Aurora de su entorno y publique métricas personalizadas en ella. CloudWatch Usar un DAG para escribir métricas personalizadas en CloudWatch