Métricas de contenedores, colas y bases de datos para Amazon MWAA - Amazon Managed Workflows para Apache Airflow

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Métricas de contenedores, colas y bases de datos para Amazon MWAA

Además de las métricas de Apache Airflow, puede monitorizar los componentes subyacentes de sus entornos Amazon Managed Workflows for Apache Airflow CloudWatch, que recopila datos sin procesar y procesa los datos para convertirlos en métricas legibles prácticamente en tiempo real. Gracias a estas métricas de los entornos, dispondrá de una mayor visibilidad de los indicadores clave de rendimiento que le resultarán útiles para dimensionar sus entornos de forma adecuada y resolver problemas relacionados con sus flujos de trabajo. Estas métricas se aplican a todas las versiones de Apache Airflow compatibles con Amazon MWAA.

Amazon MWAA proporcionará métricas sobre el uso de la CPU y la memoria para cada contenedor de Amazon Elastic Container Service (Amazon ECS) e instancia de Amazon Aurora PostgreSQL, así como métricas de Amazon Simple Queue Service (Amazon SQS) para el número de mensajes y la antigüedad del mensaje más antiguo, métricas de Amazon Relational Database Service (Amazon RDS) para las conexiones de base de datos, la profundidad de la cola de disco, las operaciones de escritura, la latencia y el rendimiento, y métricas de Amazon RDS Proxy. Además, también se incluirá la cantidad de procesos de trabajo base, los procesos de trabajo adicionales, los programadores y los servidores web.

Estas estadísticas se conservarán durante 15 meses, lo que le permitirá acceder a información histórica y dispondrá de una mejor perspectiva acerca de por qué un programa está fallando y podrá solucionar problemas subyacentes. También puede establecer alarmas que vigilen determinados umbrales y enviar notificaciones o realizar acciones cuando se cumplan dichos umbrales. Para obtener más información, consulta la Guía del CloudWatch usuario de Amazon.

Términos

Espacio de nombres

Un espacio de nombres es un contenedor de las CloudWatch métricas de un AWS servicio. El espacio de nombres para Amazon MWAA es AWS/MWAA.

CloudWatch métricas

Una CloudWatch métrica representa un conjunto de puntos de datos ordenados en el tiempo que son específicos de CloudWatch.

Dimensión

Una dimensión es un par de nombre-valor que forma parte de la identidad de una métrica.

Unidad

Las estadísticas tienen unidades de medida. En el caso de Amazon MWAA, la unidad es recuento.

Dimensiones

En esta sección se describen las CloudWatch dimensiones en las que se agrupan las métricas de Amazon MWAA. CloudWatch

Dimensión Descripción

Clúster

Métricas de los tres contenedores de Amazon ECS, como mínimo, que utiliza un entorno de Amazon MWAA para ejecutar los componentes de Apache Airflow: programador, proceso de trabajo y servidor web.

Queue

Métricas de las colas de Amazon SQS que separan el programador de los procesos de trabajo. Cuando los procesos de trabajo leen un mensaje, se considera que están en tránsito y, por tanto, no está disponible para otros procesos de trabajo. Los mensajes pasan a estar disponibles para que los lean otros procesos de trabajo si no se borran antes del tiempo límite de visibilidad de 12 horas.

Base de datos

Métricas de los clústeres de Aurora que utiliza Amazon MWAA. Esto incluye métricas de la instancia de base de datos principal y una réplica de lectura compatibles con las operaciones de lectura. Amazon MWAA publica métricas de base de datos para las instancias de LECTOR y ESCRITOR.

Acceso a las métricas en la consola CloudWatch

En esta sección se describe cómo acceder a las métricas de Amazon MWAA en. CloudWatch

Pasos para consultar las métricas de rendimiento de una dimensión
  1. Abra la página de métricas en la CloudWatch consola.

  2. Usa el selector de AWS regiones para seleccionar tu región.

  3. Elija el espacio de nombres AWS/MWAA.

  4. En la pestaña Todas las métricas, elija una dimensión. Por ejemplo, Clúster.

  5. Elija una CloudWatch métrica para una dimensión. Por ejemplo, NumSchedulerso utilización de la CPU. A continuación, elija Representar gráficamente todos los resultados de la búsqueda.

  6. Elija la pestaña Métricas gráficas para ver las métricas de rendimiento.

Lista de métricas

En las tablas siguientes se enumeran las métricas de los servicios de clúster, cola y base de datos de Amazon MWAA. Para ver las descripciones de las métricas que se envían directamente desde Amazon ECS, Amazon SQS o Amazon RDS, siga el enlace a la documentación correspondiente.

Métricas de clúster

Las métricas siguientes se aplican a todos los programadores, procesos de trabajo base, procesos de trabajo adicionales y servidores web. Para más información y leer las descripciones de cada métrica de clúster, consulte Métricas y dimensiones disponibles en la Guía para desarrolladores de Amazon ECS.

Espacio de nombres Métrica Unidad

AWS/MWAA

CPUUtilization

Porcentaje

AWS/MWAA

MemoryUtilization

Porcentaje

Evaluar la cantidad de contenedores adicionales de trabajadores y servidores web

Puede utilizar las métricas de los componentes que se proporcionan en la dimensión de clúster, tal como se describe en el siguiente procedimiento, para evaluar cuántos trabajadores o servidores web adicionales utiliza un entorno en un momento dado. Para ello, puede representar gráficamente el uso de la CPU o la MemoryUtilizationmétrica y establecer el tipo de estadística en Recuento de muestras. El valor resultante será el número total de tareas RUNNING del componente AdditionalWorker. Comprender la cantidad de instancias de trabajo adicionales que utiliza su entorno puede ayudarle a evaluar la escala de su entorno y optimizar la cantidad de trabajadores adicionales.

Workers
Para evaluar la cantidad de trabajadores adicionales, utilice el AWS Management Console
  1. Elija el espacio de nombres AWS/MWAA.

  2. En la pestaña Todas las métricas, elija la dimensión Clúster.

  3. En la dimensión Clúster, para la AdditionalWorker, elija la utilización de la CPU o la MemoryUtilizationmétrica.

  4. En la pestaña Métricas diagramadas, cambie Periodo a 1 minuto y Estadística a Número de muestras.

Web servers
Para evaluar la cantidad de servidores web adicionales que utilizan la AWS Management Console
  1. Elija el espacio de nombres AWS/MWAA.

  2. En la pestaña Todas las métricas, elija la dimensión Clúster.

  3. En la dimensión de clúster, para la AdditionalWebservers, elija la utilización de la CPU o la MemoryUtilizationmétrica.

  4. En la pestaña Métricas diagramadas, cambie Periodo a 1 minuto y Estadística a Número de muestras.

Para más información, consulte el recuento de tareas del servicio RUNNING en la Guía para desarrolladores de Amazon Elastic Container Service.

Métricas de bases de datos

Las siguientes métricas se aplican a cada instancia de base de datos asociada al entorno Amazon MWAA.

Espacio de nombres Métrica Unidad

AWS/MWAA

CPUUtilization

Porcentaje

AWS/MWAA

DatabaseConnections

Recuento

AWS/MWAA

DiskQueueDepth

Recuento

AWS/MWAA

FreeableMemory

Bytes

AWS/MWAA

VolumeWriteIOPS

Recuento cada 5 minutos

AWS/MWAA

WriteIOPS

Recuento por segundo

AWS/MWAA

WriteLatency

Segundos

AWS/MWAA

WriteThroughput

Bytes por segundo

Métricas de cola

Para obtener más información sobre las unidades y las descripciones de las siguientes métricas de colas, consulte las CloudWatch métricas disponibles para Amazon SQS en la Guía para desarrolladores de Amazon Simple Queue Service.

Espacio de nombres Métrica Unidad

AWS/MWAA

ApproximateAgeOfOldestTask

Segundos

AWS/MWAA

RunningTasks

Recuento

AWS/MWAA

QueuedTasks

Recuento

Métricas del Equilibrador de carga de aplicación

Las métricas de Application Load Balancer se aplican a los servidores web que se ejecutan en su entorno. Amazon MWAA utiliza estas métricas para escalar sus servidores web en función de la cantidad de tráfico. Para obtener más información sobre las unidades y las descripciones de las siguientes métricas del balanceador de carga, consulta CloudWatch las métricas de tu Application Load Balancer en la Guía del usuario de Application Load Balancers.

Espacio de nombres Métrica Unidad

AWS/MWAA

ActiveConnectionCount

Recuento