Métricas de contenedores, colas y bases de datos para Amazon MWAA

Además de las métricas de Apache Airflow, puede supervisar los componentes subyacentes de sus entornos CloudWatch Amazon Managed Workflows for Apache Airflow, que recopila datos sin procesar y procesa los datos para convertirlos en métricas legibles prácticamente en tiempo real. Con estas métricas del entorno, tendrá una mayor visibilidad de los indicadores clave de rendimiento que le ayudarán a dimensionar sus entornos de forma adecuada y a solucionar los problemas relacionados con sus flujos de trabajo. Estas métricas se aplican a todas las versiones de Apache Airflow compatibles con Amazon MWAA.

Amazon MWAA proporcionará métricas sobre el uso de la CPU y la memoria para cada contenedor de Amazon Elastic Container Service (Amazon ECS) e instancia de Amazon Aurora PostgreSQL, así como métricas de Amazon Simple Queue Service (Amazon SQS) para el número de mensajes y la antigüedad del mensaje más antiguo, métricas de Amazon Relational Database Service (Amazon RDS) para las conexiones de base de datos, la profundidad de la cola de disco, las operaciones de escritura, la latencia y el rendimiento, y métricas de Amazon RDS Proxy. Estas métricas también incluyen la cantidad de trabajadores base, trabajadores adicionales, programadores y servidores web.

Estas estadísticas se conservarán durante 15 meses, lo que le permitirá acceder a información histórica y dispondrá de una mejor perspectiva acerca de por qué un programa está fallando y podrá solucionar problemas subyacentes. También puede configurar alarmas que supervisen determinados umbrales y enviar notificaciones o tomar medidas cuando se alcancen esos umbrales. Para obtener más información, consulta la Guía del CloudWatch usuario de Amazon.

Términos

Namespace

Un espacio de nombres es un contenedor de las CloudWatch métricas de un AWS servicio. El espacio de nombres para Amazon MWAA es AWS/MWAA.

CloudWatch métricas

Una CloudWatch métrica representa un conjunto de puntos de datos ordenados en el tiempo que son específicos de CloudWatch.

Dimensión

Una dimensión es un name/value par que forma parte de la identidad de una métrica.

Unidad

Las estadísticas tienen unidades de medida. En el caso de Amazon MWAA, la unidad es recuento.

Dimensiones

En esta sección se describen las CloudWatch dimensiones en las que se agrupan las métricas de Amazon MWAA. CloudWatch

Dimensión	Description (Descripción)
Clúster	Métricas de los tres contenedores de Amazon ECS, como mínimo, que un entorno de Amazon MWAA utiliza para ejecutar los componentes de Apache Airflow: programador, proceso de trabajo y servidor web.
Cola	Métricas de las colas de Amazon SQS que separan el programador de los procesos de trabajo. Cuando los procesos de trabajo leen un mensaje, se considera que están en tránsito y, por tanto, no está disponible para otros procesos de trabajo. Los mensajes están disponibles para que los lean otros trabajadores si no se eliminan antes del tiempo de espera de visibilidad de 12 horas.
Base de datos	Métricas de los clústeres de Aurora que utiliza Amazon MWAA. Esto incluye métricas de la instancia de base de datos principal y una réplica de lectura compatibles con las operaciones de lectura. Amazon MWAA publica métricas de base de datos para las instancias de LECTOR y ESCRITOR.

Acceder a las métricas de la consola CloudWatch

En esta sección se describe cómo acceder a las métricas de Amazon MWAA en. CloudWatch

Para acceder a las métricas de rendimiento de una dimensión

1. Abre la página de métricas en la CloudWatch consola.

2. Selecciona tu Región de AWS.

3. Elija el espacio de nombres AWS/MWAA.

4. En la pestaña Todas las métricas, elija una dimensión. Por ejemplo, Clúster.

5. Elige una CloudWatch métrica para una dimensión. Por ejemplo, NumSchedulers o CPUUtilization. A continuación, elija Representar gráficamente todos los resultados de la búsqueda.

6. Seleccione la pestaña Métricas graficadas para acceder a las métricas de rendimiento.

Lista de métricas

En las tablas siguientes se enumeran las métricas de los servicios de clúster, cola y base de datos de Amazon MWAA. Para acceder a las descripciones de las métricas emitidas directamente desde Amazon ECS, Amazon SQS o Amazon RDS, seleccione el enlace de documentación correspondiente.

Temas

• Métricas de clúster

• Métricas de bases de datos

• Métricas de cola

• Métricas del Equilibrador de carga de aplicación

Métricas de clúster

Las métricas siguientes se aplican a todos los programadores, procesos de trabajo base, procesos de trabajo adicionales y servidores web. Para obtener más información y descripciones de cada métrica de clúster, consulte las métricas y dimensiones disponibles en la Guía para desarrolladores de Amazon ECS.

Namespace	Métrica	Unidad
AWS/MWAA	CPUUtilization	Porcentaje
AWS/MWAA	MemoryUtilization	Porcentaje

Evaluar la cantidad de contenedores adicionales para trabajadores y servidores web

Puede utilizar las métricas de los componentes que se proporcionan en la dimensión de clúster, tal como se describe en el siguiente procedimiento, para evaluar cuántos trabajadores o servidores web adicionales utiliza un entorno en un momento dado. Para ello, puede graficar la métrica CPUUtilizationo la MemoryUtilizationmétrica y establecer el tipo de estadística en Recuento de muestras. El valor resultante será el número total de tareas RUNNING del componente AdditionalWorker. Comprender la cantidad de instancias de trabajo adicionales que utiliza su entorno puede ayudarle a evaluar la escala de su entorno y puede utilizarlas para optimizar la cantidad de trabajadores adicionales.

Workers

Para evaluar la cantidad de trabajadores adicionales, utilice el AWS Management Console

1. Elija el espacio de nombres AWS/MWAA.

2. En la pestaña Todas las métricas, elija la dimensión Clúster.

3. En la dimensión Clúster, para la AdditionalWorker, elija la métrica CPUUtilizationo la MemoryUtilizationmétrica.

4. En la pestaña Métricas diagramadas, cambie Periodo a 1 minuto y Estadística a Número de muestras.

webservers

Para evaluar el número de servidores web adicionales que utilizan el AWS Management Console

1. Elija el espacio de nombres AWS/MWAA.

2. En la pestaña Todas las métricas, elija la dimensión Clúster.

3. En la dimensión de clúster, para la AdditionalWebservers, elija la métrica CPUUtilizationo la MemoryUtilizationmétrica.

4. En la pestaña Métricas diagramadas, cambie Periodo a 1 minuto y Estadística a Número de muestras.

Para obtener más información, consulte Recuento de RUNNING tareas de servicio en la Guía para desarrolladores de Amazon Elastic Container Service.

Métricas de bases de datos

Las métricas siguientes se aplican a todas las instancias de bases de datos asociadas al entorno de Amazon MWAA.

Namespace	Métrica	Unidad
AWS/MWAA	CPUUtilization	Porcentaje
AWS/MWAA	DatabaseConnections	Recuento
AWS/MWAA	DiskQueueDepth	Recuento
AWS/MWAA	FreeableMemory	Bytes
AWS/MWAA	VolumeWriteIOPS	Recuento cada 5 minutos
AWS/MWAA	WriteIOPS	Recuento por segundo
AWS/MWAA	WriteLatency	Segundos
AWS/MWAA	WriteThroughput	Bytes por segundo

Métricas de cola

Para obtener más información sobre las unidades y las descripciones de las siguientes métricas de colas, consulte las CloudWatch métricas disponibles para Amazon SQS en la Guía para desarrolladores de Amazon Simple Queue Service.

Namespace	Métrica	Unidad
AWS/MWAA	ApproximateAgeOfOldestTask	Segundos
AWS/MWAA	RunningTasks	Recuento
AWS/MWAA	QueuedTasks	Recuento

Métricas del Equilibrador de carga de aplicación

Las métricas del equilibrador de carga de aplicación se aplican a los servidores web que se ejecutan en su entorno. Amazon MWAA utiliza estas métricas para escalar sus servidores web en función de la cantidad de tráfico. Para obtener más información sobre las unidades y las descripciones de las siguientes métricas del balanceador de cargas, consulta las métricas de tu Application Load Balancer en la Guía del usuario de Application Load Balancers. CloudWatch

Namespace	Métrica	Unidad
AWS/MWAA	ActiveConnectionCount	Recuento