Métricas de contêiner, fila e banco de dados para Amazon MWAA - Amazon Managed Workflows for Apache Airflow

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Métricas de contêiner, fila e banco de dados para Amazon MWAA

Além das métricas do Apache Airflow, você pode monitorar os componentes subjacentes dos seus ambientes Amazon Managed Workflows for Apache Airflow usando CloudWatch, que coleta dados brutos e processa dados em métricas legíveis, quase em tempo real. Com essas métricas de ambiente, você terá maior visibilidade dos principais indicadores de desempenho, ajudando a dimensionar adequadamente seus ambientes e depurar problemas com seus fluxos de trabalho. Essas métricas se aplicam a todas as versões compatíveis do Apache Airflow no Amazon MWAA.

O Amazon MWAA fornecerá utilização de CPU e memória para cada contêiner do Amazon Elastic Container Service (Amazon ECS) e instância do Amazon Aurora PostgreSQL, e métricas do Amazon Simple Queue Service (Amazon SQS) para o número de mensagens e a idade da mensagem mais antiga, métricas do Amazon Relational Database Service (Amazon RDS) para conexões de banco de dados, profundidade da fila de disco, operações de gravação, latência e throughput, além de métricas do Amazon RDS Proxy. Essas métricas também incluem o número de operadores básicos, operadores adicionais, agendadores e servidores web.

Essas estatísticas são mantidas por 15 meses, de maneira que você possa acessar informações históricas e ter uma perspectiva melhor de por que um cronograma está falhando e solucionar problemas subjacentes. Você também pode definir alarmes que observam determinados limites e enviam notificações ou realizam ações quando esses limites são atingidos. Para obter mais informações, consulte o Guia CloudWatch do usuário da Amazon.

Termos

Namespace

Um namespace é um contêiner para as CloudWatch métricas de um AWS serviço. Para o Amazon MWAA, o namespace é AWS/MWAA.

CloudWatch métricas

Uma CloudWatch métrica representa um conjunto ordenado por tempo de pontos de dados específicos de CloudWatch.

Dimensão

Uma dimensão é um par de nome/valor que faz parte da identidade de uma métrica.

Unidade

Uma estatística tem uma unidade de medida. Para o Amazon MWAA, as unidades incluem Contagem.

Dimensões

Esta seção descreve o agrupamento de CloudWatch dimensões para as métricas do Amazon MWAA em. CloudWatch

Dimensão Descrição

Cluster

Métricas para o mínimo de três contêineres do Amazon ECS que um ambiente Amazon MAA usa para executar componentes do Apache Airflow: agendador, operador e servidor web.

Fila

Métricas para as filas do Amazon SQS que separam o agendador dos operadores. Quando os operadores leem as mensagens, elas são consideradas em trânsito e não estão disponíveis para outros operadores. As mensagens ficam disponíveis para que outros operadores as leiam se não forem excluídas antes do tempo limite de visibilidade de 12 horas.

Banco de dados

Métricas dos clusters Aurora usados pelo Amazon MWAA. Ele inclui métricas para a instância primária do banco de dados e uma réplica de leitura para dar suporte às operações de leitura. O Amazon MWAA publica métricas de banco de dados para as instâncias READER e WRITER.

Acessando métricas no CloudWatch console

Esta seção descreve como acessar suas métricas do Amazon MWAA em. CloudWatch

Para visualizar as métricas de desempenho para uma dimensão
  1. Abra a página Métricas no CloudWatch console.

  2. Use o seletor de AWS região para selecionar sua região.

  3. Escolha o namespace AWS/MWAA.

  4. Na guia Todas as métricas, escolha uma dimensão. Por exemplo, Cluster.

  5. Escolha uma CloudWatch métrica para uma dimensão. Por exemplo, NumSchedulersou CPUUtilization. Em seguida, escolha Representar graficamente todos os resultados da pesquisa.

  6. Escolha a guia Métricas representadas graficamente para visualizar as métricas de desempenho.

Lista de métricas

As tabelas a seguir listam as métricas de cluster, fila e serviço de banco de dados para o Amazon MWAA. Para visualizar descrições de métricas emitidas diretamente do Amazon ECS, Amazon SQS ou Amazon RDS, escolha o respectivo link da documentação.

Métricas de cluster

As métricas a seguir se aplicam a cada agendador, operador base, operador adicional e servidor web. Para obter mais informações e descrições de cada métrica de cluster, consulte Métricas e dimensões disponíveis no Guia do desenvolvedor do Amazon ECS.

Namespace Métrica Unidade

AWS/MWAA

CPUUtilization

Percentual

AWS/MWAA

MemoryUtilization

Percentual

Avaliação do número de contêineres adicionais de trabalhadores e servidores web

Você pode usar as métricas de componentes fornecidas na dimensão Cluster, conforme descrito no procedimento a seguir, para avaliar quantos trabalhadores adicionais, ou servidores web, um ambiente está usando em um determinado momento. Você pode fazer isso representando graficamente a utilização da CPU ou a MemoryUtilizationmétrica e definindo o tipo de estatística como Contagem de amostras. O valor resultante é o número total de tarefas RUNNING do componente AdditionalWorker. Compreender o número de instâncias de trabalho adicionais utilizadas pelo seu ambiente pode ajudá-lo a avaliar como seu ambiente se expande e permitir que você otimize o número de trabalhadores adicionais.

Workers
Para avaliar o número de trabalhadores adicionais usando o AWS Management Console
  1. Escolha o namespace AWS/MWAA.

  2. Na guia Todas as métricas, escolha a dimensão Cluster.

  3. Na dimensão Cluster, para o AdditionalWorker, escolha a utilização da CPU ou a métrica. MemoryUtilization

  4. Na guia Métricas em gráfico, configure o Período para 1 minuto e Estatística para Contagem de amostras.

Web servers
Para avaliar o número de servidores web adicionais usando o AWS Management Console
  1. Escolha o namespace AWS/MWAA.

  2. Na guia Todas as métricas, escolha a dimensão Cluster.

  3. Na dimensão Cluster, para o AdditionalWebservers, escolha a utilização da CPU ou a métrica. MemoryUtilization

  4. Na guia Métricas em gráfico, configure o Período para 1 minuto e Estatística para Contagem de amostras.

Para obter mais informações, consulte Contagem de tarefas do serviço RUNNING no Guia do desenvolvedor do Amazon Elastic Container Service.

Métricas de banco de dados

As métricas a seguir se aplicam a cada instância de banco de dados associada ao ambiente Amazon MWAA.

Namespace Métrica Unidade

AWS/MWAA

CPUUtilization

Percentual

AWS/MWAA

DatabaseConnections

Contagem

AWS/MWAA

DiskQueueDepth

Contagem

AWS/MWAA

FreeableMemory

Bytes

AWS/MWAA

VolumeWriteIOPS

Contagem a cada cinco minutos

AWS/MWAA

WriteIOPS

Contagem por segundo

AWS/MWAA

WriteLatency

Segundos

AWS/MWAA

WriteThroughput

Bytes por segundo

Métricas de fila

Para obter mais informações sobre unidades e descrições das seguintes métricas de fila, consulte Métricas disponíveis CloudWatch para o Amazon SQS no Guia do desenvolvedor do Amazon Simple Queue Service.

Namespace Métrica Unidade

AWS/MWAA

ApproximateAgeOfOldestTask

Segundos

AWS/MWAA

RunningTasks

Contagem

AWS/MWAA

QueuedTasks

Contagem

Métricas do Application Load Balancer

As métricas do Application Load Balancer se aplicam aos servidores web em execução em seu ambiente. O Amazon MWAA usa essas métricas para escalar seus servidores web com base na quantidade de tráfego. Para obter mais informações sobre unidades e descrições das seguintes métricas do balanceador de carga, consulte CloudWatch as métricas do seu Application Load Balancer no Guia do usuário do Application Load Balancers.

Namespace Métrica Unidade

AWS/MWAA

ActiveConnectionCount

Contagem