Painéis de monitoramento e alarmes no Amazon MWAA - Amazon Managed Workflows for Apache Airflow
MetricsVisão geral dos estados de alarmeExemplos de painéis e alarmes personalizadosComo apagar métricas e painéisPróximas etapas

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Painéis de monitoramento e alarmes no Amazon MWAA

Você pode criar um painel personalizado na Amazon CloudWatch e adicionar alarmes para uma métrica específica para monitorar o status de saúde de um ambiente Amazon Managed Workflows for Apache Airflow. Quando há um alarme em um painel, ele fica vermelho quando está no estado ALARM, facilitando o monitoramento proativo da integridade de um ambiente Amazon MWAA.

O Apache Airflow expõe métricas para vários processos, incluindo o número de processos do DAG, o tamanho do pacote do DAG, as tarefas atualmente em execução, as falhas e os sucessos das tarefas. Quando você cria um ambiente, o Airflow é configurado para enviar automaticamente métricas de um ambiente Amazon MWAA para. CloudWatch Esta página descreve como criar um painel de status de saúde para as métricas do Airflow em um CloudWatch ambiente Amazon MWAA.

Metrics

Você pode criar um painel e um alarme personalizados para qualquer uma das métricas disponíveis para sua versão do Apache Airflow. Cada métrica corresponde a um indicador-chave de desempenho (KPI) do Apache Airflow. Para visualizar uma lista de métricas, consulte:

Visão geral dos estados de alarme

Um alarme de métrica tem estes estados possíveis:

  • OK: a métrica ou a expressão está dentro do limite definido.

  • ALARM: a métrica ou a expressão está fora do limite definido.

  • INSUFFICIENT_DATA: o alarme acabou de ser acionado, a métrica não está disponível ou não há dados suficientes para a métrica determinar o estado do alarme.

Exemplos de painéis e alarmes personalizados

Você pode criar um painel de monitoramento personalizado que exibe gráficos de métricas selecionadas para seu ambiente do Amazon MWAA.

Sobre essas métricas

A lista a seguir descreve cada uma das métricas criadas no painel personalizado pelas definições do tutorial e do modelo nesta seção.

  • QueuedTasks- O número de tarefas com estado em fila. Corresponde à métrica executor.queued_tasks do Apache Airflow.

  • TasksPending- O número de tarefas pendentes no executor. Corresponde à métrica scheduler.tasks.pending do Apache Airflow.

    nota

    Não se aplica ao Apache Airflow v2.2 e superior.

  • RunningTasks- O número de tarefas em execução no executor. Corresponde à métrica executor.running_tasks do Apache Airflow.

  • SchedulerHeartbeat- O número de check-ins que o Apache Airflow realiza no trabalho do agendador. Corresponde às métricas scheduler_heartbeat do Apache Airflow.

  • TotalParseTime- O número de segundos necessários para digitalizar e importar todos os arquivos DAG uma vez. Corresponde à métrica dag_processing.total_parse_time do Apache Airflow.

Sobre o painel

A imagem a seguir mostra o painel de monitoramento criado pelo tutorial e pela definição do modelo nesta seção.

Esta imagem mostra onde encontrar a opção de Rede privada no console do Amazon MWAA.

Usando AWS tutoriais

Você pode usar o AWS tutorial a seguir para criar automaticamente um painel de status de saúde para qualquer ambiente Amazon MWAA que esteja implantado atualmente. Ele também cria CloudWatch alarmes para trabalhadores insalubres e falhas de pulsação do agendador em todos os ambientes do Amazon MWAA.

Usando AWS CloudFormation

Você pode usar a definição do AWS CloudFormation modelo nesta seção para criar um painel de monitoramento e CloudWatch, em seguida, adicionar alarmes no CloudWatch console para receber notificações quando uma métrica ultrapassar um limite específico. Para criar a pilha usando essa definição de modelo, consulte Criação de uma pilha no AWS CloudFormation console. Para adicionar um alarme ao painel, consulte Como usar alarmes. 

AWSTemplateFormatVersion: "2010-09-09"
Description: Creates MWAA Cloudwatch Dashboard
Parameters:
  DashboardName:
    Description: Enter the name of the CloudWatch Dashboard
    Type: String
  EnvironmentName:
    Description: Enter the name of the MWAA Environment
    Type: String    
Resources:
  BasicDashboard:
    Type: AWS::CloudWatch::Dashboard
    Properties:
      DashboardName: !Ref DashboardName
      DashboardBody:
        Fn::Sub: '{
              "widgets": [
                  {
                      "type": "metric",
                      "x": 0,
                      "y": 0,
                      "width": 12,
                      "height": 6,
                      "properties": {
                          "view": "timeSeries",
                          "stacked": true,
                          "metrics": [
                              [
                                  "AmazonMWAA",
                                  "QueuedTasks",
                                  "Function",
                                  "Executor",
                                  "Environment",
                                  "${EnvironmentName}"
                              ]
                          ],
                          "region": "${AWS::Region}",
                          "title": "QueuedTasks ${EnvironmentName}",
                          "period": 300
                      }
                  },
                  {
                      "type": "metric",
                      "x": 0,
                      "y": 6,
                      "width": 12,
                      "height": 6,
                      "properties": {
                          "view": "timeSeries",
                          "stacked": true,
                          "metrics": [
                              [
                                  "AmazonMWAA",
                                  "RunningTasks",
                                  "Function",
                                  "Executor",
                                  "Environment",
                                  "${EnvironmentName}"
                              ]
                          ],
                          "region": "${AWS::Region}",
                          "title": "RunningTasks ${EnvironmentName}",
                          "period": 300
                      }
                  },
                  {
                      "type": "metric",
                      "x": 12,
                      "y": 6,
                      "width": 12,
                      "height": 6,
                      "properties": {
                          "view": "timeSeries",
                          "stacked": true,
                          "metrics": [
                              [
                                  "AmazonMWAA",
                                  "SchedulerHeartbeat",
                                  "Function",
                                  "Scheduler",
                                  "Environment",
                                  "${EnvironmentName}"
                              ]
                          ],
                          "region": "${AWS::Region}",
                          "title": "SchedulerHeartbeat ${EnvironmentName}",
                          "period": 300
                      }
                  },
                  {
                      "type": "metric",
                      "x": 12,
                      "y": 0,
                      "width": 12,
                      "height": 6,
                      "properties": {
                          "view": "timeSeries",
                          "stacked": true,
                          "metrics": [
                              [
                                  "AmazonMWAA",
                                  "TasksPending",
                                  "Function",
                                  "Scheduler",
                                  "Environment",
                                  "${EnvironmentName}"
                              ]
                          ],
                          "region": "${AWS::Region}",
                          "title": "TasksPending ${EnvironmentName}",
                          "period": 300
                      }
                  },
                  {
                      "type": "metric",
                      "x": 0,
                      "y": 12,
                      "width": 24,
                      "height": 6,
                      "properties": {
                          "view": "timeSeries",
                          "stacked": true,
                          "region": "${AWS::Region}",
                          "metrics": [
                              [
                                  "AmazonMWAA",
                                  "TotalParseTime",
                                  "Function",
                                  "DAG Processing",
                                  "Environment",
                                  "${EnvironmentName}"
                              ]
                          ],
                          "title": "TotalParseTime  ${EnvironmentName}",
                          "period": 300
                      }
                  }
              ]
          }'

Como apagar métricas e painéis

Se você excluir um ambiente Amazon MWAA, o painel correspondente também será excluído. CloudWatch as métricas são armazenadas por quinze (15) meses e não podem ser excluídas. O CloudWatch console limita a pesquisa de métricas a duas (2) semanas após a última ingestão de uma métrica para garantir que as instâncias mais atualizadas sejam mostradas para seu ambiente Amazon MWAA. Para saber mais, consulte as CloudWatch perguntas frequentes da Amazon.

Próximas etapas