As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Painéis de monitoramento e alarmes no Amazon MWAA
Você pode criar um painel personalizado na Amazon CloudWatch e adicionar alarmes para uma métrica específica para monitorar o status de saúde de um ambiente Amazon Managed Workflows for Apache Airflow. Quando há um alarme em um painel, ele fica vermelho quando está no estado ALARM
, facilitando o monitoramento proativo da integridade de um ambiente Amazon MWAA.
O Apache Airflow expõe métricas para vários processos, incluindo o número de processos do DAG, o tamanho do pacote do DAG, as tarefas atualmente em execução, as falhas e os sucessos das tarefas. Quando você cria um ambiente, o Airflow é configurado para enviar automaticamente métricas de um ambiente Amazon MWAA para. CloudWatch Esta página descreve como criar um painel de status de saúde para as métricas do Airflow em um CloudWatch ambiente Amazon MWAA.
Sumário
Metrics
Você pode criar um painel e um alarme personalizados para qualquer uma das métricas disponíveis para sua versão do Apache Airflow. Cada métrica corresponde a um indicador-chave de desempenho (KPI) do Apache Airflow. Para visualizar uma lista de métricas, consulte:
Visão geral dos estados de alarme
Um alarme de métrica tem estes estados possíveis:
-
OK
: a métrica ou a expressão está dentro do limite definido. -
ALARM
: a métrica ou a expressão está fora do limite definido. -
INSUFFICIENT_DATA
: o alarme acabou de ser acionado, a métrica não está disponível ou não há dados suficientes para a métrica determinar o estado do alarme.
Exemplos de painéis e alarmes personalizados
Você pode criar um painel de monitoramento personalizado que exibe gráficos de métricas selecionadas para seu ambiente do Amazon MWAA.
Sobre essas métricas
A lista a seguir descreve cada uma das métricas criadas no painel personalizado pelas definições do tutorial e do modelo nesta seção.
-
QueuedTasks- O número de tarefas com estado em fila. Corresponde à métrica
executor.queued_tasks
do Apache Airflow. -
TasksPending- O número de tarefas pendentes no executor. Corresponde à métrica
scheduler.tasks.pending
do Apache Airflow.nota
Não se aplica ao Apache Airflow v2.2 e superior.
-
RunningTasks- O número de tarefas em execução no executor. Corresponde à métrica
executor.running_tasks
do Apache Airflow. -
SchedulerHeartbeat- O número de check-ins que o Apache Airflow realiza no trabalho do agendador. Corresponde às métricas
scheduler_heartbeat
do Apache Airflow. -
TotalParseTime- O número de segundos necessários para digitalizar e importar todos os arquivos DAG uma vez. Corresponde à métrica
dag_processing.total_parse_time
do Apache Airflow.
Sobre o painel
A imagem a seguir mostra o painel de monitoramento criado pelo tutorial e pela definição do modelo nesta seção.
![Esta imagem mostra onde encontrar a opção de Rede privada no console do Amazon MWAA.](images/cw-dashboard.png)
Usando AWS tutoriais
Você pode usar o AWS tutorial a seguir para criar automaticamente um painel de status de saúde para qualquer ambiente Amazon MWAA que esteja implantado atualmente. Ele também cria CloudWatch alarmes para trabalhadores insalubres e falhas de pulsação do agendador em todos os ambientes do Amazon MWAA.
Usando AWS CloudFormation
Você pode usar a definição do AWS CloudFormation modelo nesta seção para criar um painel de monitoramento e CloudWatch, em seguida, adicionar alarmes no CloudWatch console para receber notificações quando uma métrica ultrapassar um limite específico. Para criar a pilha usando essa definição de modelo, consulte Criação de uma pilha no AWS CloudFormation console. Para adicionar um alarme ao painel, consulte Como usar alarmes.
AWSTemplateFormatVersion: "2010-09-09" Description: Creates MWAA Cloudwatch Dashboard Parameters: DashboardName: Description: Enter the name of the CloudWatch Dashboard Type: String EnvironmentName: Description: Enter the name of the MWAA Environment Type: String Resources: BasicDashboard: Type: AWS::CloudWatch::Dashboard Properties: DashboardName: !Ref DashboardName DashboardBody: Fn::Sub: '{ "widgets": [ { "type": "metric", "x": 0, "y": 0, "width": 12, "height": 6, "properties": { "view": "timeSeries", "stacked": true, "metrics": [ [ "AmazonMWAA", "QueuedTasks", "Function", "Executor", "Environment", "${EnvironmentName}" ] ], "region": "${AWS::Region}", "title": "QueuedTasks ${EnvironmentName}", "period": 300 } }, { "type": "metric", "x": 0, "y": 6, "width": 12, "height": 6, "properties": { "view": "timeSeries", "stacked": true, "metrics": [ [ "AmazonMWAA", "RunningTasks", "Function", "Executor", "Environment", "${EnvironmentName}" ] ], "region": "${AWS::Region}", "title": "RunningTasks ${EnvironmentName}", "period": 300 } }, { "type": "metric", "x": 12, "y": 6, "width": 12, "height": 6, "properties": { "view": "timeSeries", "stacked": true, "metrics": [ [ "AmazonMWAA", "SchedulerHeartbeat", "Function", "Scheduler", "Environment", "${EnvironmentName}" ] ], "region": "${AWS::Region}", "title": "SchedulerHeartbeat ${EnvironmentName}", "period": 300 } }, { "type": "metric", "x": 12, "y": 0, "width": 12, "height": 6, "properties": { "view": "timeSeries", "stacked": true, "metrics": [ [ "AmazonMWAA", "TasksPending", "Function", "Scheduler", "Environment", "${EnvironmentName}" ] ], "region": "${AWS::Region}", "title": "TasksPending ${EnvironmentName}", "period": 300 } }, { "type": "metric", "x": 0, "y": 12, "width": 24, "height": 6, "properties": { "view": "timeSeries", "stacked": true, "region": "${AWS::Region}", "metrics": [ [ "AmazonMWAA", "TotalParseTime", "Function", "DAG Processing", "Environment", "${EnvironmentName}" ] ], "title": "TotalParseTime ${EnvironmentName}", "period": 300 } } ] }'
Como apagar métricas e painéis
Se você excluir um ambiente Amazon MWAA, o painel correspondente também será excluído. CloudWatch as métricas são armazenadas por quinze (15) meses e não podem ser excluídas. O CloudWatch console limita a pesquisa de métricas a duas (2) semanas após a última ingestão de uma métrica para garantir que as instâncias mais atualizadas sejam mostradas para seu ambiente Amazon MWAA. Para saber mais, consulte as CloudWatch perguntas frequentes da Amazon
Próximas etapas
-
Saiba como criar um DAG que consulta o banco de dados de metadados PostgreSQL do Amazon Aurora para seu ambiente e publica métricas personalizadas no in. CloudWatch Como usar um DAG para gravar métricas personalizadas no CloudWatch