Amazon MWAA에서 대시보드 및 경보 모니터링

Amazon CloudWatch 에서 사용자 지정 대시보드를 생성하고 특정 지표에 대한 경보를 추가하여 Amazon Managed Workflows for Apache Airflow 환경의 상태를 모니터링할 수 있습니다. 경보가 대시보드에 있으면 ALARM 상태가 되면 빨간색으로 바뀌므로 Amazon MWAA 환경의 상태를 사전 예방적으로 더 쉽게 모니터링할 수 있습니다.

Apache Airflow는 DAG 프로세스 수, DAG 백 크기, 현재 실행 중인 작업, 작업 실패 및 성공 등 여러 프로세스에 대한 지표를 노출합니다. 환경을 생성하면 Airflow가 Amazon MWAA 환경에 대한 지표를 CloudWatch로 전송하도록 구성됩니다. 이 페이지에서는 Amazon MWAA 환경용 in CloudWatch 의 Airflow 지표에 대한 상태 대시보드를 생성하는 방법을 설명합니다.

목차

• 지표
• 경보 상태 개요
• 사용자 지정 대시보드 및 경보의 예
  • 이러한 지표에 대한 정보
  • 대시보드 정보
  • AWS 자습서 사용
  • 사용 AWS CloudFormation
• 지표 및 대시보드 삭제
• 다음 단계

지표

Apache Airflow 버전에서 사용할 수 있는 모든 지표에 대해 사용자 지정 대시보드 및 경보를 생성할 수 있습니다. 각 지표는 Apache Airflow 키 성능 지표(KPI)에 해당합니다. 지표 목록을 보려면 다음을 참조하십시오.

• CloudWatch의 Apache Airflow v2 환경 지표

경보 상태 개요

지표 경보에는 다음과 같은 상태가 있을 수 있습니다.

• OK – 지표 또는 표현식이 정의된 임곗값 내에 있습니다.

• ALARM – 지표 또는 표현식이 정의된 임곗값을 벗어났습니다.

• INSUFFICIENT_DATA – 경보가 방금 시작되었거나 지표를 사용할 수 없거나 지표에서 경보 상태를 결정하는 데 사용할 수 있는 데이터가 충분하지 않습니다.

사용자 지정 대시보드 및 경보의 예

Amazon MWAA 환경에 대해 선택한 지표의 차트를 표시하는 사용자 지정 모니터링 대시보드를 구축할 수 있습니다.

이러한 지표에 대한 정보

다음 목록은 이 섹션의 튜토리얼 및 템플릿 정의를 통해 사용자 지정 대시보드에서 만든 각 지표를 설명합니다.

• QueuedTasks - 대기열에 있는 상태의 작업 수입니다. executor.queued_tasks Apache Airflow 지표에 해당합니다.

• TasksPending - 실행기에서 보류 중인 작업 수입니다. scheduler.tasks.pending Apache Airflow 지표에 해당합니다.

  참고

  Apache Airflow v2.2 이상에는 적용되지 않습니다.

• RunningTasks - 실행기에서 실행되는 작업 수입니다. executor.running_tasks Apache Airflow 지표에 해당합니다.

• SchedulerHeartbeat - Apache Airflow가 스케줄러 작업에 대해 수행하는 체크인 수입니다. scheduler_heartbeat Apache Airflow 지표에 해당합니다.

• TotalParseTime - 모든 DAG 파일을 한 번 스캔하고 가져오는 데 걸리는 초 수입니다. dag_processing.total_parse_time Apache Airflow 지표에 해당합니다.

대시보드 정보

다음 이미지는 이 섹션의 튜토리얼 및 템플릿 정의로 생성된 모니터링 대시보드를 보여줍니다.

AWS 자습서 사용

다음 AWS 자습서를 사용하여 현재 배포된 모든 Amazon MWAA 환경에 대한 상태 대시보드를 자동으로 생성할 수 있습니다. 또한 모든 Amazon MWAA 환경에서 비정상 작업자 및 스케줄러 하트비트 실패에 대한 CloudWatch 경보를 생성합니다.

• Amazon CloudWatch 용 MWAA 대시보드 자동화

사용 AWS CloudFormation

이 섹션의 AWS CloudFormation 템플릿 정의를 사용하여 in CloudWatch에서 모니터링 대시보드를 생성한 다음, 지표가 특정 임계값을 초과할 때 알림을 수신하도록 CloudWatch 콘솔에 경보를 추가할 수 있습니다. 이 템플릿 정의를 사용하여 스택을 생성하려면 AWS CloudFormation 콘솔에서 스택 생성을 참조하세요. 대시보드에 경보를 추가하려면 경보 사용을 참조하십시오.

AWSTemplateFormatVersion: "2010-09-09"
Description: Creates MWAA Cloudwatch Dashboard
Parameters:
  DashboardName:
    Description: Enter the name of the CloudWatch Dashboard
    Type: String
  EnvironmentName:
    Description: Enter the name of the MWAA Environment
    Type: String    
Resources:
  BasicDashboard:
    Type: AWS::CloudWatch::Dashboard
    Properties:
      DashboardName: !Ref DashboardName
      DashboardBody:
        Fn::Sub: '{
              "widgets": [
                  {
                      "type": "metric",
                      "x": 0,
                      "y": 0,
                      "width": 12,
                      "height": 6,
                      "properties": {
                          "view": "timeSeries",
                          "stacked": true,
                          "metrics": [
                              [
                                  "AmazonMWAA",
                                  "QueuedTasks",
                                  "Function",
                                  "Executor",
                                  "Environment",
                                  "${EnvironmentName}"
                              ]
                          ],
                          "region": "${AWS::Region}",
                          "title": "QueuedTasks ${EnvironmentName}",
                          "period": 300
                      }
                  },
                  {
                      "type": "metric",
                      "x": 0,
                      "y": 6,
                      "width": 12,
                      "height": 6,
                      "properties": {
                          "view": "timeSeries",
                          "stacked": true,
                          "metrics": [
                              [
                                  "AmazonMWAA",
                                  "RunningTasks",
                                  "Function",
                                  "Executor",
                                  "Environment",
                                  "${EnvironmentName}"
                              ]
                          ],
                          "region": "${AWS::Region}",
                          "title": "RunningTasks ${EnvironmentName}",
                          "period": 300
                      }
                  },
                  {
                      "type": "metric",
                      "x": 12,
                      "y": 6,
                      "width": 12,
                      "height": 6,
                      "properties": {
                          "view": "timeSeries",
                          "stacked": true,
                          "metrics": [
                              [
                                  "AmazonMWAA",
                                  "SchedulerHeartbeat",
                                  "Function",
                                  "Scheduler",
                                  "Environment",
                                  "${EnvironmentName}"
                              ]
                          ],
                          "region": "${AWS::Region}",
                          "title": "SchedulerHeartbeat ${EnvironmentName}",
                          "period": 300
                      }
                  },
                  {
                      "type": "metric",
                      "x": 12,
                      "y": 0,
                      "width": 12,
                      "height": 6,
                      "properties": {
                          "view": "timeSeries",
                          "stacked": true,
                          "metrics": [
                              [
                                  "AmazonMWAA",
                                  "TasksPending",
                                  "Function",
                                  "Scheduler",
                                  "Environment",
                                  "${EnvironmentName}"
                              ]
                          ],
                          "region": "${AWS::Region}",
                          "title": "TasksPending ${EnvironmentName}",
                          "period": 300
                      }
                  },
                  {
                      "type": "metric",
                      "x": 0,
                      "y": 12,
                      "width": 24,
                      "height": 6,
                      "properties": {
                          "view": "timeSeries",
                          "stacked": true,
                          "region": "${AWS::Region}",
                          "metrics": [
                              [
                                  "AmazonMWAA",
                                  "TotalParseTime",
                                  "Function",
                                  "DAG Processing",
                                  "Environment",
                                  "${EnvironmentName}"
                              ]
                          ],
                          "title": "TotalParseTime  ${EnvironmentName}",
                          "period": 300
                      }
                  }
              ]
          }'

지표 및 대시보드 삭제

Amazon MWAA 환경을 삭제하면 해당 대시보드도 삭제됩니다. CloudWatch 지표는 십오(15) 개월 동안 저장되며 삭제할 수 없습니다. Amazon MWAA 환경에 대한 최신 인스턴스가 표시되도록 하기 위해 CloudWatch 콘솔은 지표 검색을 지표를 마지막으로 수집한 후이(2) 주로 제한합니다. 자세한 내용은 Amazon CloudWatch FAQsWord를 참조하세요.

다음 단계

• 환경에 대한 Amazon Aurora PostgreSQL 메타데이터 데이터베이스를 쿼리하고에서 사용자 지정 지표를 CloudWatch 에 게시하는 DAG를 생성하는 방법을 알아봅니다CloudWatch에서 DAG를 사용하여 사용자 지정 지표 작성.