Amazon MWAA의 컨테이너, 대기열 및 데이터베이스 지표 - Amazon Managed Workflows for Apache Airflow

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Amazon MWAA의 컨테이너, 대기열 및 데이터베이스 지표

Apache Airflow 지표 외에도 원시 데이터를 수집하고 데이터를 읽기 가능한 실시간에 가까운 지표로 처리하는 CloudWatch를 사용하여 Amazon Managed Workflows for Apache Airflow 환경의 기본 구성 요소를 모니터링할 수 있습니다. 이러한 환경 지표를 사용하면 주요 성과 지표에 대한 가시성이 좋아져 환경의 크기를 적절히 조정하고 워크플로와 관련된 문제를 디버깅하는 데 도움이 됩니다. 이러한 지표는 Amazon MWAA에서 지원되는 모든 Apache Airflow 버전에 적용됩니다.

Amazon MWAA는 각 Amazon Elastic Container Service(Amazon ECS) 컨테이너 및 Amazon Aurora PostgreSQL 인스턴스에 대한 CPU 및 메모리 사용률, 메시지 수 및 가장 오래된 메시지의 수명에 대한 Amazon Simple Queue Service(Amazon SQS) 지표, 데이터베이스 연결, 디스크 대기열 깊이, 쓰기 작업, 지연 시간 및 처리량에 대한 Amazon Relational Database Service(Amazon RDS) 지표, Amazon RDS 프록시 지표를 제공합니다. 이러한 지표에는 기본 작업자, 추가 작업자, 스케줄러 및 웹 서버의 수도 포함됩니다.

이러한 통계는 15개월간 보관되므로 기록 정보를 보고 일정에 오류가 발생하는 이유를 더 잘 파악하고 근본적인 문제를 해결할 수 있습니다. 특정 임계값을 주시하다가 해당 임계값이 충족될 때 알림을 전송하거나 조치를 취하도록 경보를 설정할 수도 있습니다. 자세한 내용은 Amazon CloudWatch 사용 설명서를 참조하세요.

용어

네임스페이스

네임스페이스는 AWS 서비스의 CloudWatch 지표를 위한 컨테이너입니다. Amazon MWAA의 경우 네임스페이스는 입니다AWS/MWAA.

CloudWatch 지표

A CloudWatch 지표는 CloudWatch에 고유한 시간 순서의 데이터 포인트 집합을 나타냅니다.

차원

차원은 지표의 보안 인증에 속하는 명칭/값 쌍입니다.

단위

통계에는 측정 단위가 포함되어 있습니다. Amazon MWAA의 경우 단위에는 개수가 포함됩니다.

차원

이 섹션에서는 Amazon MWAA 지표 in CloudWatch 에 대한 CloudWatch 차원 그룹화를 설명합니다.

차원 설명

클러스터

Amazon ECS 환경이 Apache Airflow 구성 요소인 스케줄러, 작업자 및 웹 서버를 실행하는 데 사용하는 최소 3개의 Amazon MWAA 컨테이너에 대한 지표입니다.

대기열

스케줄러를 작업자와 분리하는 Amazon SQS 대기열에 대한 지표입니다. 작업자가 메시지를 읽을 때는 처리 중인 것으로 간주되어 다른 작업자가 사용할 수 없습니다. 메시지가 표시 제한 시간인 12시간 이전에 삭제되지 않으면 다른 작업자가 메시지를 읽을 수 있습니다.

데이터베이스

Amazon MWAA에서 사용하는 Aurora 클러스터를 측정합니다. 여기에는 기본 데이터베이스 인스턴스에 대한 지표와 읽기 동작을 지원하는 읽기 전용 복제본이 포함됩니다. Amazon MWAA는 Word 인스턴스와 READER WRITER 인스턴스 모두에 대한 데이터베이스 지표를 게시합니다.

CloudWatch 콘솔에서 지표 액세스

이 섹션에서는 Amazon MWAA 지표 in CloudWatch에 액세스하는 방법을 설명합니다.

차원에 대한 성능 지표를 보려면
  1. CloudWatch 콘솔에서 지표 페이지를 엽니다.

  2. AWS 리전 선택기를 사용하여 리전을 선택합니다.

  3. AWS/MWAA 네임스페이스를 선택합니다.

  4. 모든 지표 탭에서 차원을 선택합니다. 예: 클러스터

  5. 차원에 대한 a CloudWatch 지표를 선택합니다. 예: NumSchedulers 또는 CPUUtilization. 이어서, 모든 검색 결과를 그래프로 표시를 선택합니다.

  6. 그래프로 표시된 지표 탭을 선택하여 성능 지표를 확인합니다.

지표 목록

다음 표에는 Amazon MWAA에 대한 클러스터, 대기열 및 데이터베이스 서비스 지표가 나열되어 있습니다. Amazon ECS, Amazon Word SQS또는 Amazon RDS에서 직접 내보낸 지표에 대한 설명을 보려면 해당 설명서 링크를 선택합니다.

클러스터 지표

다음 지표는 각 스케줄러, 기본 작업자, 추가 작업자 및 웹 서버에 적용됩니다. 각 클러스터 지표에 대한 자세한 내용과 설명은 Amazon ECS 개발자 안내서사용 가능한 지표 및 차원을 참조하세요.

네임스페이스 지표 Unit

AWS/MWAA

CPUUtilization

%

AWS/MWAA

MemoryUtilization

%

추가 작업자 및 웹 서버 컨테이너 수 평가

다음 절차에 설명된 대로 클러스터 차원에 제공된 구성 요소 지표를 사용하여 특정 시점에 환경에서 사용하고 있는 추가 작업자 또는 웹 서버의 수를 평가할 수 있습니다. Word 또는 CPUUtilization MemoryUtilization 지표를 그래프로 표시하고 통계 유형을 샘플 수로 설정하여이 작업을 수행할 수 있습니다. 결과 값은 AdditionalWorker 구성 요소의 총 RUNNING 작업 수입니다. 환경에서 사용하는 추가 작업자 인스턴스의 수를 이해하면 환경이 규모를 조정하는 방식을 파악하고 추가 작업자 수를 최적화하는 데 도움이 될 수 있습니다.

Workers
를 사용하여 추가 작업자 수를 평가하려면 AWS Management Console
  1. AWS/MWAA 네임스페이스를 선택합니다.

  2. 모든 지표 탭에서 클러스터 차원을 선택합니다.

  3. 클러스터 차원의 AdditionalWorker에서 CPUUtilization 또는 MemoryUtilization 지표를 선택합니다.

  4. 그래프로 표시된 지표 탭에서 기간1분으로 설정하고, 통계샘플 수로 설정합니다.

Web servers
를 사용하여 추가 웹 서버 수를 평가하려면 AWS Management Console
  1. AWS/MWAA 네임스페이스를 선택합니다.

  2. 모든 지표 탭에서 클러스터 차원을 선택합니다.

  3. 클러스터 차원의 AdditionalWebservers에서 CPUUtilization 또는 MemoryUtilization 지표를 선택합니다.

  4. 그래프로 표시된 지표 탭에서 기간1분으로 설정하고, 통계샘플 수로 설정합니다.

자세한 내용은 Amazon Elastic Container Service 개발자 가이드서비스 RUNNING 작업 수를 참조하십시오.

데이터베이스 지표

다음 지표는 Amazon MWAA 환경과 연결된 각 데이터베이스 인스턴스에 적용됩니다.

네임스페이스 지표 Unit

AWS/MWAA

CPUUtilization

%

AWS/MWAA

DatabaseConnections

개수

AWS/MWAA

DiskQueueDepth

개수

AWS/MWAA

FreeableMemory

바이트

AWS/MWAA

VolumeWriteIOPS

5분당 개수

AWS/MWAA

WriteIOPS

초당 개수

AWS/MWAA

WriteLatency

AWS/MWAA

WriteThroughput

초당 바이트

대기열 지표

다음 대기열 지표에 대한 단위 및 설명에 대한 자세한 내용은 Amazon Simple Queue Service 개발자 안내서의 Amazon SQS에 대한 Available CloudWatch 지표를 참조하세요.

네임스페이스 지표 Unit

AWS/MWAA

ApproximateAgeOfOldestTask

AWS/MWAA

RunningTasks

개수

AWS/MWAA

QueuedTasks

개수

Application Load Balancer 지표

Application Load Balancer 지표는 환경에서 실행되는 웹 서버에 적용됩니다. Amazon MWAA는 이러한 지표를 사용하여 트래픽 양에 따라 웹 서버를 확장합니다. 단위에 대한 자세한 내용과 다음 로드 밸런서 지표에 대한 설명은 Application Load Balancer 사용 설명서의 Application Load Balancer에 대한 CloudWatch 지표를 참조하세요.

네임스페이스 지표 Unit

AWS/MWAA

ActiveConnectionCount

개수