Amazon MWAA의 컨테이너, 대기열 및 데이터베이스 지표 - Amazon Managed Workflows for Apache Airflow

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Amazon MWAA의 컨테이너, 대기열 및 데이터베이스 지표

Apache Airflow 지표 외에도 원시 데이터를 수집하고 데이터를 읽기 가능한 거의 실시간 지표로 처리하는 를 사용하여 CloudWatch Amazon Managed Workflow for Apache Airflow 환경의 기본 구성 요소를 모니터링할 수 있습니다. 이러한 환경 지표를 사용하면 주요 성과 지표에 대한 가시성이 좋아져 환경의 크기를 적절히 조정하고 워크플로와 관련된 문제를 디버깅하는 데 도움이 됩니다. 이들 지표는 Amazon MWAA에서 지원되는 모든 Apache Airflow 버전에 적용됩니다.

Amazon MWAA는 각 Amazon Elastic Container Service(Amazon ECS) 및 Amazon Aurora PostgreSQL 인스턴스에 대한 CPU 및 메모리 사용률을 제공하고, 메시지 수와 가장 오래된 메시지의 보관기간에 대한 Amazon Simple Queue Service(Amazon SQS) 지표를 제공하며, 데이터베이스 연결, 디스크 대기열 길이, 쓰기 동작, 지연 시간, 처리량에 관한 Amazon Relational Database Service(Amazon RDS) 지표, 그리고 Amazon RDS 프록시 지표를 제공합니다. 이러한 지표에는 기본 작업자, 추가 작업자, 스케줄러 및 웹 서버의 수도 포함됩니다.

이러한 통계는 15개월간 보관되므로 기록 정보를 보고 일정에 오류가 발생하는 이유를 더 잘 파악하고 근본적인 문제를 해결할 수 있습니다. 특정 임계값을 주시하다가 해당 임계값이 충족될 때 알림을 전송하거나 조치를 취하도록 경보를 설정할 수도 있습니다. 자세한 내용은 Amazon CloudWatch 사용 설명서를 참조하십시오.

용어

네임스페이스

네임스페이스는 서비스의 CloudWatch 메트릭을 담는 컨테이너입니다 AWS . Amazon MWAA의 네임스페이스는 AWS/MWAA입니다.

CloudWatch 메트릭

CloudWatch 지표는 특정한 시간에 따라 정렬된 데이터 요소 집합을 CloudWatch 나타냅니다.

측정기준

차원은 지표의 보안 인증에 속하는 명칭/값 쌍입니다.

단위

통계에는 측정 단위가 포함되어 있습니다. Amazon MWAA의 경우 단위에 개수가 포함됩니다.

차원

이 섹션에서는 Amazon MWAA 지표의 CloudWatch 차원 그룹화에 대해 설명합니다. CloudWatch

측정기준 설명

클러스터

Amazon MWAA 환경에서 Apache Airflow 구성 요소를 실행하는 데 사용하는 최소 3개의 Amazon ECS 컨테이너(스케줄러, 작업자, 웹 서버)에 대한 지표입니다.

대기열

스케줄러와 작업자를 분리하는 Amazon SQS 대기열의 지표입니다. 작업자가 메시지를 읽을 때는 처리 중인 것으로 간주되어 다른 작업자가 사용할 수 없습니다. 메시지가 표시 제한 시간인 12시간 이전에 삭제되지 않으면 다른 작업자가 메시지를 읽을 수 있습니다.

데이터베이스

Amazon MWAA에서 사용하는 Aurora 클러스터를 측정합니다. 여기에는 기본 데이터베이스 인스턴스에 대한 지표와 읽기 동작을 지원하는 읽기 전용 복제본이 포함됩니다. Amazon MWAA는 READER 및 WRITER 인스턴스 모두에 대한 데이터베이스 지표를 게시합니다.

콘솔에서 지표에 액세스 CloudWatch

이 섹션에서는 Amazon MWAA 지표에 액세스하는 방법을 설명합니다. CloudWatch

차원에 대한 성능 지표를 보려면
  1. 콘솔에서 지표 페이지를 엽니다. CloudWatch

  2. AWS 지역 선택기를 사용하여 지역을 선택합니다.

  3. AWS/MWAA 네임스페이스를 선택합니다.

  4. 모든 지표 탭에서 차원을 선택합니다. 예: 클러스터

  5. 측정기준에 사용할 CloudWatch 측정항목을 선택합니다. CPU 사용률을 예로 들 NumSchedulers수 있습니다. 이어서, 모든 검색 결과를 그래프로 표시를 선택합니다.

  6. 그래프로 표시된 지표 탭을 선택하여 성능 지표를 확인합니다.

지표 목록

다음 표에는 Amazon MWAA의 클러스터, 대기열 및 데이터베이스 서비스 지표가 나열되어 있습니다. Amazon ECS, Amazon SQS 또는 Amazon RDS에서 직접 내보낸 지표에 대한 설명을 보려면 해당 문서 링크를 선택합니다.

클러스터 지표

다음 지표는 각 스케줄러, 기본 작업자, 추가 작업자 및 웹 서버에 적용됩니다. 각 클러스터 지표에 대한 자세한 내용과 설명은 Amazon ECS 개발자 가이드사용 가능한 지표 및 차원을 참조하십시오.

네임스페이스 지표 Unit

AWS/MWAA

CPUUtilization

%

AWS/MWAA

MemoryUtilization

%

추가 작업자 및 웹 서버 컨테이너의 수 평가

다음 절차에 설명된 대로 클러스터 차원에 제공된 구성 요소 지표를 사용하여 특정 시점에 환경에서 사용하고 있는 추가 작업자 또는 웹 서버 수를 평가할 수 있습니다. CPU 사용률 또는 MemoryUtilization지표를 그래프로 표시하고 통계 유형을 샘플 수로 설정하면 이 작업을 수행할 수 있습니다. 결과 값은 AdditionalWorker 구성 요소의 총 RUNNING 작업 수입니다. 환경에서 사용하는 추가 작업자 인스턴스의 수를 이해하면 환경이 확장되는 방식을 파악하고 추가 작업자 수를 최적화하는 데 도움이 될 수 있습니다.

Workers
를 사용하는 추가 작업자 수를 평가하려면 AWS Management Console
  1. AWS/MWAA 네임스페이스를 선택합니다.

  2. 모든 지표 탭에서 클러스터 차원을 선택합니다.

  3. 클러스터 차원에서 에 AdditionalWorker대해 CPU 사용률 또는 지표를 선택합니다. MemoryUtilization

  4. 그래프로 표시된 지표 탭에서 기간1분으로 T설정하고, 통계샘플 수로 설정합니다.

Web servers
를 사용하여 추가 웹 서버 수를 평가하려면 AWS Management Console
  1. AWS/MWAA 네임스페이스를 선택합니다.

  2. 모든 지표 탭에서 클러스터 차원을 선택합니다.

  3. 클러스터 차원에서 에 AdditionalWebservers대해 CPU 사용률 또는 지표를 선택합니다. MemoryUtilization

  4. 그래프로 표시된 지표 탭에서 기간1분으로 T설정하고, 통계샘플 수로 설정합니다.

자세한 내용은 Amazon Elastic Container Service 개발자 가이드서비스 RUNNING 작업 수를 참조하십시오.

데이터베이스 지표

다음 지표는 Amazon MWAA 환경과 연결된 각 데이터베이스 인스턴스에 적용됩니다.

네임스페이스 지표 Unit

AWS/MWAA

CPUUtilization

%

AWS/MWAA

DatabaseConnections

개수

AWS/MWAA

DiskQueueDepth

개수

AWS/MWAA

FreeableMemory

바이트

AWS/MWAA

VolumeWriteIOPS

5분당 개수

AWS/MWAA

WriteIOPS

초당 개수

AWS/MWAA

WriteLatency

AWS/MWAA

WriteThroughput

초당 바이트

대기열 지표

다음 대기열 지표의 단위 및 설명에 대한 자세한 내용은 Amazon Simple Queue Service 개발자 안내서의 Amazon SQS에서 사용 가능한 CloudWatch 지표를 참조하십시오.

네임스페이스 지표 Unit

AWS/MWAA

ApproximateAgeOfOldestTask

AWS/MWAA

RunningTasks

개수

AWS/MWAA

QueuedTasks

개수

Application Load Balancer 지표

Application Load Balancer 지표는 사용자 환경에서 실행되는 웹 서버에 적용됩니다. Amazon MWAA는 이러한 지표를 사용하여 트래픽량에 따라 웹 서버를 확장합니다. 다음 로드 밸런서 지표의 단위 및 설명에 대한 자세한 내용은 애플리케이션 로드 밸런서 사용 설명서에서 Application Load Balancer의 CloudWatch 지표를 참조하십시오.

네임스페이스 지표 Unit

AWS/MWAA

ActiveConnectionCount

개수