Amazon의 컨테이너, 대기열 및 데이터베이스 지표 MWAA - Amazon Managed Workflows for Apache Airflow

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Amazon의 컨테이너, 대기열 및 데이터베이스 지표 MWAA

Apache Airflow 지표 외에도 원시 데이터를 CloudWatch수집하고 데이터를 읽기 가능하고 실시간에 가까운 지표로 처리하는를 사용하여 Amazon Managed Workflows for Apache Airflow 환경의 기본 구성 요소를 모니터링할 수 있습니다. 이러한 환경 지표를 사용하면 주요 성과 지표에 대한 가시성이 좋아져 환경의 크기를 적절히 조정하고 워크플로와 관련된 문제를 디버깅하는 데 도움이 됩니다. 이러한 지표는 Amazon에서 지원되는 모든 Apache Airflow 버전에 적용됩니다MWAA.

AmazonMWAA은 각 Amazon Elastic Container Service(Amazon ECS) 컨테이너 및 Amazon Aurora PostgreSQL 인스턴스에 대해 CPU 및 메모리 사용률을 제공하고, 메시지 수 및 가장 오래된 메시지의 수명에 대한 Amazon Simple Queue Service(Amazon SQS) 지표, 데이터베이스 연결, 디스크 대기열 깊이, 쓰기 작업, 지연 시간 및 처리량에 대한 Amazon Relational Database Service(Amazon RDS) 지표, Amazon RDS Proxy 지표를 제공합니다. 이러한 지표에는 기본 작업자, 추가 작업자, 스케줄러 및 웹 서버의 수도 포함됩니다.

이러한 통계는 15개월간 보관되므로 기록 정보를 보고 일정에 오류가 발생하는 이유를 더 잘 파악하고 근본적인 문제를 해결할 수 있습니다. 특정 임곗값을 주시하다가 해당 임곗값이 충족될 때 알림을 전송하거나 조치를 취하도록 경보를 설정할 수도 있습니다. 자세한 내용은 Amazon CloudWatch 사용 설명서를 참조하세요.

용어

네임스페이스

네임스페이스는 AWS 서비스의 CloudWatch 지표를 위한 컨테이너입니다. Amazon MWAA의 경우 네임스페이스는 입니다AWS/MWAA.

CloudWatch 지표

CloudWatch 지표는 특정 데이터 포인트의 시간 순서 집합을 나타냅니다 CloudWatch.

차원

차원은 지표의 보안 인증에 속하는 명칭/값 쌍입니다.

단위

통계에는 측정 단위가 포함되어 있습니다. Amazon MWAA의 경우 단위에는 개수가 포함됩니다.

차원

이 섹션에서는의 Amazon MWAA 지표에 대한 CloudWatch 차원 그룹화를 설명합니다 CloudWatch.

차원 설명

클러스터

Amazon MWAA 환경이 Apache Airflow 구성 요소인 스케줄러, 작업자 및 웹 서버를 실행하는 데 사용하는 최소 3개의 Amazon ECS 컨테이너에 대한 지표입니다.

대기열

스케줄러를 작업자와 분리하는 Amazon SQS 대기열에 대한 지표입니다. 작업자가 메시지를 읽을 때는 처리 중인 것으로 간주되어 다른 작업자가 사용할 수 없습니다. 메시지가 표시 제한 시간인 12시간 이전에 삭제되지 않으면 다른 작업자가 메시지를 읽을 수 있습니다.

데이터베이스

Amazon에서 사용하는 Aurora 클러스터의 지표입니다MWAA. 여기에는 기본 데이터베이스 인스턴스에 대한 지표와 읽기 동작을 지원하는 읽기 전용 복제본이 포함됩니다. Amazon은 READER 및 WRITER 인스턴스 모두에 대한 데이터베이스 지표를 MWAA 게시합니다.

CloudWatch 콘솔에서 지표에 액세스

이 섹션에서는에서 Amazon MWAA 지표에 액세스하는 방법을 설명합니다 CloudWatch.

차원에 대한 성능 지표를 보려면
  1. CloudWatch 콘솔에서 지표 페이지를 엽니다.

  2. AWS 리전 선택기를 사용하여 리전을 선택합니다.

  3. AWS/MWAA 네임스페이스를 선택합니다.

  4. 모든 지표 탭에서 차원을 선택합니다. 예: 클러스터

  5. 차원 CloudWatch 에 대한 지표를 선택합니다. 예: NumSchedulers또는 CPUUtilization. 이어서, 모든 검색 결과를 그래프로 표시를 선택합니다.

  6. 그래프로 표시된 지표 탭을 선택하여 성능 지표를 확인합니다.

지표 목록

다음 표에는 Amazon에 대한 클러스터, 대기열 및 데이터베이스 서비스 지표가 나열되어 있습니다MWAA. Amazon ECS, Amazon SQS또는 Amazon에서 직접 내보낸 지표에 대한 설명을 보려면 해당 설명서 링크를 RDS선택합니다.

클러스터 지표

다음 지표는 각 스케줄러, 기본 작업자, 추가 작업자 및 웹 서버에 적용됩니다. 각 클러스터 지표에 대한 자세한 내용과 설명은 Amazon ECS 개발자 안내서사용 가능한 지표 및 차원을 참조하세요.

네임스페이스 지표 Unit

AWS/MWAA

CPUUtilization

%

AWS/MWAA

MemoryUtilization

%

추가 작업자 및 웹 서버 컨테이너 수 평가

다음 절차에 설명된 대로 클러스터 차원에 제공된 구성 요소 지표를 사용하여 특정 시점에 환경에서 사용하고 있는 추가 작업자 또는 웹 서버의 수를 평가할 수 있습니다. CPUUtilization 또는 MemoryUtilization 지표를 그래프로 표시하고 통계 유형을 샘플 수로 설정하여이 작업을 수행할 수 있습니다. 결과 값은 AdditionalWorker 구성 요소의 총 RUNNING 작업 수입니다. 환경에서 사용하는 추가 작업자 인스턴스의 수를 이해하면 환경이 규모를 조정하는 방식을 파악하고 추가 작업자 수를 최적화하는 데 도움이 될 수 있습니다.

Workers
를 사용하여 추가 작업자 수를 평가하려면 AWS Management Console
  1. AWS/MWAA 네임스페이스를 선택합니다.

  2. 모든 지표 탭에서 클러스터 차원을 선택합니다.

  3. 클러스터 MemoryUtilization 차원에서에 대해 CPUUtilization 또는 지표를 AdditionalWorker선택합니다.

  4. 그래프로 표시된 지표 탭에서 기간1분으로 설정하고, 통계샘플 수로 설정합니다.

Web servers
를 사용하여 추가 웹 서버 수를 평가하려면 AWS Management Console
  1. AWS/MWAA 네임스페이스를 선택합니다.

  2. 모든 지표 탭에서 클러스터 차원을 선택합니다.

  3. 클러스터 MemoryUtilization 차원에서에 대해 CPUUtilization 또는 지표를 AdditionalWebservers선택합니다.

  4. 그래프로 표시된 지표 탭에서 기간1분으로 설정하고, 통계샘플 수로 설정합니다.

자세한 내용은 Amazon Elastic Container Service 개발자 가이드서비스 RUNNING 작업 수를 참조하십시오.

데이터베이스 지표

다음 지표는 Amazon MWAA 환경과 연결된 각 데이터베이스 인스턴스에 적용됩니다.

네임스페이스 지표 Unit

AWS/MWAA

CPUUtilization

%

AWS/MWAA

DatabaseConnections

개수

AWS/MWAA

DiskQueueDepth

개수

AWS/MWAA

FreeableMemory

바이트

AWS/MWAA

VolumeWriteIOPS

5분당 개수

AWS/MWAA

WriteIOPS

초당 개수

AWS/MWAA

WriteLatency

AWS/MWAA

WriteThroughput

초당 바이트

대기열 지표

다음 대기열 지표에 대한 단위 및 설명에 대한 자세한 내용은 Amazon Simple Queue Service 개발자 안내서의 Amazon에 사용 가능한 CloudWatch 지표SQS를 참조하세요.

네임스페이스 지표 Unit

AWS/MWAA

ApproximateAgeOfOldestTask

AWS/MWAA

RunningTasks

개수

AWS/MWAA

QueuedTasks

개수

Application Load Balancer 지표

Application Load Balancer 지표는 환경에서 실행되는 웹 서버에 적용됩니다. AmazonMWAA은 이러한 지표를 사용하여 트래픽 양에 따라 웹 서버를 확장합니다. 단위에 대한 자세한 내용과 다음 로드 밸런서 지표에 CloudWatch 대한 설명은 Application Load Balancer 사용 설명서의 Application Load Balancer 지표를 참조하세요.

네임스페이스 지표 Unit

AWS/MWAA

ActiveConnectionCount

개수