기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
Amazon MWAA 환경 클래스 구성
Amazon MWAA 환경에 대해 선택하는 환경 클래스에 따라 Celery 실행기가 실행되는 AWS관리형 AWS Fargate 컨테이너의 크기와 Apache Airflow 스케줄러가 태스크 인스턴스를 생성하는 AWS관리형 Amazon Aurora PostgreSQL 메타데이터 데이터베이스가 결정됩니다. 이 주제에서는 각 Amazon MWAA 환경 클래스와 Amazon MWAA 콘솔에서 환경 클래스를 업데이트하는 방법을 설명합니다.
환경 기능
다음 섹션에는 기본 동시 Apache Airflow 작업, 랜덤 액세스 메모리(RAM) 및 각 환경 클래스의 가상 중앙 집중식 처리 장치(vCPUs)가 포함되어 있습니다. 나열된 동시 작업은 작업 동시성이 해당 환경의 Apache Airflow Worker 용량을 초과하지 않는다고 가정합니다.
다음 표에서 DAG 용량은 실행이 아닌 DAG 정의를 나타내며 DAGs가 단일 Python 파일에서 동적이고 Apache Airflow 모범 사례로 작성되었다고 가정합니다.
작업 실행은 동시에 예약되는 수에 따라 달라지며,이 주제에 설명된 대로 동시에 시작하도록 설정된 DAG 실행 수는 기본 max_dagruns_per_loop_to_schedule를 초과하지 않고 작업자의 크기와 수를 초과하지 않는다고 가정합니다.
- mw1.micro
-
-
최대 25 DAG 용량
-
3개의 동시 작업(기본값)
-
구성 요소:
- mw1.small
-
-
최대 50 DAG 용량
-
5개의 동시 작업(기본값)
-
구성 요소:
-
웹 서버: vCPU 1개, 2GB RAM
-
작업자: vCPU 1개, 2GB RAM
-
스케줄러: vCPU 1개, 2GB RAM
-
데이터베이스: vCPU 2개, 4GB RAM
- mw1.medium
-
-
최대 250 DAG 용량
-
10개의 동시 작업(기본값)
-
구성 요소:
-
웹 서버: 각 vCPU 2GB RAM 1개
-
작업자: 각 2개의 vCPU 4GB RAM
-
스케줄러: 각 2개의 vCPU 4GB RAM
-
데이터베이스: vCPU 8GB RAM 2개
- mw1.large
-
-
최대 1,000 DAG 용량
-
20개의 동시 작업(기본값)
-
구성 요소:
-
웹 서버: 각 vCPU 4GB RAM 2개
-
작업자: 각 vCPU 8GB RAM 4개
-
스케줄러: 각 4개의 vCPU 8GB RAM
-
데이터베이스: vCPU 8GB RAM 2개
- mw1.xlarge
-
-
최대 2,000 DAG 용량
-
동시 작업 40개(기본값)
-
구성 요소:
-
웹 서버: 각 vCPU 12GB RAM 4개
-
작업자: 각 8 vCPU 24GB RAM
-
스케줄러: 각 8 vCPU 24GB RAM
-
데이터베이스: vCPU 32GB RAM 4개
- mw1.2xlarge
-
-
최대 4,000 DAG 용량
-
동시 작업 80개(기본값)
-
구성 요소:
celery.worker_autoscale을(를) 작업자당 작업을 늘리는 데 사용할 수 있습니다. 자세한 정보는 고성능 사용 사례 예시 단원을 참조하십시오.
Apache Airflow 스케줄러
다음 섹션에는 Amazon MWAA에서 사용할 수 있는 Apache Airflow 스케줄러 옵션과 스케줄러 수가 트리거 수에 미치는 영향이 나와 있습니다.
Apache Airflow에서 트리거는 트리거를 사용하여 지정된 특정 조건이 충족될 때까지 연기되는 작업을 관리합니다. Amazon MWAA에서 트리거는 동일한 Fargate 작업에서 스케줄러와 함께 실행됩니다. 이에 따라 스케줄러 수를 늘리면 사용 가능한 트리거 수가 늘어나며, 환경에서 지연된 작업을 관리하는 방식이 최적화됩니다. 이렇게 하면 작업을 효율적으로 처리할 수 있어 조건이 충족될 때 작업이 실행되도록 즉시 일정을 잡을 수 있습니다.
- Apache Airflow v2
-
