기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
Amazon MWAA 환경 클래스 구성
Amazon MWAA 환경에 맞게 선택한 환경 클래스에 따라 셀러리 실행기가 실행되는 AWS관리형 AWS Fargate 컨테이너 및 Apache Airflow 스케줄러가 작업 인스턴스를 생성하는 AWS관리형 Amazon Aurora Postgre SQL 메타데이터 데이터베이스의 크기가 결정됩니다. 이 페이지에서는 각 Amazon MWAA 환경 클래스와 Amazon MWAA 콘솔에서 환경 클래스를 업데이트하는 단계를 설명합니다.
환경 기능
다음 섹션에는 기본 동시 Apache Airflow 작업, 랜덤 액세스 메모리 (RAM) 및 각 환경 클래스의 가상 중앙 처리 장치 (vCPUs) 가 포함되어 있습니다. 나열된 동시 작업은 작업 동시성이 해당 환경의 Apache Airflow Worker 용량을 초과하지 않는다고 가정합니다.
다음 표에서 DAG 용량은 실행이 아닌 DAG 정의를 의미하며, 단일 Python 파일에서 동적이고 Apache Airflow 모범 사례로 작성된 것으로 가정합니다. DAGs
작업 실행은 동시에 예약된 실행 수에 따라 달라지며, 동시에 시작되도록 설정된 실행 수가 기본값을 max_dagruns_per_loop_to_schedule초과하지 않는 것으로 가정합니다. 이 항목에서 설명하는 작업자 크기 및 개수도 마찬가지입니다. DAG
- mw1.small
-
-
최대 50개 용량 DAG
-
5개의 동시 작업(기본값)
-
구성 요소:
-
웹 서버: 1 vCPU, 각각 2GB RAM
-
작업자: 1vCPU, 각 2GB RAM
-
스케줄러: 각각 1GBCPU, 2GB RAM
-
데이터베이스: 2vCPU, 4GB RAM
- mw1.medium
-
-
최대 250개 용량 DAG
-
10개의 동시 작업(기본값)
-
구성 요소:
-
웹 서버: 각각 1 v CPU 2GB RAM
-
작업자: 각각 2 v CPU 4GB RAM
-
스케줄러: 각각 2 v 4GB CPU RAM
-
데이터베이스: 2 v 8GB CPU RAM
- mw1.large
-
-
최대 1,000개의 용량 DAG
-
20개의 동시 작업(기본값)
-
구성 요소:
-
웹 서버: 각각 2 v CPU 4GB RAM
-
작업자: 각각 4 v CPU 8GB RAM
-
스케줄러: 각각 4 v 8GB CPU RAM
-
데이터베이스: 2 v 8GB CPU RAM
- mw1.xlarge
-
-
최대 DAG 2000개의 용량
-
40개의 동시 작업 (기본값)
-
구성 요소:
- mw1.2xlarge
-
-
최대 DAG 4000개의 용량
-
동시 작업 80개 (기본값)
-
구성 요소:
-
웹 서버: 각각 8 v 24GB CPU RAM
-
작업자: 각각 16GB v CPU 48GB RAM
-
스케줄러: 각각 16GB v 48GB CPU RAM
-
데이터베이스: 8 v 64기가바이트 CPU RAM
celery.worker_autoscale을(를) 작업자당 작업을 늘리는 데 사용할 수 있습니다. 자세한 정보는 고성능 사용 사례 예시 단원을 참조하십시오.
Apache Airflow 스케줄러
다음 섹션에는 MWAA Amazon에서 사용할 수 있는 Apache Airflow 스케줄러 옵션과 스케줄러 수가 트리거 수에 미치는 영향이 나와 있습니다.
Apache Airflow에서 트리거는 트리거를 사용하여 지정된 특정 조건이 충족될 때까지 연기되는 작업을 관리합니다. Amazon에서 MWAA 트리거는 동일한 Fargate 작업에서 스케줄러와 함께 실행됩니다. 이에 따라 스케줄러 수를 늘리면 사용 가능한 트리거 수가 늘어나며, 환경에서 지연된 작업을 관리하는 방식이 최적화됩니다. 이렇게 하면 작업을 효율적으로 처리할 수 있어 조건이 충족될 때 작업이 실행되도록 즉시 일정을 잡을 수 있습니다.
- Apache Airflow v2
-
