아마존 MWAA 환경 만들기

Apache Airflow용 Amazon Managed Workflows는 Apache에서 제공하는 것과 동일한 오픈 소스 Apache Airflow와 사용자 인터페이스를 사용하여 선택한 버전의 환경에 Apache Airflow를 설정합니다. 이 안내서는 Amazon MWAA 환경을 만드는 단계를 설명합니다.

시작하기 전 준비 사항

환경을 생성한 후에는 환경에 맞게 지정한 VPC네트워크를 수정할 수 없습니다.
버킷 버전 관리가 활성화된 상태에서 모든 퍼블릭 액세스가 차단되도록 구성된 Amazon S3 버킷이 필요합니다.
MWAAAmazon을 사용할 수 있는 권한과 IAM 역할을 생성하려면 AWS Identity and Access Management (IAM) 권한이 있는 AWS 계정이 필요합니다. Amazon 내에서 Apache Airflow 액세스를 제한하는 Apache Airflow 웹 서버의 사설 네트워크 액세스 모드를 선택하는 경우 Amazon VPC 엔드포인트를 IAM 생성할 수 있는 권한이 필요합니다. VPC

Apache Airflow 버전

다음 Apache Airflow 버전은 Amazon Managed Workflows for Apache Airflow에서 지원됩니다.

참고

Apache Airflow v2.2.2부터 Amazon은 Python 요구 사항, 공급자 패키지 및 사용자 지정 플러그인을 Apache Airflow 웹 서버에 직접 설치할 수 있도록 MWAA 지원합니다.
Apache Airflow v2.7.2부터 요구 사항 파일에 --constraint 문이 포함되어야 합니다. 제약 조건을 제공하지 않는 경우 MWAA Amazon은 요구 사항에 나열된 패키지가 사용 중인 Apache Airflow 버전과 호환되는지 확인하기 위해 제약 조건을 지정합니다.

요구 사항 파일에서 제약 조건을 설정하는 방법에 대한 자세한 내용은 Python 종속성 설치를 참조하십시오.

Apache Airflow 버전	Apache Airflow 가이드	Apache Airflow 제약 조건	Python 버전
v2.9.2	아파치 에어플로우 v2.9.2 참조 가이드	아파치 에어플로우 v2.9.2 제약 파일	Python 3.11
v2.8.1	아파치 에어플로우 v2.8.1 레퍼런스 가이드	아파치 에어플로우 v2.8.1 제약 파일	Python 3.11
v2.7.2	Apache Airflow v2.7.2 참조 가이드	Apache Airflow v2.7.2 제약 조건 파일	Python 3.11
v2.6.3	Apache Airflow v2.6.3 참조 가이드	Apache Airflow v2.6.3 제약 조건 파일	Python 3.10
v2.5.1	Apache Airflow v2.5.1 참조 가이드	Apache Airflow v2.5.1 제약 조건 파일	Python 3.10
v2.4.3	Apache Airflow v2.4.3 참조 가이드	Apache Airflow v2.4.3 제약 조건 파일	Python 3.10
v2.2.2	Apache Airflow v2.2.2 참조 가이드	Apache Airflow v2.2.2 제약 조건 파일	Python 3.7
v2.0.2	Apache Airflow v2.0.2 참조 가이드	Apache Airflow v2.0.2 제약 조건 파일	Python 3.7

메타데이터 데이터베이스 백업 지침을 포함하여 자체 관리형 Apache Airflow 배포를 마이그레이션하거나 기존 Amazon MWAA 환경을 마이그레이션하는 방법에 대한 자세한 내용은 Amazon Migration Guide를 참조하십시오. MWAA

환경 생성

다음 섹션에서는 Amazon MWAA 환경을 만드는 단계를 설명합니다.

1단계: 세부 정보 지정

환경에 대한 세부 정보를 지정하려면

Amazon MWAA 콘솔을 엽니다.
AWS 지역 선택기를 사용하여 지역을 선택합니다.
환경 생성을 선택합니다.
세부 정보 지정 페이지의 환경 세부 정보에서:
1. 이름에 환경의 고유 이름을 입력합니다.
2. Airflow 버전에서 Apache Airflow 버전을 선택합니다.
  
  참고
  값을 지정하지 않으면 기본적으로 최신 Apache Airflow 버전이 사용됩니다. 사용 가능한 최신 버전은 아파치 에어플로우 v2.9.2입니다.
Amazon S3의 DAG 코드에서 다음을 지정합니다.
1. S3 버킷. [S3 찾아보기] 를 선택하고 Amazon S3 버킷을 선택하거나 Amazon S3를 입력합니다URI.
2. DAGs폴더. [S3 찾아보기] 를 선택하고 Amazon S3 버킷에서 dags 폴더를 선택하거나 Amazon S3를 입력합니다URI.
3. 플러그인 파일 - 선택 사항. [S3 찾아보기] 를 선택하고 Amazon S3 버킷에서 plugins.zip 파일을 선택하거나 Amazon S3를 입력합니다URI.
4. 요구 사항 파일 - 선택 사항. [S3 찾아보기] 를 선택하고 Amazon S3 버킷에서 requirements.txt 파일을 선택하거나 Amazon S3를 입력합니다URI.
5. 시작 스크립트 파일 - 선택 사항, 찾아보기를 S3 선택하고 Amazon S3 버킷에서 스크립트 파일을 선택하거나 Amazon S3를 입력합니다URI.
Next(다음)를 선택합니다.

2단계: 고급 설정 구성

고급 설정을 구성하려면

고급 설정 구성 페이지의 네트워킹에서:
1. 아마존을 선택하세요VPC.
  
  이 단계는 Amazon에 있는 두 개의 프라이빗 서브넷을 채웁니다. VPC
웹 서버 액세스에서 원하는 Apache Airflow 액세스 모드를 선택합니다.
1. 프라이빗 네트워크. 이렇게 하면 Amazon 내에서 VPC 해당 환경 IAM정책에 대한 액세스 권한이 부여된 사용자만 Apache Airflow UI에 액세스할 수 있습니다. 이 단계를 수행하려면 Amazon VPC 엔드포인트를 생성할 권한이 필요합니다.
  
  참고
  Apache Airflow UI가 기업 네트워크 내에서만 액세스되고 웹 서버 요구 사항 설치를 위해 퍼블릭 리포지토리에 대한 액세스가 필요하지 않은 경우 프라이빗 네트워크 옵션을 선택합니다. 이 액세스 모드 옵션을 선택하는 경우 Amazon의 Apache Airflow 웹 서버에 액세스하기 위한 메커니즘을 생성해야 합니다. VPC 자세한 내용은 Apache Airflow 웹 서버의 VPC 엔드포인트 액세스(프라이빗 네트워크 액세스) 단원을 참조하십시오.
2. 퍼블릭 네트워크. 이렇게 하면 사용자 환경의 IAM정책에 대한 액세스 권한이 부여된 사용자가 인터넷을 통해 Apache Airflow UI에 액세스할 수 있습니다.
보안 그룹에서 Amazon을 보호하는 데 사용할 보안 그룹을 선택합니다VPC.
1. 기본적으로 Amazon은 새 보안 그룹 MWAA 생성에서 특정 인바운드 및 아웃바운드 규칙을 사용하여 VPC Amazon에 보안 그룹을 생성합니다.
2. 선택 사항. 새 보안 그룹 생성의 확인란을 선택 취소하여 최대 5개의 보안 그룹을 선택합니다.
  
  참고
  네트워크 트래픽을 허용하려면 기존 Amazon VPC 보안 그룹을 특정 인바운드 및 아웃바운드 규칙으로 구성해야 합니다. 자세한 내용은 Amazon MWAA에서 VPC 보안을 참조하십시오.
환경 클래스에서 환경 클래스를 선택합니다.

워크로드를 지원하는 데 필요한 가장 작은 크기를 선택하는 것이 좋습니다. 환경 클래스는 언제든지 변경할 수 있습니다.
최대 작업자 수에는 환경에서 실행할 최대 Apache Airflow 작업자 수를 지정합니다.

자세한 내용은 고성능 사용 사례 예시 단원을 참조하십시오.
최대 웹 서버 수 및 최소 웹 서버 수를 지정하여 Amazon이 사용자 환경에서 Apache Airflow 웹 서버를 MWAA 확장하는 방법을 구성합니다.

웹 서버 자동 확장에 대한 자세한 내용은 을 참조하십시오. Amazon MWAA 웹 서버 자동 크기 조정 구성
암호화에서 데이터 암호화 옵션을 선택합니다.
1. 기본적으로 MWAA Amazon은 AWS 소유 키를 사용하여 데이터를 암호화합니다.
2. 선택 사항. 암호화 설정 사용자 지정 (고급) 을 선택하여 다른 AWS KMS 키를 선택합니다. 이 단계에서 고객 관리 키를 지정하기로 선택한 경우 키 ID 또는 를 AWS KMS 지정해야 합니다ARN. AWS KMS Amazon에서는 별칭 및 다중 지역 키를 지원하지 않습니다. MWAA Amazon S3 버킷의 서버 측 암호화를 위해 Amazon S3 키를 지정한 경우 Amazon 환경에도 동일한 키를 지정해야 합니다. MWAA
  
  참고
  Amazon MWAA 콘솔에서 키를 선택하려면 해당 키에 대한 권한이 있어야 합니다. 또한 에 설명된 정책을 MWAA 첨부하여 Amazon이 키를 사용할 수 있는 권한을 부여해야 합니다. 키 정책 연결
권장. 모니터링에서 Apache Airflow 로그를 로그로 전송할 Airflow 로깅 구성의 로그 범주를 하나 이상 선택합니다. CloudWatch
1. Airflow 작업 로그. 로그 인 로그 레벨로 전송할 Apache Airflow 작업 로그의 유형을 선택합니다. CloudWatch
2. Airflow 웹 서버 로그. 로그인 로그 수준으로 보낼 Apache Airflow 웹 서버 로그의 유형을 선택합니다. CloudWatch
3. Airflow 스케줄러 로그. 로그인 로그 수준으로 보낼 Apache Airflow 스케줄러 로그의 유형을 선택합니다. CloudWatch
4. Airflow 작업자 로그. 로그 인 로그 수준으로 보낼 Apache Airflow 작업자 로그의 유형을 선택합니다. CloudWatch
5. 에어플로우 처리 로그 DAG. 로그 인 로그 레벨로 전송할 Apache Airflow DAG 처리 CloudWatch 로그의 유형을 선택합니다.
선택 사항. Airflow 구성 옵션에서는 사용자 지정 구성 옵션 추가를 선택합니다.

Apache Airflow 버전에 대해서는 Apache Airflow 구성 옵션의 제안 드롭다운 목록에서 선택하거나 사용자 지정 구성 옵션을 지정할 수 있습니다. 예: core.default_task_retries : 3.
선택 사항. 태그에서 새 태그 추가를 선택하여 태그를 환경에 연결합니다. 예: Environment: Staging.
사용 권한에서 실행 역할을 선택합니다.
1. 기본적으로 Amazon은 새 역할 생성에서 실행 역할을 MWAA 생성합니다. 이 옵션을 사용하려면 IAM 역할을 생성할 권한이 있어야 합니다.
2. 선택 사항. 역할 ARN 입력을 선택하여 기존 실행 역할의 Amazon 리소스 이름 (ARN) 을 입력합니다.
Next(다음)를 선택합니다.

3단계: 검토 및 생성

환경 요약을 검토하려면

환경 요약을 검토하고 환경 생성을 선택합니다.

참고
환경을 생성하는 데 약 20~30분이 소요됩니다.

javascript가 브라우저에서 비활성화되거나 사용이 불가합니다.

AWS 설명서를 사용하려면 Javascript가 활성화되어야 합니다. 지침을 보려면 브라우저의 도움말 페이지를 참조하십시오.

문서 규칙

VPC네트워크 생성

액세스 관리