지원되는 버전 사용 사례 환경 사양 지표 DAGs, 연산자, 연결 및 기타 질문

Amazon에서 MWAA 자주 묻는 질문

이 페이지에서는 Amazon Managed Workflow for Airflow를 사용할 때 발생할 수 있는 일반적인 질문에 대해 설명합니다.

지원되는 버전

Amazon은 Apache Airflow v2를 어떻게 MWAA 지원하나요?

Amazon에서 MWAA 지원하는 기능에 대한 자세한 내용은 섹션을 참조하세요Amazon Managed Workflows for Apache Airflow의 Apache Airflow 버전.

이전 버전의 Apache Airflow가 지원되지 않는 이유는 무엇입니까?

이전 버전에 대한 보안 문제로 인해 최신(출시 기준) Apache Airflow 버전 Apache Airflow v1.10.12만 지원하고 있습니다.

어떤 Python 버전을 사용해야 합니까?

다음 Apache Airflow 버전은 Amazon Managed Workflows for Apache Airflow에서 지원됩니다.

참고

Apache Airflow v2.2.2부터 Amazon은 Python 요구 사항, 공급자 패키지 및 사용자 지정 플러그인을 Apache Airflow 웹 서버에 직접 설치할 수 있도록 MWAA 지원합니다.
Apache Airflow v2.7.2부터 요구 사항 파일에 --constraint 문이 포함되어야 합니다. 제약 조건을 제공하지 않으면 AmazonMWAA은 요구 사항에 나열된 패키지가 사용 중인 Apache Airflow 버전과 호환되는지 확인하기 위해 해당 패키지를 지정합니다.

요구 사항 파일에서 제약 조건을 설정하는 방법에 대한 자세한 내용은 Python 종속성 설치를 참조하십시오.

Apache Airflow 버전	Apache Airflow 가이드	Apache Airflow 제약 조건	Python 버전
v2.10.1	Apache Airflow v2.10.1 참조 가이드	Apache Airflow v2.10.1 제약 파일	Python 3.11
v2.9.2	Apache Airflow v2.9.2 참조 가이드	Apache Airflow v2.9.2 제약 파일	Python 3.11
v2.8.1	Apache Airflow v2.8.1 참조 가이드	Apache Airflow v2.8.1 제약 파일	Python 3.11
v2.7.2	Apache Airflow v2.7.2 참조 가이드	Apache Airflow v2.7.2 제약 조건 파일	Python 3.11
v2.6.3	Apache Airflow v2.6.3 참조 가이드	Apache Airflow v2.6.3 제약 조건 파일	Python 3.10
v2.5.1	Apache Airflow v2.5.1 참조 가이드	Apache Airflow v2.5.1 제약 조건 파일	Python 3.10
v2.4.3	Apache Airflow v2.4.3 참조 가이드	Apache Airflow v2.4.3 제약 조건 파일	Python 3.10
v2.2.2	Apache Airflow v2.2.2 참조 가이드	Apache Airflow v2.2.2 제약 조건 파일	Python 3.7
v2.0.2	Apache Airflow v2.0.2 참조 가이드	Apache Airflow v2.0.2 제약 조건 파일	Python 3.7

메타데이터 데이터베이스 백업 지침을 포함하여 자체 관리형 Apache Airflow 배포 마이그레이션 또는 기존 Amazon MWAA 환경 마이그레이션에 대한 자세한 내용은 Amazon MWAA 마이그레이션 안내서를 참조하세요.

Amazon`pip`은 어떤 버전의 를 MWAA 사용하나요?

Apache Airflow v1.10.12을 실행하는 환경의 경우 Amazon은 pip 버전 21.1.2을 MWAA 설치합니다.

참고

AmazonMWAA은 Apache Airflow v1.10.12 환경에 pip 대해 업그레이드하지 않습니다.

Apache Airflow v2 이상을 실행하는 환경의 경우 Amazon은 pip 버전 21.3.1을 MWAA 설치합니다.

사용 사례

언제 를 사용해야 하나요? AWS Step Functions vs. Amazon MWAA?

Step Functions이 단일 주문 또는 백만 건의 주문에 대한 수요를 충족하도록 확장할 수 있으므로 Step Functions를 사용하여 개별 고객 주문을 처리할 수 있습니다.
전날의 주문을 처리하는 야간 워크플로를 실행하는 경우 Step Functions 또는 Amazon 를 사용할 수 있습니다MWAA. Amazon을 MWAA 사용하면 사용 중인 AWS 리소스에서 워크플로를 추상화할 수 있는 오픈 소스 옵션을 사용할 수 있습니다.

환경 사양

각 환경에 대해 사용할 수 있는 작업 스토리지는 얼마나 됩니까?

태스크 스토리지는 20GB로 제한되며 Amazon ECS Fargate 1.4에서 지정합니다. 의 양은 지정한 환경 클래스에 따라 RAM 결정됩니다. 환경 클래스에 대한 자세한 내용은 Amazon MWAA 환경 클래스 구성 섹션을 참조하십시오.

Amazon MWAA 환경에 사용되는 기본 운영 체제는 무엇입니까?

Amazon MWAA 환경은 버전 2.6 이상에서 Amazon Linux 2를 실행하는 인스턴스와 버전 2.7 이상에서 Amazon Linux 2023을 실행하는 인스턴스에서 생성됩니다.

Amazon MWAA 환경에 사용자 지정 이미지를 사용할 수 있나요?

사용자 지정 이미지는 지원되지 않습니다. Amazon은 Amazon Linux 에 구축된 이미지를 MWAA 사용합니다AMI. Amazon은 환경의 Amazon S3 버킷pip3 -r install에 추가하는 requirements.txt 파일에 지정된 요구 사항에 대해 를 실행하여 추가 요구 사항을 MWAA 설치합니다.

Amazon은 MWAA HIPAA 규정을 준수합니까?

AmazonMWAA은 건강보험 양도 및 책임에 관한 법률(HIPAA)에 적합합니다. 에 HIPAA Business Associate 부록(BAA)이 있는 경우 AWS AmazonMWAA을 사용하여 2022년 11월 14일 이후에 생성된 환경에서 보호된 상태 정보(PHI)를 처리하는 워크플로를 사용할 수 있습니다.

Amazon은 스팟 인스턴스를 MWAA 지원하나요?

AmazonMWAA은 현재 Apache Airflow에 대한 온디맨드 Amazon EC2 스팟 인스턴스 유형을 지원하지 않습니다. 그러나 Amazon MWAA 환경은 Amazon EMR 및 Amazon 과 같은 에서 스팟 인스턴스를 트리거할 수 있습니다EC2.

Amazon은 사용자 지정 도메인을 MWAA 지원하나요?

Amazon MWAA 호스트 이름에 사용자 지정 도메인을 사용하려면 다음 중 하나를 수행합니다.

퍼블릭 웹 서버 액세스 권한이 있는 Amazon MWAA 배포의 경우 Lambda@Edge와 CloudFront 함께 Amazon을 사용하여 트래픽을 환경으로 보내고 사용자 지정 도메인 이름을 에 매핑할 수 있습니다 CloudFront. 퍼블릭 환경에 대한 사용자 지정 도메인 설정 예제와 자세한 내용은 Amazon 예제 리포지토리의 퍼블릭 웹 서버 샘플에 대한 Amazon MWAA 사용자 지정 도메인을 참조하세요. MWAA GitHub
프라이빗 웹 서버 액세스 권한이 있는 Amazon MWAA 배포는 섹션을 참조하세요Apache Airflow 웹 서버의 사용자 지정 도메인 설정.

내 환경SSH으로 들어갈 수 있나요?

SSH 는 Amazon MWAA 환경에서 지원되지 않지만 를 사용하여 bash 명령을 DAG 실행할 수 있습니다BashOperator. 예:


from airflow import DAG
from airflow.operators.bash_operator import BashOperator
from airflow.utils.dates import days_ago
with DAG(dag_id="any_bash_command_dag", schedule_interval=None, catchup=False, start_date=days_ago(1)) as dag:
      cli_command = BashOperator(
          task_id="bash_command",
          bash_command="{{ dag_run.conf['command'] }}"
      )

Apache Airflow UIDAG에서 를 트리거하려면 다음을 사용합니다.


{ "command" : "your bash command"}

VPC 보안 그룹에 자체 참조 규칙이 필요한 이유는 무엇입니까?

자체 참조 규칙을 생성하면 에서 동일한 보안 그룹으로 소스를 제한VPC하고 모든 네트워크에 열려 있지 않습니다. 자세한 내용은 AmazonVPC의 에서 보안 MWAA을 참조하십시오.

에서 다른 그룹의 환경을 숨길 수 있나요IAM?

에서 환경 이름을 지정하여 액세스를 제한할 수 AWS Identity and Access Management있지만 AWS 콘솔에서 가시성 필터링을 사용할 수 없습니다. 사용자가 하나의 환경을 볼 수 있는 경우 모든 환경을 볼 수 있습니다.

Apache Airflow 작업자에 임시 데이터를 저장할 수 있습니까?

Apache Airflow 운영자는 작업자에 임시 데이터를 저장할 수 있습니다. Apache Airflow 작업자는 사용자 환경의 Fargate 컨테이너의 /tmp에 있는 임시 파일에 액세스할 수 있습니다.

참고

Amazon ECS Fargate 1.4에 따라 총 작업 스토리지는 20GB로 제한됩니다. 후속 작업이 다른 /tmp 폴더를 사용할 수 있는 동일한 Fargate 컨테이너 인스턴스에서 실행된다는 보장은 없습니다.

25명 이상의 Apache Airflow 작업자를 지정할 수 있습니까?

예. Amazon MWAA 콘솔에서 최대 25명의 Apache Airflow 작업자를 지정할 수 있지만 할당량 증가를 요청하여 환경에서 최대 50명을 구성할 수 있습니다. 자세한 내용은 할당량 증가 요청을 참조하십시오.

Amazon은 공유 Amazon VPCs 또는 공유 서브넷을 MWAA 지원하나요?

AmazonMWAA은 공유 Amazon VPCs 또는 공유 서브넷을 지원하지 않습니다. 환경을 생성할 때 VPC 선택하는 Amazon은 환경을 생성하려는 계정의 소유여야 합니다. 그러나 Amazon MWAA 계정VPC의 Amazon에서 공유 로 트래픽을 라우팅할 수 있습니다VPC. 자세한 내용과 공유 Amazon으로 트래픽을 라우팅하는 예제를 보려면 Amazon Transit Gateways 가이드의 인터넷으로 중앙 집중식 아웃바운드 라우팅을 VPC참조하세요. VPC

지표

작업자 규모 조정 여부를 결정하는 데 어떤 지표가 사용됩니까?

Amazon은 QueuedTasks 및 의 RunningTasks를 MWAA 모니터링 CloudWatch 하여 환경에서 Apache Airflow Workers를 확장할지 여부를 결정합니다. 자세한 내용은 Amazon Managed Workflows for Apache Airflow에 대한 모니터링 및 지표을 참조하십시오.

에서 사용자 지정 지표를 생성할 수 있나요 CloudWatch?

CloudWatch 콘솔에 없습니다. 그러나 에서 사용자 지정 지표DAG를 작성하는 를 생성할 수 있습니다 CloudWatch. 자세한 내용은 DAGa를 사용하여 사용자 지정 측정항목 작성 CloudWatch 단원을 참조하십시오.

DAGs, 연산자, 연결 및 기타 질문

`PythonVirtualenvOperator`를 사용할 수 있습니까?

PythonVirtualenvOperator 는 Amazon 에서 명시적으로 지원되지 MWAA않지만 를 사용하는 사용자 지정 플러그인을 생성할 수 있습니다PythonVirtualenvOperator. 샘플 코드에 대한 내용은 아파치 에어플로우용 사용자 지정 플러그인 만들기 PythonVirtualenvOperator 섹션을 참조하십시오.

Amazon이 새 DAG 파일을 인식MWAA하는 데 얼마나 걸립니까?

DAGs 는 Amazon S3 버킷에서 환경으로 주기적으로 동기화됩니다. 새 DAG 파일을 추가하는 경우 Amazon에서 새 파일 사용을 시작하는 MWAA 데 약 300초가 걸립니다. 기존 를 업데이트하는 경우 AmazonDAG에서 업데이트를 인식하는 데 MWAA 약 30초가 걸립니다.

이러한 값, 즉 새 의 경우 300초DAGs, 기존 에 대한 업데이트의 경우 30초는 min_file_process_interval 각각 Apache Airflow 구성 옵션 dag_dir_list_interval및 에 DAGs해당합니다.

내 DAG 파일이 Apache Airflow에서 픽업되지 않는 이유는 무엇인가요?

이 문제에 대한 가능한 해결 방법은 다음과 같습니다.

실행 역할에 Amazon S3 버킷에 대한 충분한 권한이 있는지 확인합니다. 자세한 내용은 Amazon MWAA 실행 역할 섹션을 참조하십시오.
Amazon S3 버킷에 퍼블릭 액세스 차단이 구성되어 있고 버전 관리가 활성화되어 있는지 확인합니다. 자세한 내용은 Amazon MWAA용 Amazon S3 버킷 생성을 참조하십시오.
DAG 파일 자체를 확인합니다. 예를 들어 각 에 고유한 DAG IDDAG가 있는지 확인합니다.

환경에서 `plugins.zip` 또는 `requirements.txt`를 삭제할 수 있습니까?

현재는 plugins.zip 또는 requirements.txt를 추가한 후 해당 환경에서 삭제할 수 있는 방법은 없지만, 현재 해결 중입니다. 그 동안 해결 방법은 빈 텍스트 또는 zip 파일을 각각 가리키는 것입니다. 자세한 내용은 Amazon S3에서 파일 삭제 섹션을 참조하십시오.

Apache Airflow v2.0.2 관리자 플러그인 메뉴에 내 플러그인이 보이지 않는 이유는 무엇입니까?

보안상의 이유로 Amazon의 Apache Airflow 웹 서버MWAA는 네트워크 송신이 제한되어 있으며 버전 2.0.2 환경에서는 Apache Airflow 웹 서버에 플러그인이나 Python 종속성을 직접 설치하지 않습니다. 표시된 플러그인을 통해 Amazon은 AWS Identity and Access Management ()에서 Apache Airflow 사용자를 인증MWAA할 수 있습니다IAM.

플러그인과 Python 종속성을 웹 서버에 직접 설치하려면 Apache Airflow v2.2 이상을 사용하여 새 환경을 생성하는 것이 좋습니다. Amazon은 Apache Airflow v2.2 이상의 웹 서버에 Python 종속성 및 사용자 지정 플러그인을 직접 MWAA 설치합니다.

AWS 데이터베이스 마이그레이션 서비스(DMS) 연산자를 사용할 수 있나요?

Amazon은 DMS 연산자 를 MWAA 지원합니다. 그러나 이 연산자는 Amazon MWAA 환경과 연결된 Amazon Aurora PostgreSQL 메타데이터 데이터베이스에서 작업을 수행하는 데 사용할 수 없습니다.

javascript가 브라우저에서 비활성화되거나 사용이 불가합니다.

AWS 설명서를 사용하려면 Javascript가 활성화되어야 합니다. 지침을 보려면 브라우저의 도움말 페이지를 참조하십시오.

문서 규칙

엔드포인트 및 할당량

문제 해결