지원되는 버전 사용 사례 환경 사양 지표 DAG, 운영자, 연결 및 기타 질문

Amazon MWAA 자주 묻는 질문

이 페이지에서는 Amazon Managed Workflow for Airflow를 사용할 때 발생할 수 있는 일반적인 질문에 대해 설명합니다.

지원되는 버전

Amazon MWAA는 Apache Airflow v2에 대해 무엇을 지원합니까?

Amazon MWAA가 무엇을 지원하는지 알아보려면 Amazon Managed Workflows for Apache Airflow의 Apache Airflow 버전을 참조하십시오.

이전 버전의 Apache Airflow가 지원되지 않는 이유는 무엇입니까?

이전 버전에 대한 보안 문제로 인해 최신(출시 기준) Apache Airflow 버전 Apache Airflow v1.10.12만 지원하고 있습니다.

어떤 Python 버전을 사용해야 합니까?

다음 Apache Airflow 버전은 Amazon Managed Workflows for Apache Airflow에서 지원됩니다.

참고

Apache Airflow v2.2.2부터 Amazon MWAA는 Python 요구 사항, 공급자 패키지 및 사용자 지정 플러그인을 Apache Airflow 웹 서버에 직접 설치할 수 있도록 지원합니다.
Apache Airflow v2.7.2부터 요구 사항 파일에 --constraint 문이 포함되어야 합니다. 제약 조건을 제공하지 않으면 Amazon MWAA에서 요구 사항에 나열된 패키지가 사용 중인 Apache Airway 버전과 호환되도록 제약 조건을 지정합니다.

요구 사항 파일에서 제약 조건을 설정하는 방법에 대한 자세한 내용은 Python 종속성 설치를 참조하십시오.

Apache Airflow 버전	Apache Airflow 가이드	Apache Airflow 제약 조건	Python 버전
v2.10.1	Apache Airflow v2.10.1 참조 가이드	Apache Airflow v2.10.1 제약 조건 파일	Python 3.11
v2.9.2	Apache Airflow v2.9.2 참조 가이드	Apache Airflow v2.9.2 제약 조건 파일	Python 3.11
v2.8.1	Apache Airflow v2.8.1 참조 가이드	Apache Airflow v2.8.1 제약 조건 파일	Python 3.11
v2.7.2	Apache Airflow v2.7.2 참조 가이드	Apache Airflow v2.7.2 제약 조건 파일	Python 3.11
v2.6.3	Apache Airflow v2.6.3 참조 가이드	Apache Airflow v2.6.3 제약 조건 파일	Python 3.10
v2.5.1	Apache Airflow v2.5.1 참조 가이드	Apache Airflow v2.5.1 제약 조건 파일	Python 3.10
v2.4.3	Apache Airflow v2.4.3 참조 가이드	Apache Airflow v2.4.3 제약 조건 파일	Python 3.10
v2.2.2	Apache Airflow v2.2.2 참조 가이드	Apache Airflow v2.2.2 제약 조건 파일	Python 3.7
v2.0.2	Apache Airflow v2.0.2 참조 가이드	Apache Airflow v2.0.2 제약 조건 파일	Python 3.7

메타데이터 데이터베이스 백업 지침을 포함하여 자체 관리형 Apache Airflow 배포 마이그레이션 또는 기존 Amazon MWAA 환경 마이그레이션에 대한 자세한 내용은 Amazon MWAA 마이그레이션 가이드를 참조하십시오.

Amazon MWAA에서는 어떤 버전의 `pip`을 사용합니까?

Apache Airflow v1.10.12를 실행하는 환경의 경우 Amazon MWAA는 pip 버전 21.1.2를 설치합니다.

참고

Amazon MWAA는 Apache Airflow v1.10.12 환경용으로 pip을 업그레이드하지 않습니다.

Apache Airflow v2 이상을 실행하는 환경의 경우 Amazon MWAA는 pip 버전 21.3.1을 설치합니다.

사용 사례

Amazon MWAA와 비교하여 언제 AWS Step Functions을 사용해야 합니까?

Step Functions이 단일 주문 또는 백만 건의 주문에 대한 수요를 충족하도록 확장할 수 있으므로 Step Functions를 사용하여 개별 고객 주문을 처리할 수 있습니다.
전날 주문을 처리하는 야간 워크플로우를 실행하는 경우 Step Functions나 Amazon MWAA를 사용할 수 있습니다. Amazon MWAA를 사용하면 사용 중인 AWS 리소스에서 워크플로우를 추출하는 오픈 소스 옵션을 사용할 수 있습니다.

환경 사양

각 환경에 대해 사용할 수 있는 작업 스토리지는 얼마나 됩니까?

작업 스토리지는 20GB로 제한되며, Amazon ECS Fargate 1.4에 의해 지정됩니다. RAM 용량은 사용자가 지정한 환경 클래스에 따라 결정됩니다. 환경 클래스에 대한 자세한 내용은 Amazon MWAA 환경 클래스 구성 섹션을 참조하십시오.

Amazon MWAA 환경에 사용되는 기본 운영 체제는 무엇입니까?

Amazon MWAA 환경은 버전 2.6 이상의 경우 Amazon Linux 2를 실행하는 인스턴스에서 생성되고 버전 2.7 이상의 경우 Amazon Linux 2023을 실행하는 인스턴스에서 생성됩니다.

Amazon MWAA 환경에 사용자 지정 이미지를 사용할 수 있습니까?

사용자 지정 이미지는 지원되지 않습니다. Amazon MWAA는 Amazon 리눅스 AMI를 기반으로 구축된 이미지를 사용합니다. Amazon MWAA는 환경용 Amazon S3 버킷에 추가한 requirements.txt 파일에 지정된 요구 사항에 pip3 -r install을 실행하여 추가 요구 사항을 설치합니다.

Amazon MWAA HIPAA를 준수합니까?

Amazon MWAA는 미국 건강 보험 양도 및 책임에 관한 법(HIPAA)을 충족합니다. HIPAA BAA(비즈니스 제휴 계약)를 맺은 경우AWS, 2022년 11월 14일 또는 그 이후에 생성된 환경에서 보호대상 건강 정보(PHI)를 처리하는 워크플로에 Amazon MWAA를 사용할 수 있습니다.

Amazon MWAA가 스팟 인스턴스를 지원합니까?

Amazon MWAA는 현재 Apache Airflow에 대한 온디맨드 Amazon EC2 스팟 인스턴스 유형을 지원하지 않습니다. 그러나, Amazon MWAA 환경은 Amazon EMR 및 Amazon EC2 등에 대한 스팟 인스턴스를 트리거할 수 있습니다.

Amazon MWAA가 사용자 지정 도메인을 지원합니까?

Amazon MWAA 호스트 이름에 사용자 지정 도메인을 사용할 수 있으려면 다음 중 하나를 수행합니다.

퍼블릭 웹 서버 액세스를 사용하는 Amazon MWAA 배포의 경우, Amazon CloudFront와 Lambda @Edge 를 사용하여 트래픽을 사용자 환경으로 보내고 사용자 지정 도메인 이름을 CloudFront에 매핑할 수 있습니다. 퍼블릭 환경의 사용자 지정 도메인 설정에 대한 자세한 내용과 예제는 Amazon MWAA 예제 GitHub 리포지토리의 퍼블릭 웹 서버용 Amazon MWAA 사용자 지정 도메인 샘플을 참조하십시오.
프라이빗 웹 서버 액세스 권한이 있는 Amazon MWAA 배포의 경우 Apache Airflow 웹 서버에 대한 사용자 지정 도메인 설정 단원을 참조하세요.

SSH를 내 환경에 연결할 수 있습니까?

Amazon MWAA 환경에서는 SSH가 지원되지 않지만 BashOperator을 사용한 bash 명령을 실행하는 데 DAG를 사용할 수 있습니다. 예:


from airflow import DAG
from airflow.operators.bash_operator import BashOperator
from airflow.utils.dates import days_ago
with DAG(dag_id="any_bash_command_dag", schedule_interval=None, catchup=False, start_date=days_ago(1)) as dag:
      cli_command = BashOperator(
          task_id="bash_command",
          bash_command="{{ dag_run.conf['command'] }}"
      )

Apache Airflow UI에서 DAG를 트리거하려면 다음을 사용합니다.


{ "command" : "your bash command"}

VPC 보안 그룹에 자기 참조 규칙이 필요한 이유는 무엇입니까?

자기 참조 규칙을 생성하여 VPC에서 동일한 보안 그룹으로 소스를 제한하고 모든 네트워크로 공개되지 않도록 합니다. 자세한 내용은 Amazon MWAA에서 VPC 보안 섹션을 참조하십시오.

IAM에서 여러 그룹의 환경을 숨길 수 있습니까?

AWS Identity and Access Management에서 환경 이름을 지정하여 액세스를 제한할 수 있지만, AWS 콘솔에서는 가시성 필터링을 사용할 수 없습니다. 사용자가 하나의 환경을 볼 수 있으면 모든 환경을 볼 수 있습니다.

Apache Airflow 작업자에 임시 데이터를 저장할 수 있습니까?

Apache Airflow 운영자는 작업자에 임시 데이터를 저장할 수 있습니다. Apache Airflow 작업자는 사용자 환경의 Fargate 컨테이너의 /tmp에 있는 임시 파일에 액세스할 수 있습니다.

참고

Amazon ECS Fargate 1.4에 따르면 총 작업 스토리지는 20GB로 제한됩니다. 후속 작업이 다른 /tmp 폴더를 사용할 수 있는 동일한 Fargate 컨테이너 인스턴스에서 실행된다는 보장은 없습니다.

25명 이상의 Apache Airflow 작업자를 지정할 수 있습니까?

예. Amazon MWAA 콘솔에서는 Apache Airflow 작업자를 25명까지 지정할 수 있지만 할당량 증가를 요청하여 한 환경에 50명까지 구성할 수 있습니다. 자세한 내용은 할당량 증가 요청을 참조하십시오.

Amazon MWAA가 공유 Amazon VPC 또는 공유 서브넷을 지원합니까?

Amazon MWAA는 공유 Amazon VPC 또는 공유 서브넷을 지원하지 않습니다. 환경을 생성할 때 선택한 Amazon VPC는 환경을 생성하려는 계정이 소유해야 합니다. 하지만, Amazon MWAA 계정의 Amazon VPC에서 들어오는 트래픽을 공유 VPC로 라우팅할 수 있습니다. 자세한 내용과 공유 Amazon VPC로 트래픽을 라우팅하는 예제를 보려면 Amazon VPC 전송 게이트웨이 가이드의 인터넷으로 중앙 집중식 아웃바운드 라우팅을 참조하십시오.

지표

작업자 규모 조정 여부를 결정하는 데 어떤 지표가 사용됩니까?

Amazon MWAA는 CloudWatch에서 QueuedTasks와 RunningTasks를 모니터링하여 사용자 환경에서 Apache Airflow 작업자를 확장할지 여부를 결정합니다. 자세한 내용은 Amazon Managed Workflows for Apache Airflow에 대한 모니터링 및 지표 섹션을 참조하십시오.

CloudWatch에서 사용자 지정 지표를 생성할 수 있습니까?

CloudWatch 콘솔에서는 안 됨. 그러나, CloudWatch에서 사용자 지정 지표를 작성하는 DAG를 생성할 수 있습니다. 자세한 내용은 CloudWatch에서 DAG를 사용하여 사용자 지정 지표 작성 섹션을 참조하십시오.

DAG, 운영자, 연결 및 기타 질문

`PythonVirtualenvOperator`를 사용할 수 있습니까?

PythonVirtualenvOperator는 Amazon MWAA에서 명시적으로 지원되지 않지만 PythonVirtualenvOperator를 사용하는 사용자 지정 플러그인을 생성할 수 있습니다. 샘플 코드에 대한 내용은 Apache Airflow PythonVirtualenvOperator용 사용자 지정 플러그인 생성 섹션을 참조하십시오.

Amazon MWAA가 새 DAG 파일을 인식하는 데 시간이 얼마나 걸립니까?

DAG는 Amazon S3 버킷에서 사용자 환경으로 주기적으로 동기화됩니다. 새 DAG 파일을 추가하는 경우 Amazon MWAA가 새 파일을 사용하기 시작하는 데 약 300초가 걸립니다. 기존 DAG를 업데이트하는 경우 Amazon MWAA가 업데이트를 인식하는 데 약 30초가 걸립니다.

이러한 값(새 DAG의 경우 300초, 기존 DAG의 업데이트의 경우 30초)은 Apache Airflow 구성 옵션 dag_dir_list_interval 및 min_file_process_interval에 각각 해당합니다.

Apache Airflow에서 내 DAG 파일을 선택하지 않는 이유는 무엇입니까?

이 문제에 대한 가능한 해결 방법은 다음과 같습니다.

실행 역할에 Amazon S3 버킷에 대한 충분한 권한이 있는지 확인합니다. 자세한 내용은 Amazon MWAA 실행 역할 섹션을 참조하십시오.
Amazon S3 버킷에 퍼블릭 액세스 차단이 구성되어 있고 버전 관리가 활성화되어 있는지 확인합니다. 자세한 내용은 Amazon MWAA용 Amazon S3 버킷 생성 섹션을 참조하십시오.
DAG 파일 자체를 확인합니다. 예를 들어, 각 DAG에 고유한 DAG ID가 있어야 합니다.

환경에서 `plugins.zip` 또는 `requirements.txt`를 삭제할 수 있습니까?

현재는 plugins.zip 또는 requirements.txt를 추가한 후 해당 환경에서 삭제할 수 있는 방법은 없지만, 현재 해결 중입니다. 그 동안 해결 방법은 빈 텍스트 또는 zip 파일을 각각 가리키는 것입니다. 자세한 내용은 Amazon S3에서 파일 삭제 섹션을 참조하십시오.

Apache Airflow v2.0.2 관리자 플러그인 메뉴에 내 플러그인이 보이지 않는 이유는 무엇입니까?

보안상의 이유로 Amazon MWAA의 Apache Airflow 웹 서버는 네트워크 송신이 제한되어 있으며 버전 2.0.2 환경용 Apache Airflow 웹 서버에 직접 플러그인이나 Python 종속성을 설치하지 않습니다. 표시된 플러그인을 사용하면 Amazon MWAA가 AWS Identity and Access Management(IAM)에서 Apache Airflow 사용자를 인증할 수 있습니다.

플러그인과 Python 종속성을 웹 서버에 직접 설치하려면 Apache Airflow v2.2 이상을 사용하여 새 환경을 생성하는 것이 좋습니다. Amazon MWAA는 Apache Airflow v2.2 이상의 웹 서버에 직접 Python 종속성 및 사용자 지정 플러그인을 설치합니다.

AWS 데이터베이스 마이그레이션 서비스(DMS) 운영자를 사용할 수 있습니까?

Amazon MWAA는 DMS 운영자를 지원합니다. 하지만 이 운영자는 Amazon MWAA 환경과 연결된 Amazon Aurora PostgreSQL 메타데이터 데이터베이스에서 작업을 수행할하는 데 사용할 수 없습니다.

AWS 자격 증명을 사용하여 Airflow REST API에 액세스할 때 스로틀링 한도를 초당 10개가 넘는 트랜잭션(TPS)으로 늘릴 수 있나요?

예, 가능합니다. 스로틀링 한도를 늘리려면 AWS 고객 지원 센터에 문의하세요.

javascript가 브라우저에서 비활성화되거나 사용이 불가합니다.

AWS 설명서를 사용하려면 Javascript가 활성화되어야 합니다. 지침을 보려면 브라우저의 도움말 페이지를 참조하십시오.

문서 규칙

엔드포인트 및 할당량

문제 해결