Amazon MWAA 환경 업데이트 - Amazon Managed Workflows for Apache Airflow

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Amazon MWAA 환경 업데이트

참고

Amazon MWAA 정상 업데이트는 아직 캐나다 서부(캘거리) 및 아시아 태평양(말레이시아) 리전에서 지원되지 않습니다.

Amazon MWAA 환경 업데이트는 최신 변경 사항 및 보안 패치를 적용합니다. 기존 구성을 편집하고 Apache Airflow 버전을 업그레이드할 수도 있습니다. 이 가이드에서는 Amazon MWAA 환경을 업데이트하는 단계를 설명합니다.

시작하기 전 준비 사항

  • 환경에 지정한 VPC 네트워크는 환경이 생성된 후에는 수정할 수 없습니다.

  • 버킷 버전 관리가 활성화된 상태에서 모든 퍼블릭 액세스가 차단되도록 구성된 Amazon S3 버킷이 필요합니다.

  • Amazon MWAA를 사용할 수 있는 권한과 AWS Identity and Access Management (IAM)에서 IAM 역할을 생성할 수 있는 권한이 있는 AWS 계정이 필요합니다. Amazon VPC 내에서 Apache Airflow 액세스를 제한하는 Apache Airflow 웹 서버에 대해 프라이빗 네트워크 액세스 모드를 선택하는 경우 Amazon VPC 엔드포인트를 생성할 수 있는 IAM에 권한이 필요합니다.

  • Graceful 환경 업데이트를 활성화하려면 Apache Airflow 버전 2.4.3 이상으로 업그레이드해야 합니다. Airflow 버전을 업그레이드하려면 섹션을 참조하세요Apache Airflow 버전 업그레이드.

작업자 대체 전략

작업자 교체 전략을 선택하여 Amazon MWAA가 환경 업데이트 중에 활성 작업자를 처리하는 방법을 제어할 수 있습니다. 다음 전략 중 하나를 선택할 수 있습니다.

강제 업데이트

강제 업데이트는 기본 작업자 교체 전략입니다. 강제 업데이트는 모든 활성 작업자를 즉시 중지하므로 업데이트 중에 실행 중인 작업이 실패합니다.

유예 업데이트

단계적 업데이트를 통해 작업자는 종료하기 전에 최대 12시간 동안 작업을 계속 실행할 수 있습니다. 12시간 이내에 완료되는 한 업데이트 중단으로 인해 작업이 실패하는 것을 방지합니다. 새 작업은 업데이트된 작업자에게 라우팅됩니다.

기존 환경에서 Graceful 업데이트를 활성화하려면 강제 업데이트 하나를 완료하고 환경이 Apache Airflow 버전 2.4.3 이상인지 확인해야 합니다.

참고

환경이 MAINTENANCE 상태인 동안 업데이트를 수행하면 진행 중인 환경 업데이트에 대한 작업자 교체 전략이에서 GRACEFUL로 전환됩니다FORCED. 업데이트는 유지 관리가 완료된 후 수행됩니다.

환경 리소스 업데이트

Amazon MWAA 환경 업데이트는 기본적으로 기존 환경 구성을 사용합니다. 현재 구성을 변경하지 않고 환경을 업데이트하려면:

  1. Amazon MWAA 콘솔에서 환경 페이지를 엽니다.

  2. 환경 목록에서 업데이트할 환경을 선택합니다.

  3. 환경 페이지에서 편집을 선택하여 환경을 편집합니다.

  4. 검토 및 저장 페이지가 표시될 때까지 다음을 선택합니다.

  5. 검토 및 저장 페이지에서 변경 사항을 검토한 후 저장을 선택합니다.

환경 업데이트

다음 섹션에서는 Amazon MWAA 환경을 업데이트하는 단계를 설명합니다.

1단계: 세부 정보 지정

환경에 대한 세부 정보를 지정하려면
  1. Amazon MWAA 콘솔에서 환경 페이지를 엽니다.

  2. 환경 목록에서 업데이트할 환경을 선택합니다.

  3. 환경 페이지에서 편집을 선택하여 환경을 편집합니다.

  4. 환경 세부 정보 섹션의 Airflow 버전에 대해 드롭다운 목록에서 환경을 업그레이드하려는 새 Apache Airflow 버전 번호를 선택합니다.

    참고

    업그레이드하기 전에 DAGs 및 기타 워크플로 리소스가 새 Apache Airflow 버전과 호환되는지 확인합니다. 자세한 내용은 Apache Airflow 버전 업그레이드 단원을 참조하십시오.

  5. Amazon S3의 DAG 코드에서 다음을 지정합니다.

    1. S3 버킷. S3 찾아보기를 선택하고 Amazon S3 버킷을 선택하거나 Amazon S3 URI를 입력합니다.

    2. DAG 폴더. S3 찾아보기를 선택하고 Amazon S3 버킷에서 dags 폴더를 선택하거나 Amazon S3 URI를 입력합니다.

    3. 플러그인 파일 - 선택 사항. S3 찾아보기를 선택하고 Amazon S3 버킷에서 plugins.zip 파일을 선택하거나 Amazon S3 URI를 입력합니다.

    4. 요구 사항 파일 - 선택 사항. S3 찾아보기를 선택하고 Amazon S3 버킷에서 requirements.txt 파일을 선택하거나 Amazon S3 URI를 입력합니다.

    5. 시작 스크립트 파일 - 선택 사항, 찾아보기S3를 선택하고 Amazon S3 버킷에서 스크립트 파일을 선택하거나 Amazon S3 URI를 입력합니다.

  6. 다음을 선택합니다.

2단계: 고급 설정 구성

고급 설정을 구성하려면
  1. 웹 서버 액세스에서 원하는 Apache Airflow 액세스 모드를 선택합니다.

    1. 프라이빗 네트워크. 이렇게 하면 사용자 환경의 IAM 정책에 대한 액세스 권한이 부여된 Amazon VPC 내 사용자만 Apache Airflow UI에 액세스하도록 제한됩니다. 이 단계를 수행하려면 Amazon VPC 엔드포인트를 생성할 권한이 필요합니다.

      참고

      Apache Airflow UI가 기업 네트워크 내에서만 액세스되고 웹 서버 요구 사항 설치를 위해 퍼블릭 리포지토리에 대한 액세스가 필요하지 않은 경우 프라이빗 네트워크 옵션을 선택합니다. 이 액세스 모드 옵션을 선택하는 경우 Amazon VPC의 Apache Airflow 웹 서버에 액세스하기 위한 메커니즘을 생성해야 합니다. 자세한 내용은 Apache Airflow 웹 서버의 VPC 엔드포인트 액세스(프라이빗 네트워크 액세스) 섹션을 참조하십시오.

    2. 퍼블릭 네트워크. 이렇게 하면 사용자 환경의 IAM 정책에 대한 액세스 권한이 부여된 사용자가 인터넷을 통해 Apache Airflow UI에 액세스할 수 있습니다.

  2. 보안 그룹에서 Amazon VPC를 보호하는 데 사용할 보안 그룹을 선택합니다.

    1. 기본적으로 Amazon MWAA는 새 보안 그룹 생성의 특정 인바운드 및 아웃바운드 규칙을 사용하여 Amazon VPC에 보안 그룹을 생성합니다.

    2. 선택 사항. 새 보안 그룹 생성의 확인란을 선택 취소하여 최대 5개의 보안 그룹을 선택합니다.

      참고

      네트워크 트래픽을 허용하려면 기존 Amazon VPC 보안 그룹을 특정 인바운드 및 아웃바운드 규칙으로 구성해야 합니다. 자세한 내용은 Amazon MWAA에서 VPC 보안 섹션을 참조하십시오.

  3. 환경 클래스에서 환경 클래스를 선택합니다.

    워크로드를 지원하는 데 필요한 가장 작은 크기를 선택하는 것이 좋습니다. 환경 클래스는 언제든지 변경할 수 있습니다.

  4. 최대 작업자 수에는 환경에서 실행할 최대 Apache Airflow 작업자 수를 지정합니다.

    자세한 내용은 고성능 사용 사례 예시 단원을 참조하십시오.

  5. 최대 웹 서버 수최소 웹 서버 수를 지정하여 Amazon MWAA가 환경에서 Apache Airflow 웹 서버의 규모를 조정하는 방법을 구성합니다.

    웹 서버 오토 스케일링에 대한 자세한 내용은 Amazon MWAA 웹 서버 오토 스케일링 구성 단원을 참조하세요.

  6. 암호화에서 데이터 암호화 옵션을 선택합니다.

    1. 기본적으로 Amazon MWAA는 AWS 소유 키를 사용하여 데이터를 암호화합니다.

    2. 선택 사항. 암호화 설정 사용자 지정(고급)을 선택하여 다른 AWS KMS 키를 선택합니다. 이 단계에서 고객 관리형 키를 지정하기로 선택한 경우 AWS KMS 키 ID 또는 ARN을 지정해야 합니다. AWS KMS Amazon MWAA에서는 별칭 및 다중 리전 키를 지원하지 않습니다. Amazon S3 버킷에서 서버 측 암호화를 위해 Amazon S3 키를 지정한 경우 Amazon MWAA 환경에도 동일한 키를 지정해야 합니다.

      참고

      Amazon MWAA 콘솔에서 키를 선택하려면 해당 키에 대한 권한이 있어야 합니다. 또한 키 정책 연결에 설명된 정책을 첨부하여 Amazon MWAA에 키를 사용할 수 있는 권한을 부여해야 합니다.

  7. 권장. 모니터링에서 Apache Airflow 로그를 CloudWatch Logs로 전송할 Airflow 로깅 구성의 로그 카테고리를 하나 이상 선택합니다.

    1. Airflow 작업 로그. 로그 수준에서 CloudWatch Logs로 보낼 Apache Airflow 작업 로그의 유형을 선택합니다.

    2. Airflow 웹 서버 로그. 로그 수준에서 CloudWatch Logs로 보낼 Apache Airflow 웹 서버 로그의 유형을 선택합니다.

    3. Airflow 스케줄러 로그. 로그 수준에서 CloudWatch Logs로 보낼 Apache Airflow 스케줄러 로그의 유형을 선택합니다.

    4. Airflow 작업자 로그. 로그 수준에서 CloudWatch Logs로 보낼 Apache Airflow 작업자 로그의 유형을 선택합니다.

    5. Airflow DAG 처리 로그. 로그 수준에서 CloudWatch Logs로 보낼 Apache Airflow DAG 처리 로그의 유형을 선택합니다.

  8. 선택 사항. Airflow 구성 옵션에서는 사용자 지정 구성 옵션 추가를 선택합니다.

    Apache Airflow 버전에 대해서는 Apache Airflow 구성 옵션의 제안 드롭다운 목록에서 선택하거나 사용자 지정 구성 옵션을 지정할 수 있습니다. 예: core.default_task_retries : 3.

  9. 사용 권한에서 실행 역할을 선택합니다.

    1. 기본적으로 Amazon MWAA는 새 역할 생성에서 실행 역할을 생성합니다. I이 옵션을 사용하려면 IAM 역할을 생성할 권한이 있어야 합니다.

    2. 선택 사항. 역할 ARN 입력을 선택하여 기존 실행 역할의 Amazon 리소스 이름(ARN)을 입력합니다.

  10. 사양 업데이트에서 작업자 대체 전략를 선택하여 업데이트 중에 활성 작업자가 처리되는 방식을 제어합니다.

  11. 다음을 선택합니다.

3단계: 검토 및 업데이트

환경 요약을 검토하려면
  • 환경 요약을 검토하고 저장을 선택합니다.

    참고

    강제 업데이트를 사용하여 환경을 업데이트하는 데 약 20~30분이 걸립니다. 정상적인 환경 업데이트는 진행 중인 작업이 완료될 때까지 기다리기 때문에 완료하는 데 최대 12시간이 걸릴 수 있습니다.