런타임 환경 변수를 생성하는 사용자 지정 플러그인 생성

다음 샘플은 Amazon Managed Workflows for Apache Airflow 환경에서 런타임 시 환경 변수를 생성하는 사용자 지정 플러그인을 생성하는 단계를 안내합니다.

버전

• 이 페이지의 샘플 코드는 Python 3.7의 Apache Airflow v1과 함께 사용할 수 있습니다.

필수 조건

이 페이지의 이 샘플 코드를 사용하려면 다음 항목이 필요합니다.

• Amazon MWAA 환경.

권한

• 이 페이지의 코드 예제를 사용하는 데 추가 권한이 필요하지 않습니다.

요구 사항

• 이 코드 예제를 Apache Airflow v1과 함께 사용하려면 추가 종속성이 필요하지 않습니다. 코드는 사용자 환경에 설치된 Apache Airflow v1 기본 설치를 사용합니다.

사용자 지정 플러그인

Apache Airflow는 스타트업 시 플러그인 폴더에 있는 Python 파일의 콘텐츠를 실행합니다. 이는 환경 변수를 설정하고 수정하는 데 사용됩니다. 다음 단계에서는 사용자 지정 플러그인의 샘플 코드를 설명합니다.

1. 명령 프롬프트에서 플러그인이 저장된 디렉터리로 이동합니다. 예:

   cd plugins

2. 다음 코드 샘플의 내용을 복사하여 위 폴더에 env_var_plugin.py로 로컬로 저장합니다.

   from airflow.plugins_manager import AirflowPlugin
   import os
   
   os.environ["PATH"] = os.getenv("PATH") + ":/usr/local/airflow/.local/lib/python3.7/site-packages" 
   os.environ["JAVA_HOME"]="/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.272.b10-1.amzn2.0.1.x86_64"
   
   class EnvVarPlugin(AirflowPlugin):                
        name = 'env_var_plugin'

Plugins.zip

다음 단계에서는 plugins.zip을 생성하는 방법을 보여줍니다. 이 예제의 내용은 다른 플러그인 및 바이너리와 결합하여 단일 plugins.zip 파일로 만들 수 있습니다.

1. 명령 프롬프트에서 이전 단계의 hive_plugin 디렉터리로 이동합니다. 예:

   cd plugins

2. plugins 폴더 내 콘텐츠를 압축합니다.

   zip -r ../plugins.zip ./

Airflow 구성 옵션

Apache Airflow v2를 사용하는 경우 Apache Airflow 구성 옵션으로 core.lazy_load_plugins : False을 추가합니다. 자세한 내용은 2에서 구성 옵션을 사용하여 플러그인 로드를 참조하십시오.

다음 단계

• 이 예제의 requirements.txt 파일을 Python 종속성 설치의 Amazon S3 버킷에 업로드하는 방법을 알아봅니다.

• 이 예제의 DAG 코드를 DAG 추가 또는 업데이트에서 Amazon S3 버킷의 dags 폴더에 업로드하는 방법을 알아봅니다.

• 이 예제의 plugins.zip 파일을 사용자 지정 플러그인 설치의 Amazon S3 버킷에 업로드하는 방법에 대해 자세히 알아봅니다.