기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
런타임 환경 변수를 생성하는 사용자 지정 플러그인 생성
다음 샘플은 Amazon Managed Workflows for Apache Airflow 환경에서 런타임 시 환경 변수를 생성하는 사용자 지정 플러그인을 생성하는 단계를 안내합니다.
버전
-
이 페이지의 샘플 코드는 Python 3.7
의 Apache Airflow v1과 함께 사용할 수 있습니다.
필수 조건
이 페이지의 이 샘플 코드를 사용하려면 다음 항목이 필요합니다.
권한
-
이 페이지의 코드 예제를 사용하는 데 추가 권한이 필요하지 않습니다.
요구 사항
-
이 코드 예제를 Apache Airflow v1과 함께 사용하려면 추가 종속성이 필요하지 않습니다. 코드는 사용자 환경에 설치된 Apache Airflow v1 기본 설치
를 사용합니다.
사용자 지정 플러그인
Apache Airflow는 스타트업 시 플러그인 폴더에 있는 Python 파일의 콘텐츠를 실행합니다. 이는 환경 변수를 설정하고 수정하는 데 사용됩니다. 다음 단계에서는 사용자 지정 플러그인의 샘플 코드를 설명합니다.
-
명령 프롬프트에서 플러그인이 저장된 디렉터리로 이동합니다. 예:
cd plugins
-
다음 코드 샘플의 내용을 복사하여 위 폴더에
env_var_plugin.py
로 로컬로 저장합니다.from airflow.plugins_manager import AirflowPlugin import os os.environ["PATH"] = os.getenv("PATH") + ":/usr/local/airflow/.local/lib/python3.7/site-packages" os.environ["JAVA_HOME"]="/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.272.b10-1.amzn2.0.1.x86_64" class EnvVarPlugin(AirflowPlugin): name = 'env_var_plugin'
Plugins.zip
다음 단계에서는 plugins.zip
을 생성하는 방법을 보여줍니다. 이 예제의 내용은 다른 플러그인 및 바이너리와 결합하여 단일 plugins.zip
파일로 만들 수 있습니다.
-
명령 프롬프트에서 이전 단계의
hive_plugin
디렉터리로 이동합니다. 예:cd plugins
-
plugins
폴더 내 콘텐츠를 압축합니다.zip -r ../plugins.zip ./
Airflow 구성 옵션
Apache Airflow v2를 사용하는 경우 Apache Airflow 구성 옵션으로 core.lazy_load_plugins : False
을 추가합니다. 자세한 내용은 2에서 구성 옵션을 사용하여 플러그인 로드를 참조하십시오.
다음 단계
-
이 예제의
requirements.txt
파일을 Python 종속성 설치의 Amazon S3 버킷에 업로드하는 방법을 알아봅니다. -
이 예제의 DAG 코드를 DAG 추가 또는 업데이트에서 Amazon S3 버킷의
dags
폴더에 업로드하는 방법을 알아봅니다. -
이 예제의
plugins.zip
파일을 사용자 지정 플러그인 설치의 Amazon S3 버킷에 업로드하는 방법에 대해 자세히 알아봅니다.