Menggunakan kunci rahasia diAWS Secrets Manageruntuk variabel Apache Airflow

Panggilan sampel berikutAWS Secrets Manageruntuk mendapatkan kunci rahasia untuk variabel Apache Airflow di Amazon Managed Workflow untuk Apache Airflow. Ini mengasumsikan Anda telah menyelesaikan langkah-langkah diMengkonfigurasi koneksi Apache Airflow menggunakan rahasia AWS Secrets Manager.

Versi

• Contoh kode pada halaman ini dapat digunakan denganApache aliran udara v1diPython 3.7.

• Anda dapat menggunakan contoh kode di halaman ini denganApache Airflow v2 dan di atasnyadiPython 3.10.

Prasyarat

Untuk menggunakan kode contoh di halaman ini, Anda memerlukan yang berikut ini:

• Backend Secrets Manager sebagai opsi konfigurasi Apache Airflow seperti yang ditunjukkan padaMengkonfigurasi koneksi Apache Airflow menggunakan rahasia AWS Secrets Manager.

• String variabel Apache Airflow di Secrets Manager seperti yang ditunjukkan padaMengkonfigurasi koneksi Apache Airflow menggunakan rahasia AWS Secrets Manager.

Izin

• Izin Manajer Rahasia seperti yang ditunjukkan padaMengkonfigurasi koneksi Apache Airflow menggunakan rahasia AWS Secrets Manager.

Persyaratan

• Untuk menggunakan contoh kode ini dengan Apache Airflow v1, tidak diperlukan dependensi tambahan. Kode menggunakanApache Airflow v1 dasar menginstalpada lingkungan Anda.

• Untuk menggunakan contoh kode ini dengan Apache Airflow v2, tidak diperlukan dependensi tambahan. Kode menggunakanInstalasi dasar Apache Airflow v2pada lingkungan Anda.

Sampel kode

Langkah-langkah berikut menjelaskan cara membuat kode DAG yang memanggil Secrets Manager untuk mendapatkan rahasianya.

1. Di prompt perintah Anda, navigasikan ke direktori tempat kode DAG Anda disimpan. Misalnya:

   cd dags

2. Salin isi contoh kode berikut dan simpan secara lokal sebagaisecrets-manager-var.py.

   from airflow import DAG
   from airflow.operators.python_operator import PythonOperator
   from airflow.models import Variable
   from airflow.utils.dates import days_ago
   from datetime import timedelta
   import os
   DAG_ID = os.path.basename(__file__).replace(".py", "")
   DEFAULT_ARGS = {
       'owner': 'airflow',
       'depends_on_past': False,
       'email': ['[e-mail]'],
       'email_on_failure': False,
       'email_on_retry': False,
   }
   def get_variable_fn(**kwargs):
       my_variable_name = Variable.get("test-variable", default_var="undefined")
       print("my_variable_name: ", my_variable_name)
       return my_variable_name
   with DAG(
       dag_id=DAG_ID,
       default_args=DEFAULT_ARGS,
       dagrun_timeout=timedelta(hours=2),
       start_date=days_ago(1),
       schedule_interval='@once',
       tags=['variable']
   ) as dag:
       get_variable = PythonOperator(
           task_id="get_variable",
           python_callable=get_variable_fn,
           provide_context=True
       )

Apa selanjutnya?

• Pelajari cara mengunggah kode DAG dalam contoh ini kedagsfolder di bucket Amazon S3 AndaMenambahkan atau memperbarui DAG.