Membuat plugin khusus dengan Oracle - Amazon Managed Workflows for Apache Airflow (MWAA)
VersiPrasyaratIzinPersyaratanSampel kodeBuat plugin khususOpsi konfigurasi aliran udaraApa selanjutnya?

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Membuat plugin khusus dengan Oracle

Contoh berikut memandu Anda melalui langkah-langkah untuk membuat plugin kustom menggunakan Oracle untuk Amazon MWAA dan dapat dikombinasikan dengan plugin kustom lainnya dan binari dalam file plugins.zip Anda.

Versi

  • Contoh kode pada halaman ini dapat digunakan denganApache aliran udara v1diPython 3.7.

  • Anda dapat menggunakan contoh kode di halaman ini denganApache Airflow v2 dan di atasnyadiPython 3.10.

Prasyarat

Untuk menggunakan kode contoh di halaman ini, Anda memerlukan yang berikut ini:

Izin

  • Tidak ada izin tambahan yang diperlukan untuk menggunakan contoh kode di halaman ini.

Persyaratan

Untuk menggunakan kode contoh pada halaman ini, tambahkan dependensi berikut kerequirements.txt. Untuk mempelajari selengkapnya, lihat Menginstal dependensi Python.

Apache Airflow v2
-c https://raw.githubusercontent.com/apache/airflow/constraints-2.0.2/constraints-3.7.txt
cx_Oracle
apache-airflow-providers-oracle
Apache Airflow v1
cx_Oracle==8.1.0
apache-airflow[oracle]==1.10.12

Sampel kode

Langkah-langkah berikut menjelaskan cara membuat kode DAG yang akan menguji plugin kustom.

  1. Di prompt perintah Anda, navigasikan ke direktori tempat kode DAG Anda disimpan. Misalnya:

    cd dags

  2. Salin isi contoh kode berikut dan simpan secara lokal sebagaioracle.py. 

    from airflow import DAG
from airflow.operators.python_operator import PythonOperator
from airflow.utils.dates import days_ago
import os
import cx_Oracle

DAG_ID = os.path.basename(__file__).replace(".py", "")

def testHook(**kwargs):
    cx_Oracle.init_oracle_client()
    version = cx_Oracle.clientversion()
    print("cx_Oracle.clientversion",version)
    return version

with DAG(dag_id=DAG_ID, schedule_interval=None, catchup=False, start_date=days_ago(1)) as dag:
    hook_test = PythonOperator(
        task_id="hook_test",
        python_callable=testHook,
        provide_context=True 
    )

Buat plugin khusus

Bagian ini menjelaskan cara mengunduh dependensi, membuat plugin khusus, dan plugins.zip.

Unduh dependensi

Amazon MWAA akan mengekstrak isi plugins.zip ke/usr/local/airflow/pluginspada setiap penjadwal Amazon MWAA dan wadah pekerja. Ini digunakan untuk menambahkan biner ke lingkungan Anda. Langkah-langkah berikut menjelaskan cara merakit file yang diperlukan untuk plugin kustom.

Tarik gambar kontainer Amazon Linux

  1. Di prompt perintah Anda, tarik image container Amazon Linux, dan jalankan container secara lokal. Misalnya:

    docker pull amazonlinux
docker run -it amazonlinux:latest /bin/bash

    Prompt perintah Anda harus memanggil baris perintah bash. Misalnya:

    bash-4.2#

  2. Instal fasilitas I/O asinkron asli Linux (libaio).

    yum -y install libaio

  3. Jauhkan jendela ini terbuka untuk langkah-langkah selanjutnya. Kami akan menyalin file-file berikut secara lokal:lib64/libaio.so.1,lib64/libaio.so.1.0.0,lib64/libaio.so.1.0.1.

Unduh folder klien

  1. Instal paket unzip secara lokal. Misalnya:

    sudo yum install unzip

  2. Buat sebuahoracle_plugindirektori. Misalnya:

    mkdir oracle_plugin
cd oracle_plugin

  3. Gunakan perintah curl berikut untuk men-downloadinstantclient-basic-linux.x64-18.5.0.0.0dbru.zipdariUnduhan Klien Instan Oracle untuk Linux x86-64 (64-bit).

    curl https://download.oracle.com/otn_software/linux/instantclient/185000/instantclient-basic-linux.x64-18.5.0.0.0dbru.zip > client.zip

  4. Unzipclient.zipberkas. Misalnya:

    unzip *.zip
Ekstrak file dari Docker

  1. Dalam prompt perintah baru, tampilkan dan tuliskan ID container Docker Anda. Misalnya:

    docker container ls

    Prompt perintah Anda harus mengembalikan semua kontainer dan ID-nya. Misalnya:

    debc16fd6970

  2. Di dalamoracle_plugindirektori, ekstraklib64/libaio.so.1,lib64/libaio.so.1.0.0,lib64/libaio.so.1.0.1file ke lokalinstantclient_18_5folder. Misalnya:

    docker cp debc16fd6970:/lib64/libaio.so.1 instantclient_18_5/
docker cp debc16fd6970:/lib64/libaio.so.1.0.0 instantclient_18_5/
docker cp debc16fd6970:/lib64/libaio.so.1.0.1 instantclient_18_5/

Plugin kustom

Apache Airflow akan mengeksekusi isi file Python di folder plugin saat startup. Ini digunakan untuk mengatur dan memodifikasi variabel lingkungan. Langkah-langkah berikut menjelaskan contoh kode untuk plugin kustom.

  • Salin isi contoh kode berikut dan simpan secara lokal sebagaienv_var_plugin_oracle.py.

    from airflow.plugins_manager import AirflowPlugin
import os

os.environ["LD_LIBRARY_PATH"]='/usr/local/airflow/plugins/instantclient_18_5'
os.environ["DPI_DEBUG_LEVEL"]="64"

class EnvVarPlugin(AirflowPlugin):                
    name = 'env_var_plugin'

Plugins.zip

Langkah-langkah berikut menunjukkan cara membuatplugins.zip. Isi contoh ini dapat dikombinasikan dengan plugin dan biner Anda yang lain menjadi satuplugins.zipberkas.

Zip isi direktori plugin

  1. Di prompt perintah Anda, arahkan keoracle_plugindirektori. Misalnya:

    cd oracle_plugin

  2. Zipinstantclient_18_5direktori di plugins.zip. Misalnya:

    zip -r ../plugins.zip ./

  3. Anda akan melihat yang berikut di prompt perintah Anda:

    oracle_plugin$ ls
client.zip		instantclient_18_5

  4. Hapusclient.zipberkas. Misalnya:

    rm client.zip
Zip file env_var_plugin_oracle.py

  1. Tambahkanenv_var_plugin_oracle.pyfile ke akar plugins.zip. Misalnya:

    zip plugins.zip env_var_plugin_oracle.py

  2. plugins.zip Anda sekarang harus menyertakan yang berikut ini:

    env_var_plugin_oracle.py
instantclient_18_5/

Opsi konfigurasi aliran udara

Jika Anda menggunakan Apache Airflow v2, tambahkancore.lazy_load_plugins : Falsesebagai opsi konfigurasi Apache Airflow. Untuk mempelajari lebih lanjut, lihatMenggunakan opsi konfigurasi untuk memuat plugin di 2.

Apa selanjutnya?