Referensi perintah CLI Apache Airflow

Topik ini menjelaskan perintah Apache Airflow CLI yang didukung dan tidak didukung di Alur Kerja Terkelola Amazon untuk Apache Airflow.

Tip

REST API lebih modern daripada CLI dan dirancang untuk integrasi terprogram dengan sistem eksternal. REST adalah cara yang disukai untuk berinteraksi dengan Apache Airflow.

Daftar Isi

• Prasyarat

  • Akses

  • AWS CLI

• Apa yang berubah di v2

• Perintah CLI yang didukung

  • Perintah yang Didukung

  • Menggunakan perintah yang mengurai DAGs

• Kode sampel

  • Mengatur, mendapatkan, atau menghapus variabel Apache Airflow v2

  • Tambahkan konfigurasi saat memicu DAG

  • Jalankan perintah CLI pada terowongan SSH ke host bastion

  • Sampel GitHub dan AWS tutorial

Prasyarat

Bagian berikut menjelaskan langkah-langkah awal yang diperlukan untuk menggunakan perintah dan skrip di halaman ini.

Akses

• AWS akses akun di AWS Identity and Access Management (IAM) ke kebijakan izin Amazon MWAA di. Kebijakan akses Apache Airflow UI: Amazon MWAAWeb ServerAccess

• AWS akses akun di AWS Identity and Access Management (IAM) ke kebijakan izin Amazon MWAA. Kebijakan akses API dan konsol lengkap: Amazon MWAAFull ApiAccess

AWS CLI

The AWS Command Line Interface (AWS CLI) adalah alat open source yang memungkinkan Anda berinteraksi dengan AWS layanan menggunakan perintah di shell baris perintah Anda. Untuk menyelesaikan langkah-langkah di halaman ini, Anda memerlukan yang berikut:

• AWS CLI — Instal versi 2.

• AWS CLI - Konfigurasi cepat dengan aws configure.

Apa yang berubah di v2

• Baru: Struktur perintah CLI aliran udara. Apache Airflow v2 CLI diatur sehingga perintah terkait dikelompokkan bersama sebagai subperintah, yang berarti Anda perlu memperbarui skrip Apache Airflow v1 jika Anda ingin meningkatkan ke Apache Airflow v2. Misalnya, unpause di Apache Airflow v1 sekarang ada di dags unpause Apache Airflow v2. Untuk mempelajari lebih lanjut, lihat perubahan CLI Aliran Udara di 2 di panduan referensi Apache Airflow.

Perintah CLI yang didukung

Bagian berikut mencantumkan perintah Apache Airflow CLI yang tersedia di Amazon MWAA.

Perintah yang Didukung

Apache Airflow v2

Versi minor	Perintah
v2.0+	lembar contekan
v2.0+	koneksi menambahkan
v2.0+	koneksi hapus
v2.2+ (catatan)	isi ulang hari
v2.0+	hari hapus
v2.2+ (catatan)	daftar dags
v2.0+	dags daftar-lowongan
v2.6+	dags list-import-errors
v2.2+ (catatan)	dags daftar-berjalan
v2.2+ (catatan)	dags eksekusi berikutnya
v2.0+	dags jeda
v2.0+	laporan dags
v2.4+	dags reserialize
v2.0+	pertunjukan dags
v2.0+	negara bagian dags
v2.0+	tes dags
v2.0+	pemicu dags
v2.0+	dags unpause
v2.4+	db bersih
v2.0+	perilaku penyedia
v2.0+	penyedia mendapatkan
v2.0+	penyedia kait
v2.0+	tautan penyedia
v2.0+	daftar penyedia
v2.8+	pemberitahuan penyedia
v2.6+	rahasia penyedia
v2.7+	penyedia pemicu
v2.0+	widget penyedia
v2.6+	peran tambahan perms
v2.6+	peran del-perms
v2.6+	peran membuat
v2.0+	daftar peran
v2.0+	tugas jelas
v2.0+	tugas gagal-deps
v2.0+	daftar tugas
v2.0+	tugas render
v2.0+	status tugas
v2.0+	tugas states-for-dag-run
v2.0+	tes tugas
v2.0+	variabel menghapus
v2.0+	variabel mendapatkan
v2.0+	variabel yang ditetapkan
v2.0+	daftar variabel
v2.0+	versi

Menggunakan perintah yang mengurai DAGs

Jika lingkungan Anda menjalankan Apache Airflow v1.10.12 atau v2.0.2, perintah CLI yang mengurai akan gagal jika DAG menggunakan plugin DAGs yang bergantung pada paket yang diinstal melalui: requirements.txt

Apache Airflow v2.0.2

• dags backfill

• dags list

• dags list-runs

• dags next-execution

Anda dapat menggunakan perintah CLI ini jika Anda DAGs tidak menggunakan plugin yang bergantung pada paket yang diinstal melalui file. requirements.txt

Kode sampel

Bagian berikut berisi contoh berbagai cara untuk menggunakan Apache Airflow CLI.

Mengatur, mendapatkan, atau menghapus variabel Apache Airflow v2

Anda dapat menggunakan kode contoh berikut untuk mengatur, mendapatkan atau menghapus variabel dalam format<script> <mwaa env name> get | set | delete <variable> <variable value> </variable> </variable>.

[ $# -eq 0 ] && echo "Usage: $0 MWAA environment name " && exit

if [[ $2 == "" ]]; then
    dag="variables list"

elif  [ $2 == "get" ] ||  [ $2 == "delete" ] ||  [ $2 == "set" ]; then
    dag="variables $2 $3 $4 $5"

else
    echo "Not a valid command"
    exit 1
fi

CLI_JSON=$(aws mwaa --region $AWS_REGION create-cli-token --name $1) \
    && CLI_TOKEN=$(echo $CLI_JSON | jq -r '.CliToken') \
    && WEB_SERVER_HOSTNAME=$(echo $CLI_JSON | jq -r '.WebServerHostname') \
    && CLI_RESULTS=$(curl --request POST "https://$WEB_SERVER_HOSTNAME/aws_mwaa/cli" \
    --header "Authorization: Bearer $CLI_TOKEN" \
    --header "Content-Type: text/plain" \
    --data-raw "$dag" ) \
    && echo "Output:" \
    && echo $CLI_RESULTS | jq -r '.stdout' | base64 --decode \
    && echo "Errors:" \
    && echo $CLI_RESULTS | jq -r '.stderr' | base64 --decode

Tambahkan konfigurasi saat memicu DAG

Anda dapat menggunakan kode contoh berikut dengan Apache Airflow v1 dan Apache Airflow v2 untuk menambahkan konfigurasi saat memicu DAG, seperti. airflow trigger_dag 'dag_name' —conf '{"key":"value"}'

import boto3
import json
import requests 
import base64

mwaa_env_name = 'YOUR_ENVIRONMENT_NAME'
dag_name = 'YOUR_DAG_NAME'
key = "YOUR_KEY"
value = "YOUR_VALUE"
conf = "{\"" + key + "\":\"" + value + "\"}"

client = boto3.client('mwaa')

mwaa_cli_token = client.create_cli_token(
  Name=mwaa_env_name
)

mwaa_auth_token = 'Bearer ' + mwaa_cli_token['CliToken']
mwaa_webserver_hostname = 'https://{0}/aws_mwaa/cli'.format(mwaa_cli_token['WebServerHostname'])
raw_data = "trigger_dag {0} -c '{1}'".format(dag_name, conf)

mwaa_response = requests.post(
      mwaa_webserver_hostname,
      headers={
          'Authorization': mwaa_auth_token,
          'Content-Type': 'text/plain'
          },
      data=raw_data
      )
      
mwaa_std_err_message = base64.b64decode(mwaa_response.json()['stderr']).decode('utf8')
mwaa_std_out_message = base64.b64decode(mwaa_response.json()['stdout']).decode('utf8')

print(mwaa_response.status_code)
print(mwaa_std_err_message)
print(mwaa_std_out_message)

Jalankan perintah CLI pada terowongan SSH ke host bastion

Contoh berikut menunjukkan cara menjalankan perintah CLI Airflow menggunakan proxy terowongan SSH ke Linux Bastion Host.

Menggunakan curl

1. ssh -D 8080 -f -C -q -N YOUR_USER@YOUR_BASTION_HOST

2. curl -x socks5h://0:8080 --request POST https://YOUR_HOST_NAME/aws_mwaa/cli --header YOUR_HEADERS --data-raw YOUR_CLI_COMMAND

Sampel GitHub dan AWS tutorial

• Bekerja dengan parameter dan variabel Apache Airflow v2.0.2 di Amazon Managed Workflow untuk Apache Airflow

• Berinteraksi dengan Apache Airflow v1.10.12 di Amazon MWAA melalui baris perintah

• Perintah Interaktif dengan Apache Airflow v1.10.12 di Amazon MWAA dan Operator Bash aktif GitHub