Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Référence des commandes de la CLI Apache Airflow
Cette page décrit les commandes de la CLI Apache Airflow prises en charge et non prises en charge sur Amazon Managed Workflows pour Apache Airflow.
Table des matières
Prérequis
La section suivante décrit les étapes préliminaires requises pour utiliser les commandes et les scripts de cette page.
Accès
-
AWS accès au compte dans AWS Identity and Access Management (IAM) à la politique d'autorisation Amazon MWAA dans. Politique d'accès à l'interface utilisateur d'Apache Airflow : AmazonMWAA WebServerAccess
-
AWS accès au compte AWS Identity and Access Management (IAM) conformément à la politique d'autorisation Amazon MWAA. Politique complète d'accès à l'API et à la console : AmazonMWAA FullApiAccess
AWS CLI
The AWS Command Line Interface (AWS CLI) est un outil open source qui vous permet d'interagir avec les AWS services à l'aide de commandes dans votre shell de ligne de commande. Pour effectuer les étapes indiquées sur cette page, vous avez besoin des éléments suivants :
Ce qui a changé dans la version 2
-
Nouveau : structure de commande Airflow CLI. La CLI Apache Airflow v2 est organisée de telle sorte que les commandes associées sont regroupées sous forme de sous-commandes, ce qui signifie que vous devez mettre à jour les scripts Apache Airflow v1 si vous souhaitez passer à Apache Airflow v2. Par exemple,
unpausedans Apache Airflow v1, c'est maintenantdags unpausedans Apache Airflow v2. Pour en savoir plus, consultez les modifications apportées à la CLI Airflow en 2 dansle guide de référence d'Apache Airflow.
Commandes CLI prises en charge
La section suivante répertorie les commandes de la CLI Apache Airflow disponibles sur Amazon MWAA.
Commandes prises en charge
Utilisation de commandes qui analysent les DAG
Si votre environnement exécute Apache Airflow v1.10.12 ou v2.0.2, les commandes CLI qui analysent les DAG échoueront si le DAG utilise des plugins qui dépendent de packages installés via un : requirements.txt
Apache Airflow v2.0.2
-
dags backfill -
dags list -
dags list-runs -
dags next-execution
Vous pouvez utiliser ces commandes CLI si vos DAG n'utilisent pas de plugins qui dépendent de packages installés via unrequirements.txt.
Exemple de code
La section suivante contient des exemples de différentes manières d'utiliser la CLI Apache Airflow.
Définir, obtenir ou supprimer une variable Apache Airflow v2
Vous pouvez utiliser l'exemple de code suivant pour définir, obtenir ou supprimer une variable au format de<script> <mwaa env name> get | set | delete <variable> <variable value> </variable> </variable>.
[ $# -eq 0 ] && echo "Usage: $0 MWAA environment name " && exit if [[ $2 == "" ]]; then dag="variables list" elif [ $2 == "get" ] || [ $2 == "delete" ] || [ $2 == "set" ]; then dag="variables $2 $3 $4 $5" else echo "Not a valid command" exit 1 fi CLI_JSON=$(aws mwaa --region $AWS_REGION create-cli-token --name $1) \ && CLI_TOKEN=$(echo $CLI_JSON | jq -r '.CliToken') \ && WEB_SERVER_HOSTNAME=$(echo $CLI_JSON | jq -r '.WebServerHostname') \ && CLI_RESULTS=$(curl --request POST "https://$WEB_SERVER_HOSTNAME/aws_mwaa/cli" \ --header "Authorization: Bearer $CLI_TOKEN" \ --header "Content-Type: text/plain" \ --data-raw "$dag" ) \ && echo "Output:" \ && echo $CLI_RESULTS | jq -r '.stdout' | base64 --decode \ && echo "Errors:" \ && echo $CLI_RESULTS | jq -r '.stderr' | base64 --decode
Ajouter une configuration lors du déclenchement d'un DAG
Vous pouvez utiliser l'exemple de code suivant avec Apache Airflow v1 et Apache Airflow v2 pour ajouter une configuration lors du déclenchement d'un DAG, par exemple. airflow trigger_dag 'dag_name' —conf '{"key":"value"}'
import boto3 import json import requests import base64 mwaa_env_name = 'YOUR_ENVIRONMENT_NAME' dag_name = 'YOUR_DAG_NAME' key = "YOUR_KEY" value = "YOUR_VALUE" conf = "{\"" + key + "\":\"" + value + "\"}" client = boto3.client('mwaa') mwaa_cli_token = client.create_cli_token( Name=mwaa_env_name ) mwaa_auth_token = 'Bearer ' + mwaa_cli_token['CliToken'] mwaa_webserver_hostname = 'https://{0}/aws_mwaa/cli'.format(mwaa_cli_token['WebServerHostname']) raw_data = "trigger_dag {0} -c '{1}'".format(dag_name, conf) mwaa_response = requests.post( mwaa_webserver_hostname, headers={ 'Authorization': mwaa_auth_token, 'Content-Type': 'text/plain' }, data=raw_data ) mwaa_std_err_message = base64.b64decode(mwaa_response.json()['stderr']).decode('utf8') mwaa_std_out_message = base64.b64decode(mwaa_response.json()['stdout']).decode('utf8') print(mwaa_response.status_code) print(mwaa_std_err_message) print(mwaa_std_out_message)
Exécuter des commandes CLI sur un tunnel SSH vers un hôte bastion
L'exemple suivant montre comment exécuter des commandes de la CLI Airflow à l'aide d'un proxy de tunnel SSH vers un hôte Linux Bastion.
Utilisation de curl
-
ssh -D 8080 -f -C -q -NYOUR_USER@YOUR_BASTION_HOST -
curl -x socks5h://0:8080 --request POST https://YOUR_HOST_NAME/aws_mwaa/cli --headerYOUR_HEADERS--data-rawYOUR_CLI_COMMAND
Exemples GitHub et AWS didacticiels
