Códigos de ejemplo de Amazon Managed Workflows para Apache Airflow

Esta guía contiene código de ejemplos, incluidos los DAG y complementos personalizados, que puede utilizar en un entorno de Amazon Managed Workflows para Apache Airflow. Para ver más ejemplos del uso de Apache Airflow con servicios de AWS, consulte el directorio de dags en el repositorio GitHub de Apache Airflow.

Muestras

• Uso de un DAG para importar variables en la CLI

• Creación de una conexión SSH mediante SSHOperator

• Uso de una clave secreta en AWS Secrets Manager para una conexión de Apache Airflow Snowflake

• Uso de un DAG para escribir métricas personalizadas en CloudWatch

• Limpieza de bases de datos de Aurora PostgreSQL en un entorno de Amazon MWAA

• Exportación de metadatos del entorno a archivos CSV en Amazon S3

• Uso de una clave secreta en AWS Secrets Manager para una variable de Apache Airflow

• Uso de una clave secreta en AWS Secrets Manager para una conexión de Apache Airflow

• Creación de un complemento personalizado con Oracle

• Cómo cambiar la zona horaria de un DAG en Amazon MWAA

• Actualización de un token de CodeArtifact

• Creación de un complemento personalizado con Apache Hive y Hadoop

• Creación de un complemento personalizado para Apache Airflow PythonVirtualEnvOperator

• Invocación de DAG con una función de Lambda

• Invocación de DAG en diferentes entornos de Amazon MWAA

• Uso de Amazon MWAA con Amazon RDS para Microsoft SQL Server

• Uso de imágenes de Amazon ECR con Amazon EKS

• Conexión a Amazon ECS mediante el ECSOperator

• Uso de dbt con Amazon MWAA

• Blogs y tutoriales de AWS

Blogs y tutoriales de AWS

• Uso de Amazon EKS y Amazon MWAA for Apache Airflow v2.x