Amazon MWAA 的代码示例

本指南包含可在适用于 Apache Airflow 的亚马逊托管工作流程环境中使用的代码示例，包括 DAGs 自定义插件。有关将 Apache Airflow 与 AWS 服务一起使用的更多示例，请参阅 Apache Airflow 存储库中的dags目录。 GitHub

样本

• 使用 DAG 在 CLI 中导入变量

• 使用 SSHOperator 创建 SSH 连接

• 使用密钥进行 Apache Airfl AWS Secrets Manager ow Snowflake 连接

• 使用 DAG 在中写入自定义指标 CloudWatch

• 在 Amazon MWAA 环境中清理 Aurora PostgreSQL 数据库

• 将环境元数据导出到 Amazon S3 上的 CSV 文件

• 在 Apache Airfl AWS Secrets Manager ow 变量中使用密钥

• 使用密钥进行 Apach AWS Secrets Manager e Airflow 连接

• 使用 Oracle 创建自定义插件

• 创建生成运行时环境变量的自定义插件

• 在 Amazon MWAA 上更改 DAG 的时区

• 刷新令 CodeArtifact 牌

• 使用 Apache Hive 和 Hadoop 创建自定义插件

• 为 Apache Airflow 创建自定义插件 PythonVirtualenvOperator

• DAGs 使用 Lambda 函数调用

• DAGs 在不同的 Amazon MWAA 环境中调用

• 将 Amazon RDS for Microsoft SQL Server 与 Amazon MWAA 一起使用

• 使用带有 Amazon EMR 的 Amazon MWAA

• 将 Amazon MWAA 与 Amazon EKS 一起使用

• 使用 ECSOperator 连接 Amazon ECS

• 在 Amazon MWAA 中使用 dbt

• AWS 博客和教程

AWS 博客和教程

• 使用 Amazon EKS 和 Apache Airflow v2.x 的 Amazon MWAA