Amazon MWAA 故障排除

本主题介绍在 Amazon MWAA 上使用 Apache Airflow 时可能遇到的常见问题和错误，以及解决这些错误的推荐步骤。

目录

• 故障排除：Apache Airflow v2 中的 DAG、运算符、连接和其他问题
  • 连接
    • 我无法连接 Secrets Manager
    • 如何在我的执行角色策略中配置 secretsmanager:ResourceTag/<tag-key> Secrets Manager 条件或资源限制？
    • 我无法连接 Snowflake
    • 我无法在 Airflow UI 中看到我的连接
  • Web 服务器
    • 我在访问 Web 服务器时看到 5xx 错误
    • 我看到“计划程序似乎未运行”错误
  • 任务
    • 我看到我的任务卡顿或者没有完成
  • CLI
    • 在 CLI 中触发 DAG 时我看到“503”错误
    • 为什么 dags backfill Apache Airflow CLI 命令会失败？ 是否有解决方法？
  • 运算符
    • 我在使用 S3Transform 运算符时遇到了 PermissionError: [Errno 13] Permission denied 错误
• 故障排除：Apache Airflow v1 中的 DAG、运算符、连接和其他问题
  • 更新 requirements.txt
    • 添加 apache-airflow-providers-amazon 会导致我的环境出现故障
  • DAG 损坏
    • 我在使用 Amazon DynamoDB 运算符时收到了“DAG 损坏”的错误
    • 我收到了“DAG 损坏：没有名为 psycopg2 的模块”的错误
    • 我在使用 Slack 运算符时收到了“DAG 损坏”的错误
    • 我在安装 Google/GCP/BigQuery 时遇到了各种错误
    • 我收到了“DAG 损坏：没有名为 Cython 的模块”的错误
  • 运算符
    • 我在使用 BigQuery 运算符时遇到了错误
  • 连接
    • 我无法连接 Snowflake
    • 我无法连接 Secrets Manager
    • 我无法通过“<DB-identifier-name>.cluster-id.<region>.rds.amazonaws.com”连接到我的 MySQL 服务器。
  • Web 服务器
    • 我正在使用 BigQueryOperator，它导致我的 Web 服务器崩溃
    • 我在访问 Web 服务器时看到 5xx 错误
    • 我看到“计划程序似乎未运行”错误
  • 任务
    • 我看到我的任务卡顿或者没有完成
  • CLI
    • 在 CLI 中触发 DAG 时我看到“503”错误
• 故障排除：创建和更新 Amazon MWAA 环境
  • 更新 requirements.txt
    • 我指定了 requirements.txt 的新版本，更新环境花了 20 多分钟
  • 插件
    • Amazon MWAA 是否支持实现自定义 UI？
    • 我可以通过插件在 Amazon MWAA 本地运行器上实现自定义 UI 更改，但是当我尝试在 Amazon MWAA 上执行同样的操作时，我看不到自己的更改，也看不到任何错误。为什么会发生这种情况？
  • 创建存储桶
    • 我无法选择 S3 阻止公共访问设置的选项
  • 创建环境。
    • 我尝试创建环境，但它一直处于“正在创建”状态
    • 我尝试创建环境，但它的状态显示为“创建失败”
    • 我尝试选择 VPC 但收到“网络故障”错误
    • 我尝试创建环境但收到服务、分区或资源“必须传递”错误
    • 我尝试创建环境，它的状态显示为“可用”，但是当我尝试访问 Airflow UI 时，会显示“来自服务器的空回复”或“502 无效网关”错误
    • 我尝试创建一个环境，我的用户名是一堆随机的字符名称
  • Update environment
    • 我尝试更改环境类，但更新失败了
  • 访问环境
    • 我无法访问 Apache Airflow UI
• 故障排除：CloudWatch Logs 和 CloudTrail 错误
  • 日志
    • 我看不到我的任务日志，或者我收到“从 Cloudwatch log_group 读取远程日志”错误
    • 任务在没有任何日志的情况下失败
    • 我在 CloudTrail 中看到“ResourceAlreadyExistsException”错误
    • 我在 CloudTrail 中看到“请求无效”错误
    • 我在 Apache Airflow 日志中看到 “找不到 64 位 Oracle 客户端库：‘ libclntsh.so’：无法打开共享对象文件：没有这样的文件或目录”
    • 我在我的计划程序日志中看到 psycopg2 “服务器意外关闭了连接”
    • 我在我的 DAG 处理日志中看到“执行程序报告任务实例 %s 已完成（%s），尽管任务显示已完成 %s”
    • 我看到“无法从 log_group 中读取远程日志：airflow-* {*EnvironmentName}-Task log_stream：* {*DAG_ID} /* {*time} /* {*n} .log。” 在我的任务日志中