Amazon Managed Workflows for Apache Airflow

Topik ini menjelaskan masalah dan kesalahan umum yang mungkin Anda alami saat menggunakan Apache Airflow di Alur Kerja Terkelola Amazon untuk Apache Airflow dan langkah-langkah yang disarankan untuk mengatasi kesalahan ini.

Daftar Isi

• Pemecahan masalah: DAG, Operator, Koneksi, dan masalah lainnya di Apache Airflow v2
  • Koneksi
    • Saya tidak dapat terhubung ke Secrets Manager
    • Bagaimana cara mengonfigurasi kondisi manajersecretsmanager:ResourceTag/<tag-key> rahasia atau pembatasan sumber daya dalam kebijakan peran eksekusi saya?
    • Saya tidak dapat terhubung ke Snowflake
    • Saya tidak dapat melihat koneksi saya di UI Aliran Udara
  • Server web
    • Saya melihat kesalahan 5xx mengakses server web
    • Saya melihat kesalahan 'Penjadwal tidak tampak berjalan'
  • Tugas
    • Saya melihat tugas saya macet atau tidak menyelesaikan
  • CLI
    • Saya melihat kesalahan '503' saat memicu DAG di CLI
    • Mengapa perintahdags backfill Apache Airflow CLI gagal? Apakah ada solusi?
  • Operator
    • Saya menerimaPermissionError: [Errno 13] Permission denied kesalahan menggunakan operator S3Transform
• Pemecahan masalah: DAG, Operator, Koneksi, dan masalah lainnya di Apache Airflow v1
  • Memperbarui requirements.txt
    • Menambahkanapache-airflow-providers-amazon menyebabkan lingkungan saya gagal
  • DAG yang rusak
    • Saya menerima kesalahan 'Broken DAG' saat menggunakan operator Amazon DynamoDB
    • Saya menerima kesalahan 'Broken DAG: Tidak ada modul bernama psycopg2'
    • Saya menerima kesalahan 'Broken DAG' saat menggunakan operator Slack
    • Saya menerima berbagai kesalahan saat menginstal Google/GCP/BigQuery
    • Saya menerima kesalahan 'Broken DAG: Tidak ada modul bernama Cython'
  • Operator
    • Saya menerima kesalahan menggunakanBigQuery operator
  • Koneksi
    • Saya tidak dapat terhubung ke Snowflake
    • Saya tidak dapat terhubung ke Secrets Manager
    • Saya tidak dapat terhubung ke server MySQL saya di <DB-identifier-name>'.cluster-id. <region>.rds.amazonaws.com'
  • Server web
    • Saya menggunakanBigQueryOperator dan itu menyebabkan server web saya mogok
    • Saya melihat kesalahan 5xx mengakses server web
    • Saya melihat kesalahan 'Penjadwal tidak tampak berjalan'
  • Tugas
    • Saya melihat tugas saya macet atau tidak menyelesaikan
  • CLI
    • Saya melihat kesalahan '503' saat memicu DAG di CLI
• Pemecahan Masalah: Membuat dan memperbarui lingkungan Amazon MWAA
  • Memperbarui requirements.txt
    • Saya menentukan versi baru sayarequirements.txt dan butuh lebih dari 20 menit untuk memperbarui lingkungan saya
  • Plugin
    • Apakah Amazon MWAA mendukung penerapan UI kustom?
    • Saya dapat menerapkan perubahan UI kustom pada pelari lokal Amazon MWAA melalui plugin, namun ketika saya mencoba melakukan hal yang sama di Amazon MWAA, saya tidak melihat perubahan saya atau kesalahan apa pun. Mengapa ini terjadi?
  • Buat ember
    • Saya tidak dapat memilih opsi untuk pengaturan Blokir Public Access S3
  • Buat lingkungan
    • Saya mencoba menciptakan lingkungan dan terjebak dalam keadaan “Membuat”
    • Saya mencoba membuat lingkungan tetapi ini menunjukkan status sebagai “Buat gagal”
    • Saya mencoba memilih VPC dan menerima kesalahan “Kegagalan Jaringan”
    • Saya mencoba membuat lingkungan dan menerima kesalahan layanan, partisi, atau sumber daya “harus dilewati”
    • Saya mencoba membuat lingkungan dan itu menunjukkan status sebagai “Tersedia” tetapi ketika saya mencoba mengakses UI aliran udara, kesalahan “Balas Kosong dari Server” atau “502 Bad Gateway” ditampilkan
    • Saya mencoba untuk menciptakan lingkungan dan nama pengguna saya adalah sekelompok nama karakter acak
  • Perbarui
    • Saya mencoba mengubah kelas lingkungan tetapi pemutakhiran gagal
  • Mengakses
    • Saya tidak dapat mengakses UI Apache Airflow
• Pemecahan masalah: CloudWatch Log dan kesalahan CloudTrail
  • Log
    • Saya tidak dapat melihat log tugas saya, atau saya menerima kesalahan 'Membaca log jarak jauh dari Cloudwatch log_group'
    • Tugas gagal tanpa log
    • Saya melihat kesalahan ResourceAlreadyExistsException '' di CloudTrail
    • Saya melihat kesalahan 'Permintaan tidak valid' di CloudTrail
    • Saya melihat 'Tidak dapat menemukan perpustakaan Klien Oracle 64-bit: “libclntsh.so: tidak dapat membuka file objek bersama: Tidak ada file atau direktori seperti itu' di log Apache Airflow
    • Saya melihat psycopg2 'server menutup koneksi secara tak terduga' di log Scheduler saya
    • Saya melihat 'Executor melaporkan instance tugas %s selesai (%s) meskipun tugas mengatakan %s' dalam log pemrosesan DAG saya
    • Saya melihat 'Tidak dapat membaca log jarak jauh dari log_group: airflow-* {*environmentName} -Task log_stream: * {*DAG_ID} /* {*TASK_ID} /* {*time} /* {*n} .log. ' di log tugas saya