Mengkonfigurasi kelas lingkungan Amazon MWAA

Kelas lingkungan yang Anda pilih untuk lingkungan Amazon MWAA menentukan ukuran AWS Fargate container yang AWS dikelola tempat Celery Executor berjalan, dan database metadata Amazon AWS Aurora PostgreSQL yang dikelola tempat penjadwal Apache Airflow membuat instance tugas. Halaman ini menjelaskan setiap kelas lingkungan Amazon MWAA, dan langkah-langkah untuk memperbarui kelas lingkungan di konsol Amazon MWAA.

Kemampuan lingkungan

Bagian berikut berisi tugas default Apache Airflow bersamaan, Random Access Memory (RAM), dan virtual centralized processing unit (vCPUs) untuk setiap kelas lingkungan. Tugas bersamaan yang tercantum mengasumsikan bahwa konkurensi tugas tidak melebihi kapasitas Apache Airflow Worker di lingkungan.

Dalam tabel berikut, kapasitas DAG mengacu pada definisi DAG, bukan eksekusi, dan mengasumsikan bahwa DAG Anda dinamis dalam satu file Python dan ditulis dengan praktik terbaik Apache Airflow.

Eksekusi tugas bergantung pada berapa banyak yang dijadwalkan secara bersamaan, dan mengasumsikan bahwa jumlah DAG berjalan yang diatur untuk memulai pada saat yang sama tidak melebihi default max_dagruns_per_loop_to_schedule, serta ukuran dan jumlah pekerja sebagaimana dirinci dalam topik ini.

mw1.small

• Kapasitas hingga 50 DAG

• 5 tugas bersamaan (secara default)

• 1 vCPU

• RAM 2 GB

mw1.medium

• Kapasitas hingga 200 DAG

• 10 tugas bersamaan (secara default)

• 2 vCPU

• RAM 4 GB

mw1.large

• Kapasitas hingga 1000 DAG

• 20 tugas bersamaan (secara default)

• 4 vCPU

• 8 GB RAM

mw1.xlarge

• Kapasitas hingga 2000 DAG

• 40 tugas bersamaan (secara default)

• 8 vCPU

• RAM 24 GB

mw1.2xlarge

• Kapasitas hingga 4000 DAG

• 80 tugas bersamaan (secara default)

• 16 vCPU

• 48 GB RAM

Anda dapat menggunakan celery.worker_autoscale untuk meningkatkan tugas per pekerja. Untuk informasi selengkapnya, lihat Contoh kasus penggunaan kinerja tinggi.

Penjadwal Aliran Udara Apache

Bagian berikut berisi opsi penjadwal Apache Airflow yang tersedia di Amazon MWAA, dan bagaimana jumlah penjadwal memengaruhi jumlah pemicu.

Di Apache Airflow, pemicu mengelola tugas-tugas yang ditangguhkan sampai kondisi tertentu yang ditentukan menggunakan pemicu telah terpenuhi. Di Amazon MWAA, pemicu berjalan bersama penjadwal pada tugas Fargate yang sama. Meningkatkan jumlah penjadwal juga meningkatkan jumlah pemicu yang tersedia, mengoptimalkan cara lingkungan mengelola tugas yang ditangguhkan. Ini memastikan penanganan tugas yang efisien, segera menjadwalkannya untuk dijalankan ketika kondisi terpenuhi.

Apache Airflow v2

• v2 - Menerima antara 2 ke5. Default ke 2.