Perbarui lingkungan Amazon MWAA - Amazon Managed Workflows for Apache Airflow (MWAA)
Sebelum Anda mulaiStrategi penggantian pekerjaPerbarui sumber daya lingkunganPerbarui lingkungan

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Perbarui lingkungan Amazon MWAA

catatan

Pembaruan Amazon MWAA yang anggun belum didukung di wilayah Kanada Barat (Calgary) dan Asia Pasifik (Malaysia).

Pembaruan lingkungan Amazon MWAA menerapkan perubahan terbaru dan tambalan keamanan. Anda juga dapat mengedit konfigurasi yang ada dan meningkatkan versi Apache Airflow. Panduan ini menjelaskan langkah-langkah untuk memperbarui lingkungan Amazon MWAA.

Sebelum Anda mulai

  • Jaringan VPC yang Anda tentukan untuk lingkungan Anda tidak dapat dimodifikasi setelah lingkungan dibuat.

  • Anda memerlukan bucket Amazon S3 yang dikonfigurasi untuk Memblokir semua akses publik, dengan Pembuatan Versi Bucket diaktifkan.

  • Anda memerlukan AWS akun dengan izin untuk menggunakan Amazon MWAA, dan izin di AWS Identity and Access Management (IAM) untuk membuat peran IAM. Jika Anda memilih mode akses jaringan pribadi untuk server web Apache Airflow, yang membatasi akses Apache Airflow dalam VPC Amazon Anda, Anda memerlukan izin di IAM untuk membuat titik akhir Amazon VPC.

  • Untuk mengaktifkan pembaruan lingkungan Anggun, Anda perlu meningkatkan ke Apache Airflow versi 2.4.3 atau lebih tinggi. Untuk memutakhirkan versi Airflow, lihatMemutakhirkan versi Apache Airflow.

Strategi penggantian pekerja

Anda dapat memilih strategi penggantian pekerja untuk mengontrol cara Amazon MWAA menangani pekerja aktif selama pembaruan lingkungan. Anda dapat memilih salah satu strategi berikut:

Pembaruan paksa

Pembaruan paksa adalah strategi penggantian pekerja default. Pembaruan paksa segera menghentikan semua pekerja aktif, menyebabkan tugas yang berjalan gagal selama pembaruan.

Pembaruan yang anggun

Pembaruan yang anggun memungkinkan pekerja untuk terus menjalankan tugas hingga 12 jam sebelum dimatikan. Ini mencegah tugas gagal karena gangguan pembaruan, selama mereka selesai di bawah 12 jam. Tugas baru diarahkan ke pekerja yang diperbarui.

Untuk mengaktifkan pembaruan Anggun pada lingkungan yang ada, Anda harus menyelesaikannya Pembaruan paksa dan memastikan lingkungan ada di Apache Airflow versi 2.4.3 atau lebih tinggi.

catatan

Jika Anda melakukan pembaruan saat lingkungan Anda dalam MAINTENANCE status, strategi penggantian pekerja untuk setiap pembaruan lingkungan yang sedang berlangsung akan beralih dari GRACEFUL keFORCED. Pembaruan Anda dilakukan setelah pemeliharaan selesai.

Perbarui sumber daya lingkungan

Pembaruan lingkungan Amazon MWAA menggunakan konfigurasi lingkungan yang ada secara default. Untuk memperbarui lingkungan tanpa mengubah konfigurasi Anda saat ini:

  1. Buka halaman Lingkungan di konsol Amazon MWAA.

  2. Dari daftar Lingkungan, pilih lingkungan yang ingin Anda perbarui.

  3. Pada halaman lingkungan, pilih Edit untuk mengedit lingkungan.

  4. Pilih Berikutnya sampai Anda berada di halaman Review dan save.

  5. Pada halaman Tinjau dan simpan, tinjau perubahan Anda, lalu pilih Simpan.

Perbarui lingkungan

Bagian berikut menjelaskan langkah-langkah untuk memperbarui lingkungan Amazon MWAA.

Langkah satu: Tentukan detail

Untuk menentukan detail untuk lingkungan

  1. Buka halaman Lingkungan di konsol Amazon MWAA.

  2. Dari daftar Lingkungan, pilih lingkungan yang ingin Anda perbarui.

  3. Pada halaman lingkungan, pilih Edit untuk mengedit lingkungan.

  4. Di bagian Detail lingkungan, untuk versi Airflow, pilih nomor versi Apache Airflow baru yang ingin Anda tingkatkan lingkungan dari daftar tarik-turun.

    catatan

    Sebelum Anda meningkatkan, pastikan bahwa sumber daya alur kerja Anda DAGs dan lainnya kompatibel dengan versi Apache Airflow yang baru. Untuk informasi selengkapnya, lihat Memutakhirkan versi Apache Airflow.

  5. Di bawah kode DAG di Amazon S3 tentukan yang berikut:

    1. Ember S3. Pilih Jelajahi S3 dan pilih bucket Amazon S3 Anda, atau masukkan URI Amazon S3.

    2. DAGs folder. Pilih Jelajahi S3 dan pilih dags folder di bucket Amazon S3 Anda, atau masukkan URI Amazon S3.

    3. File plugin - opsional. Pilih Jelajahi S3 dan pilih plugins.zip file di bucket Amazon S3 Anda, atau masukkan URI Amazon S3.

    4. File persyaratan - opsional. Pilih Jelajahi S3 dan pilih requirements.txt file di bucket Amazon S3 Anda, atau masukkan URI Amazon S3.

    5. File skrip startup - opsional, Pilih Browse S3 dan pilih file skrip di bucket Amazon S3 Anda, atau masukkan URI Amazon S3.

  6. Pilih Berikutnya.

Langkah kedua: Konfigurasikan pengaturan lanjutan

Untuk mengonfigurasi pengaturan lanjutan

  1. Di bawah akses server Web, pilih mode akses Apache Airflow pilihan Anda:

    1. Jaringan pribadi. Ini membatasi akses Apache Airflow UI ke pengguna dalam VPC Amazon Anda yang telah diberikan akses ke kebijakan IAM untuk lingkungan Anda. Anda memerlukan izin untuk membuat titik akhir Amazon VPC untuk langkah ini.

      catatan

      Pilih opsi Jaringan pribadi jika UI Apache Airflow Anda hanya diakses dalam jaringan perusahaan, dan Anda tidak memerlukan akses ke repositori publik untuk instalasi persyaratan server web. Jika Anda memilih opsi mode akses ini, Anda perlu membuat mekanisme untuk mengakses server Web Apache Airflow Anda di VPC Amazon Anda. Untuk informasi selengkapnya, lihat Mengakses titik akhir VPC untuk server Web Apache Airflow Anda (akses jaringan pribadi).

    2. Jaringan publik. Hal ini memungkinkan Apache Airflow UI untuk diakses melalui Internet oleh pengguna yang diberikan akses ke kebijakan IAM untuk lingkungan Anda.

  2. Di bawah Grup keamanan, pilih grup keamanan yang digunakan untuk mengamankan VPC Amazon Anda:

    1. Secara default, Amazon MWAA membuat grup keamanan di VPC Amazon Anda dengan aturan masuk dan keluar tertentu di Buat grup keamanan baru.

    2. Opsional. Hapus centang kotak di Buat grup keamanan baru untuk memilih hingga 5 grup keamanan.

      catatan

      Grup keamanan Amazon VPC yang ada harus dikonfigurasi dengan aturan masuk dan keluar tertentu untuk memungkinkan lalu lintas jaringan. Untuk mempelajari selengkapnya, lihat Keamanan di VPC Anda di Amazon MWAA.

  3. Di bawah kelas Lingkungan, pilih kelas lingkungan.

    Sebaiknya pilih ukuran terkecil yang diperlukan untuk mendukung beban kerja Anda. Anda dapat mengubah kelas lingkungan kapan saja.

  4. Untuk jumlah pekerja maksimum, tentukan jumlah maksimum pekerja Apache Airflow untuk dijalankan di lingkungan.

    Untuk informasi selengkapnya, lihat Contoh kasus penggunaan kinerja tinggi.

  5. Tentukan jumlah server web maksimum dan Jumlah server web minimum untuk mengonfigurasi cara Amazon MWAA menskalakan server web Apache Airflow di lingkungan Anda.

    Untuk informasi selengkapnya tentang penskalaan otomatis server web, lihatMengkonfigurasi penskalaan otomatis server web Amazon MWAA.

  6. Di bawah Enkripsi, pilih opsi enkripsi data:

    1. Secara default, Amazon MWAA menggunakan kunci yang AWS dimiliki untuk mengenkripsi data Anda.

    2. Opsional. Pilih Sesuaikan pengaturan enkripsi (lanjutan) untuk memilih AWS KMS kunci yang berbeda. Jika Anda memilih untuk menentukan kunci yang dikelola Pelanggan dalam langkah ini, Anda harus menentukan ID AWS KMS kunci atau ARN. AWS KMS alias dan kunci multi-wilayah tidak didukung oleh Amazon MWAA. Jika Anda menentukan kunci Amazon S3 untuk enkripsi sisi server di bucket Amazon S3, Anda harus menentukan kunci yang sama untuk lingkungan Amazon MWAA Anda.

      catatan

      Anda harus memiliki izin untuk kunci untuk memilihnya di konsol Amazon MWAA. Anda juga harus memberikan izin kepada Amazon MWAA untuk menggunakan kunci tersebut dengan melampirkan kebijakan yang dijelaskan di dalamnya. Lampirkan kebijakan kunci

  7. Direkomendasikan. Di bawah Monitoring, pilih satu atau beberapa kategori log untuk konfigurasi pencatatan Aliran Udara untuk mengirim log Apache Airflow ke Log: CloudWatch

    1. Log tugas aliran udara. Pilih jenis log tugas Apache Airflow untuk dikirim ke tingkat CloudWatch Log di Log.

    2. Log server web aliran udara. Pilih jenis log server web Apache Airflow untuk dikirim ke tingkat CloudWatch Log di Log.

    3. Log penjadwal aliran udara. Pilih jenis log penjadwal Apache Airflow untuk dikirim ke tingkat Log di CloudWatch Log.

    4. Log pekerja aliran udara. Pilih jenis log pekerja Apache Airflow untuk dikirim ke tingkat CloudWatch Log di Log.

    5. Log pemrosesan DAG aliran udara. Pilih jenis log pemrosesan Apache Airflow DAG untuk dikirim ke tingkat CloudWatch Log di Log.

  8. Opsional. Untuk opsi konfigurasi Aliran Udara, pilih opsi Tambahkan konfigurasi khusus.

    Anda dapat memilih dari daftar dropdown yang disarankan dari opsi konfigurasi Apache Airflow untuk versi Apache Airflow Anda, atau menentukan opsi konfigurasi khusus. Misalnya,core.default_task_retries:3.

  9. Di bawah Izin, pilih peran eksekusi:

    1. Secara default, Amazon MWAA membuat peran eksekusi di Buat peran baru. Anda harus memiliki izin untuk membuat peran IAM untuk menggunakan opsi ini.

    2. Opsional. Pilih Masukkan peran ARN untuk memasukkan Nama Sumber Daya Amazon (ARN) dari peran eksekusi yang ada.

  10. Di bawah Spesifikasi pembaruan, pilih Strategi penggantian pekerja untuk mengontrol cara penanganan pekerja aktif selama pembaruan.

  11. Pilih Berikutnya.

Langkah ketiga: Tinjau dan perbarui

Untuk meninjau ringkasan lingkungan

  • Tinjau ringkasan lingkungan, pilih Simpan.

    catatan

    Dibutuhkan sekitar dua puluh hingga tiga puluh menit untuk memperbarui lingkungan menggunakan pembaruan paksa. Pembaruan lingkungan yang anggun dapat memakan waktu hingga dua belas jam untuk diselesaikan, karena menunggu tugas Anda yang sedang berlangsung selesai.