View a markdown version of this page

AWS model tanggung jawab bersama untuk Amazon MWAA - Amazon Managed Workflows for Apache Airflow
Infrastruktur yang AWS mengurusKode alur kerja dan konten yang Anda kelolaKeunggulan operasional yang Anda kelolaKonfigurasi dan akses yang Anda kelolaSumber daya terkait

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

AWS model tanggung jawab bersama untuk Amazon MWAA

Panduan ini berlaku untuk lingkungan Amazon MWAA Provisioned. Di lingkungan yang disediakan, Anda memilih kelas lingkungan dan mengonfigurasi batas penskalaan pekerja dan server web.

Keamanan dan kepatuhan adalah tanggung jawab bersama AWS antara Anda. Model tanggung jawab bersama mendeskripsikannya sebagai keamanan dari cloud dan keamanan dalam cloud. Untuk Amazon MWAA, model ini melampaui keamanan menjadi tanggung jawab operasional. Kami mengoperasikan, mengelola, dan mengendalikan komponen yang mendasarinya. Ini berkisar dari sistem operasi host dan lapisan virtualisasi hingga keamanan fisik fasilitas di mana layanan beroperasi.

Anda bertanggung jawab untuk mengelola konten yang Anda terapkan ke lingkungan Anda. Di Amazon MWAA, konten tersebut menyertakan kode DAG Anda dan Python dependensi yang Anda deklarasikan. requirements.txt Ini juga termasuk plugin kustom Anda dan skrip startup apa pun yang Anda berikan. Tanggung jawab Anda mencakup konfigurasi, jaringan, dan izin yang Anda pilih. Anda juga bertanggung jawab atas operasi sehari-hari alur kerja yang berjalan di lingkungan. Amazon MWAA menjalankan konten yang Anda berikan saat Anda menyediakannya. Amazon MWAA tidak memeriksa, memvalidasi, atau memodifikasinya.

catatan

Meskipun AWS mengoperasikan infrastruktur untuk lingkungan Anda, data yang ditulis alur kerja Anda ke database metadata secara langsung memengaruhi kinerja layanan. Pertumbuhan metadata tanpa batas dapat menurunkan waktu respons penjadwal dan server web. Anda bertanggung jawab untuk mengelola volume data di lingkungan Anda.

Infrastruktur yang AWS mengurus

Kami bertanggung jawab untuk melindungi infrastruktur yang menjalankan AWS layanan di AWS Cloud. Untuk Amazon MWAA, ini termasuk yang berikut:

  • Pengaturan Apache Airflow — Amazon MWAA mengatur Apache Airflow untuk Anda. Ini menggunakan antarmuka pengguna Apache Airflow yang sama dan kode sumber terbuka yang tersedia di internet. Untuk informasi selengkapnya, lihat Apa itu Alur Kerja Terkelola Amazon untuk Apache Airflow?.

  • Komputasi untuk komponen terkelola — Amazon MWAA menyediakan dan mengoperasikan AWS Fargate komputasi untuk lingkungan Anda. Komputasi ini menjalankan penjadwal Apache Airflow, pekerja, dan server web. Amazon MWAA juga menyediakan dan mengoperasikan database metadata Apache Airflow. Untuk setiap lingkungan, Amazon MWAA membuat Amazon VPC AWS milik yang menghosting server web dan database metadata. Penjadwal dan pekerja terhubung ke subnet pribadi di Amazon VPC untuk lingkungan Anda, yang Anda miliki dan konfigurasikan. Untuk informasi selengkapnya, lihat Jelajahi arsitektur jaringan Amazon MWAA di Panduan Migrasi Amazon MWAA.

  • Database metadata Apache Airflow — Amazon MWAA menyediakan dan mengoperasikan database metadata Apache Airflow untuk setiap lingkungan. Anda tetap bertanggung jawab atas volume data yang ditulis alur kerja Anda. Untuk informasi selengkapnya, lihat Keunggulan operasional yang Anda kelola.

  • Gambar versi dan tambalan — Amazon MWAA membuat gambar kontainer yang menggabungkan rilis Apache Airflow dengan binari dan pustaka umum lainnya. Python Amazon MWAA menambal gambar-gambar itu. Lingkungan terus menggunakan versi gambar yang ditentukan sampai Anda mengeluarkan tindakan lingkungan pembaruan untuk memindahkannya ke versi yang lebih baru. Untuk informasi selengkapnya, lihat Tentang versi Amazon MWAA. Definisi gambar tersedia di repositori amazon-mwaa-doc ker-images di situs web. GitHub

  • Siklus hidup dukungan versi — Amazon MWAA menerbitkan ketersediaan dan tanggal akhir dukungan untuk setiap versi Apache Airflow. Amazon MWAA memberi tahu Anda Dasbor Health saat lingkungan di akun Anda menjalankan versi yang mendekati akhir dukungan. Untuk komitmen dan tanggal dukungan saat ini, lihatEnd-of-support versi.

  • Penskalaan otomatis komponen terkelola — Amazon MWAA menskalakan pekerja dan server web sebagai respons terhadap permintaan. Penskalaan tetap dalam batas yang Anda konfigurasikan. Anda memilih kelas lingkungan, pengaturan penskalaan pekerja dan server web, dan jumlah penjadwal. Lihat informasi selengkapnya di Mengkonfigurasi penskalaan otomatis pekerja Amazon MWAA, Mengkonfigurasi penskalaan otomatis server web Amazon MWAA, dan Mengkonfigurasi kelas lingkungan Amazon MWAA.

  • Enkripsi data — Amazon MWAA mengenkripsi data Anda saat istirahat dan dalam perjalanan. Amazon MWAA juga melampirkan hibah yang diperlukan ke kunci KMS yang dikelola pelanggan atas nama Anda. Untuk informasi selengkapnya, lihat Perlindungan Data di Alur Kerja Terkelola Amazon untuk Apache Airflow.

  • Metrik dan log — Amazon MWAA menerbitkan metrik lingkungan ke Amazon CloudWatch. Amazon MWAA mengirimkan log Apache Airflow ke CloudWatch Log untuk jenis log yang Anda aktifkan. Untuk informasi selengkapnya, lihat Ikhtisar pemantauan di Amazon MWAA.

  • Program kepatuhan — Third-party auditor secara teratur menguji dan memverifikasi efektivitas AWS keamanan. Untuk informasi selengkapnya, lihat Validasi Kepatuhan untuk Alur Kerja Terkelola Amazon untuk Apache Airflow.

Kode alur kerja dan konten yang Anda kelola

Anda bertanggung jawab untuk menjaga kontrol atas konten yang Anda host di infrastruktur ini. Konten ini mencakup yang berikut:

  • Kode DAG — Definisi DAG yang Anda salin ke dags folder di bucket Amazon S3 Anda. Anda bertanggung jawab atas apa yang diakses oleh DAG tersebut dan operasi yang mereka lakukan. Untuk informasi selengkapnya, lihat Menambahkan atau memperbarui DAGs.

  • Pythondependensi — Pustaka yang Anda instal dengan mengunggah requirements.txt file ke bucket Amazon S3 Anda. Ini termasuk keamanan dan kompatibilitas setiap paket yang dibutuhkan alur kerja Anda. Paket yang tidak kompatibel atau padat sumber daya dapat menurunkan kinerja penjadwal dan pekerja atau mencegah kontainer dimulai. Untuk informasi selengkapnya, lihat Menginstal dependensi Python dan Mengelola dependensi Python di requirements.txt.

  • Plugin khusus — Isi plugins.zip file yang Anda unggah ke bucket Amazon S3 Anda. Sebaiknya verifikasi isi file sebelum Anda mengunggahnya. Untuk informasi selengkapnya, lihat Menginstal plugin kustom.

  • Skrip startup — Skrip shell yang dijalankan Amazon MWAA pada setiap komponen saat startup. Anda juga menentukan ID versi Amazon S3 untuk skrip. Untuk informasi selengkapnya, lihat Menggunakan skrip startup dengan Amazon MWAA.

  • Pengujian — Memvalidasi DAG, plugin khusus, dan Python dependensi sebelum Anda menyebarkannya ke lingkungan. Sebaiknya Anda menguji peningkatan versi Apache Airflow di lingkungan pengembangan sebelum Anda menerapkannya ke produksi. Anda dapat menggunakan gambar wadah amazon-mwaa-docker-images di situs web untuk mengembangkan dan menguji secara GitHub lokal.

  • Bucket Amazon S3 Anda dan isinya — Kebijakan bucket dan ACL objek untuk bucket yang terkait dengan lingkungan Anda. Amazon MWAA tidak membuat cadangan isi bucket atas nama Anda. Sebaiknya aktifkan pembuatan versi dan konfigurasi replikasi lintas wilayah jika DAG, plugin, dan file persyaratan memerlukan postur pemulihan bencana. Kami juga menyarankan agar Anda tidak menyimpan benda lain di ember atau menggunakan bucket dengan layanan lain.

  • Data yang Anda masukkan — Kami sangat menyarankan agar Anda tidak memasukkan informasi rahasia atau sensitif ke dalam tag atau bidang bentuk bebas seperti bidang Nama.

Keunggulan operasional yang Anda kelola

Amazon MWAA mengoperasikan infrastruktur yang dikelola. Anda tetap bertanggung jawab atas alur kerja yang berjalan pada infrastruktur tersebut. Kode, dependensi, dan konfigurasi yang Anda terapkan menentukan kinerja lingkungan Anda. Amazon MWAA menerbitkan metrik dan log yang menggambarkan kesehatan lingkungan. Menafsirkan data itu, mengatur alarm di atasnya, dan bertindak berdasarkan apa yang dilaporkannya adalah tanggung jawab Anda.

  • Memantau kesehatan lingkungan — Meninjau CloudWatch metrik yang diterbitkan Amazon MWAA untuk lingkungan Anda. Ini termasuk metrik wadah, antrian, dan database yang membantu Anda mendeteksi saturasi dan degradasi. Untuk informasi selengkapnya, lihat Pemantauan dan metrik untuk Alur Kerja Terkelola Amazon untuk Apache Airflow dan Metrik kontainer, antrian, dan database untuk Amazon MWAA.

  • Dasbor dan alarm — Membuat CloudWatch dasbor dan alarm yang memberi tahu Anda ketika lingkungan Anda mendekati batasnya. Untuk informasi selengkapnya, lihat Memantau dasbor dan alarm di Amazon MWAA.

  • Analisis log — Mengaktifkan jenis log Apache Airflow yang Anda butuhkan. Anda kemudian menganalisis penjadwal, pekerja, server web, dan log tugas untuk mendiagnosis kegagalan alur kerja. Untuk informasi selengkapnya, lihat Mengakses log Aliran Udara di Amazon CloudWatch dan Pemecahan masalah: CloudWatch Log dan CloudTrail kesalahan.

  • CloudWatch kuota layanan — Memastikan bahwa ku CloudWatch ota di akun Anda dapat menangani volume log yang dihasilkan lingkungan Anda. Mele CloudWatch bihi kuota Log seperti CreateLogStream dapat menyebabkan degradasi pekerja. Untuk informasi selengkapnya, lihat CloudWatch Kuota log.

  • Pemeliharaan database metadata — Menjaga agar database metadata Apache Airflow tetap ringan. Secara teratur menghapus metadata yang tidak lagi dibutuhkan alur kerja Anda. Database metadata yang tidak terbatas dapat menurunkan kinerja penjadwal dan server web. Untuk informasi selengkapnya, lihat Pembersihan database Aurora PostgreSQL di lingkungan Amazon MWAA.

  • Desain DAG dan frekuensi penjadwalan — Jumlah DAG Anda, tugas per DAG, dan interval jadwal secara langsung menentukan beban pada penjadwal terkelola. Amazon MWAA tidak membatasi atau menolak beban kerja yang melebihi kapasitas lingkungan. Anda harus merancang DAG agar sesuai dengan sumber daya yang Anda konfigurasikan.

  • Tata kelola sumber daya tugas — Menetapkan batas waktu tingkat tugas, ukuran kumpulan Airflow Apache, dan batas konkurensi per hari. Amazon MWAA tidak memberlakukan pagar pembatas per tugas atas nama Anda. Tanpa pengaturan ini, satu DAG yang berjalan lama atau konkurensi tinggi dapat menghabiskan semua pekerja yang tersedia.

  • Penyetelan kapasitas dan kinerja — Memilih kelas lingkungan, batas penskalaan pekerja dan server web, dan opsi konfigurasi Apache Airflow yang sesuai dengan beban kerja Anda. Penskalaan otomatis beroperasi dalam batas yang Anda konfigurasikan dan tidak mengkompensasi beban kerja yang melebihi kapasitas desain lingkungan. Anda harus menyesuaikan ukuran kelas lingkungan untuk profil beban kerja Anda. Untuk informasi selengkapnya, lihat Penyetelan kinerja untuk Apache Airflow di Amazon MWAA dan Mengkonfigurasi kelas lingkungan Amazon MWAA.

  • Perubahan yang Anda buat melalui skrip startup — Skrip startup berjalan pada setiap komponen di lingkungan Anda. Hal ini dapat mengubah konfigurasi komponen-komponen tersebut. Anda bertanggung jawab atas perubahan yang Anda buat dengan cara ini, termasuk pengaruhnya terhadap stabilitas lingkungan. Sebaiknya Anda menguji skrip startup sebelum Anda menerapkannya ke lingkungan produksi. Untuk informasi selengkapnya, lihat Menggunakan skrip startup dengan Amazon MWAA.

  • Pembaruan lingkungan — Memulai pembaruan lingkungan adalah tindakan Anda. Pembaruan memicu restart wadah dan dapat memengaruhi alur kerja yang sedang berjalan. Anda bertanggung jawab untuk memilih kapan memperbarui dan untuk menilai efeknya pada tugas yang sedang berlangsung. Sebaiknya perbarui selama jendela waktu yang Anda pilih, ketika tidak ada DAG kritis yang berjalan. Untuk memperbarui tanpa menjeda dan menghentikan jeda DAG Anda, pertimbangkan pembaruan anggun, yang memungkinkan pekerja menyelesaikan tugas yang sedang berjalan sebelum dimatikan. Ketentuan dan batasan berlaku; untuk informasi selengkapnya, lihat Memperbarui lingkungan Amazon MWAA.

  • First-level triase — Menggunakan metrik dan log yang tersedia untuk mendiagnosis masalah sebelum Anda melibatkan AWS Dukungan. Tingkat detail yang dapat digunakan AWS Dukungan untuk membantu Anda tergantung pada tingkat pencatatan yang Anda aktifkan untuk lingkungan Anda.

  • Cross-environment orkestrasi — Mengkoordinasikan alur kerja di beberapa lingkungan Amazon MWAA. Jika Anda menggunakan mekanisme seperti Apache Airflow REST API atau sensor eksternal untuk menghubungkan lingkungan, Anda bertanggung jawab atas logika koordinasi itu.

  • Mengikuti praktik terbaik Amazon MWAA - Menerapkan panduan terdokumentasi untuk kinerja, manajemen ketergantungan, dan konfigurasi lingkungan. Untuk informasi selengkapnya, lihat Praktik terbaik untuk Alur Kerja Terkelola Amazon untuk Apache Airflow.

Konfigurasi dan akses yang Anda kelola

Anda memilih bagaimana lingkungan Anda dikonfigurasi dan siapa yang dapat mencapainya. Anda bertanggung jawab atas hal-hal berikut:

  • Menjaga versi Anda tetap terkini — Anda bertanggung jawab untuk menjaga versi Amazon MWAA Anda tetap terkini. Memutakhirkan lingkungan ke versi Apache Airflow yang lebih baru adalah tindakan yang Anda mulai. Untuk informasi selengkapnya, lihat Mengubah versi Apache Airflow dan End-of-support versi.

  • Peran eksekusi — Amazon MWAA tidak dapat menambahkan atau mengedit kebijakan izin pada peran eksekusi yang ada setelah lingkungan dibuat. Anda harus memperbarui peran eksekusi dengan izin tambahan yang dibutuhkan lingkungan Anda. Untuk informasi selengkapnya, lihat Peran eksekusi Amazon MWAA.

  • Kontrol akses IAM — Kebijakan yang menentukan siapa yang dapat mengakses lingkungan Anda dan UI Apache Airflow. Berikan izin hanya untuk sumber daya dan tindakan yang dibutuhkan pengguna. Untuk informasi selengkapnya, lihat AWS Identity and Access Management dan Mengakses lingkungan Amazon MWAA.

  • Hak istimewa pengguna Apache Air flow — Apache Airflow bukan multi-tenant. Penulis DAG dapat menulis DAG yang mengubah hak pengguna Apache Airflow dan berinteraksi dengan database metadata yang mendasarinya. Sebaiknya gunakan lingkungan terpisah untuk tim terpisah yang memiliki akses penulisan DAG. Untuk informasi selengkapnya, lihat Praktik terbaik keamanan di Apache Airflow.

  • Mode akses server web — Memilih PUBLIC_ONLY atau PRIVATE_ONLY untuk akses ke Apache Airflow UI. Ini adalah keputusan keamanan yang menentukan apakah titik akhir server web dapat dijangkau dari internet. Untuk informasi selengkapnya, lihat Keamanan di VPC Anda di Amazon MWAA.

  • Konfigurasi jaringan — Amazon VPC, subnet, grup keamanan, dan ACL jaringan Anda. Ini termasuk aturan masuk dan keluar yang mengarahkan lalu lintas pada gateway NAT Anda. Jika Anda memilih untuk mengelola titik akhir Amazon VPC Anda sendiri, Anda bertanggung jawab untuk membuat titik akhir tersebut. Untuk informasi selengkapnya, lihat Keamanan di VPC Anda di Amazon MWAA dan Mengelola titik akhir Amazon VPC Anda sendiri di Amazon MWAA.

  • Pilihan kunci enkripsi — Apakah menggunakan kunci KMS yang AWS dimiliki atau kunci KMS yang dikelola pelanggan. Jika Anda menggunakan kunci KMS yang dikelola pelanggan, Anda harus melampirkan pernyataan kebijakan yang diperlukan ke kunci tersebut. Untuk informasi selengkapnya, lihat Perlindungan Data di Alur Kerja Terkelola Amazon untuk Apache Airflow.

  • Rahasia dan koneksi — Kredensia yang digunakan alur kerja Anda. Kami merekomendasikan menyimpan rahasia di Manajer Rahasia. Untuk informasi selengkapnya, lihat Mengkonfigurasi koneksi Apache Airflow menggunakan AWS Secrets Manager Rahasia.

  • Opsi konfigurasi Apache Airflow — Opsi konfigurasi yang Anda ganti di lingkungan Anda. Untuk informasi selengkapnya, lihat Menggunakan opsi konfigurasi Apache Airflow di Amazon MWAA.

Sumber daya terkait