Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Arsitektur jaringan Amazon MWAA
Bagian berikut menjelaskan komponen utama yang membentuk lingkungan Amazon MWAA, dan rangkaian AWS layanan yang diintegrasikan oleh setiap lingkungan untuk mengelola sumber dayanya, menjaga data Anda tetap aman, dan menyediakan pemantauan dan visibilitas untuk alur kerja Anda.
Komponen Amazon MWAA
Lingkungan Amazon MWAA terdiri dari empat komponen utama berikut:
-
Scheduler - Mem-parsing dan memantau semua DAG Anda, dan mengantri tugas untuk dieksekusi ketika dependensi DAG terpenuhi. Amazon MWAA menyebarkan penjadwal sebagai AWS Fargate cluster dengan minimal 2 penjadwal. Anda dapat meningkatkan jumlah penjadwal hingga lima, tergantung pada beban kerja Anda. Untuk informasi selengkapnya tentang kelas lingkungan Amazon MWAA, lihat kelas lingkungan Amazon MWAA.
-
Pekerja — Satu atau lebih tugas Fargate yang menjalankan tugas terjadwal Anda. Jumlah pekerja untuk lingkungan Anda ditentukan oleh rentang antara jumlah minimum dan maksimum yang Anda tentukan. Amazon MWAA memulai auto-scaling worker ketika jumlah tugas yang diantrian dan berjalan lebih dari yang dapat ditangani oleh pekerja Anda yang ada. Saat menjalankan dan mengantri tugas berjumlah nol selama lebih dari dua menit, Amazon MWAA mengurangi jumlah pekerja ke minimum. Untuk informasi selengkapnya tentang cara Amazon MWAA menangani pekerja auto-scaling, lihat penskalaan otomatis Amazon MWAA.
-
Server web - Menjalankan UI web Apache Airflow. Anda dapat mengkonfigurasi server web dengan akses jaringan pribadi atau publik. Dalam kedua kasus tersebut, akses ke pengguna Apache Airflow Anda dikendalikan oleh kebijakan kontrol akses yang Anda tentukan AWS Identity and Access Management (IAM). Untuk informasi selengkapnya tentang mengonfigurasi kebijakan akses IAM untuk lingkungan Anda, lihat Mengakses lingkungan Amazon MWAA.
-
Database - Menyimpan metadata tentang lingkungan Apache Airflow dan alur kerja Anda, termasuk riwayat run DAG. Basis data adalah database Aurora PostgreSQL penyewa tunggal yang dikelola oleh, AWS dan dapat diakses oleh kontainer Fargate Scheduler dan Pekerja melalui titik akhir Amazon VPC yang diamankan secara pribadi.
Setiap lingkungan Amazon MWAA juga berinteraksi dengan serangkaian AWS layanan untuk menangani berbagai tugas, termasuk menyimpan dan mengakses DAG dan dependensi tugas, mengamankan data Anda saat istirahat, dan mencatat dan memantau lingkungan Anda. Diagram berikut menunjukkan komponen yang berbeda dari lingkungan Amazon MWAA.
catatan
Layanan Amazon VPC bukan VPC bersama. Amazon MWAA menciptakan AWS VPC milik untuk setiap lingkungan yang Anda buat.
-
Amazon S3 - Amazon MWAA menyimpan semua sumber daya alur kerja Anda, seperti DAG, persyaratan, dan file plugin di bucket Amazon S3. Untuk informasi selengkapnya tentang membuat bucket sebagai bagian dari pembuatan lingkungan, dan mengunggah resource Amazon MWAA, lihat Membuat bucket Amazon S3 untuk Amazon MWAA di Panduan Pengguna Amazon MWAA.
-
Amazon SQS — Amazon MWAA menggunakan Amazon SQS untuk mengantri tugas alur kerja Anda dengan pelaksana Seledri.
-
Amazon ECR — Amazon ECR menampung semua gambar Apache Airflow. Amazon MWAA hanya mendukung gambar Apache Airflow yang AWS dikelola.
-
AWS KMS— Amazon MWAA menggunakan AWS KMS untuk memastikan data Anda aman saat istirahat. Secara default, Amazon MWAA menggunakan AWS KMSkunci AWS terkelola, tetapi Anda dapat mengonfigurasi lingkungan Anda untuk menggunakan kunci yang dikelola pelanggan AWS KMS Anda sendiri. Untuk informasi selengkapnya tentang menggunakan kunci yang dikelola pelanggan Anda sendiri, lihat AWS KMS Kunci yang dikelola pelanggan untuk Enkripsi Data di Panduan Pengguna Amazon MWAA.
-
CloudWatch- Amazon MWAA terintegrasi dengan CloudWatch dan mengirimkan log Apache Airflow dan metrik lingkungan CloudWatch, memungkinkan Anda memantau sumber daya Amazon MWAA Anda dan memecahkan masalah.
Konektivitas
Lingkungan Amazon MWAA Anda membutuhkan akses ke semua AWS layanan yang terintegrasi dengannya. Peran eksekusi Amazon MWAA mengontrol bagaimana akses diberikan ke Amazon MWAA untuk terhubung ke AWS layanan lain atas nama Anda. Untuk konektivitas jaringan, Anda dapat menyediakan akses internet publik ke VPC Amazon atau membuat titik akhir Amazon VPC. Untuk informasi selengkapnya tentang mengonfigurasi titik akhir Amazon VPC AWS PrivateLink () untuk lingkungan Anda, lihat Mengelola akses ke titik akhir VPC di Amazon MWAA di Panduan Pengguna Amazon MWAA.
Amazon MWAA menginstal persyaratan pada penjadwal dan pekerja. Jika kebutuhan Anda bersumber dari PyPi.whlfile sebagai plugin khusus untuk lingkungan Anda.
Saat Anda mengonfigurasi Apache Airflow dalam mode pribadi, UI Apache Airflow hanya dapat diakses oleh VPC Amazon Anda melalui titik akhir Amazon VPC.
Untuk informasi selengkapnya tentang jaringan, lihat Jaringan di Panduan Pengguna Amazon MWAA.
