Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Buat lingkungan Amazon MWAA
Alur Kerja Terkelola Amazon untuk Apache Airflow menyiapkan Apache Airflow di lingkungan dalam versi pilihan Anda menggunakan Apache Airflow sumber terbuka yang sama dan antarmuka pengguna yang tersedia dari Apache. Panduan ini menjelaskan langkah-langkah untuk membuat lingkungan Amazon MWAA.
Daftar Isi
Sebelum Anda mulai
-
Jaringan VPC yang Anda tentukan untuk lingkungan Anda tidak dapat dimodifikasi setelah lingkungan dibuat.
-
Anda memerlukan bucket Amazon S3 yang dikonfigurasi untuk Memblokir semua akses publik, dengan Versi Bucket diaktifkan.
-
Anda memerlukan AWS akun dengan izin untuk menggunakan Amazon MWAA, dan izin di AWS Identity and Access Management (IAM) untuk membuat peran IAM. Jika Anda memilih mode akses jaringan pribadi untuk server web Apache Airflow, yang membatasi akses Apache Airflow dalam VPC Amazon Anda, Anda memerlukan izin di IAM untuk membuat titik akhir Amazon VPC.
Versi Apache Airflow
Versi Apache Airflow berikut didukung di Alur Kerja Terkelola Amazon untuk Apache Airflow.
catatan
-
Dimulai dengan Apache Airflow v2.2.2, Amazon MWAA mendukung penginstalan persyaratan Python, paket penyedia, dan plugin khusus langsung di server web Apache Airflow.
-
Dimulai dengan Apache Airflow v2.7.2, file persyaratan Anda harus menyertakan pernyataan.
--constraintJika Anda tidak memberikan kendala, Amazon MWAA akan menentukan satu untuk Anda untuk memastikan paket yang tercantum dalam persyaratan Anda kompatibel dengan versi Apache Airflow yang Anda gunakan.Untuk informasi selengkapnya tentang pengaturan batasan dalam file persyaratan Anda, lihat Menginstal dependensi Python.
| Versi Apache Airflow | Panduan Aliran Udara Apache | Kendala Aliran Udara Apache | Versi Python |
|---|---|---|---|
Buat lingkungan
Bagian berikut menjelaskan langkah-langkah untuk membuat lingkungan Amazon MWAA.
Langkah satu: Tentukan detail
Untuk menentukan detail untuk lingkungan
-
Buka konsol Amazon MWAA.
-
Gunakan pemilih AWS Wilayah untuk memilih wilayah Anda.
-
Pilih Buat lingkungan.
-
Pada halaman Tentukan detail, di bawah Detail lingkungan:
-
Ketik nama unik untuk lingkungan Anda di Nama.
-
Pilih versi Apache Airflow dalam versi Airflow.
catatan
Jika tidak ada nilai yang ditentukan, default ke versi Airflow terbaru. Versi terbaru yang tersedia adalah Apache Airflow v2.8.1.
-
-
Di bawah kode DAG di Amazon S3 tentukan yang berikut:
-
Ember S3. Pilih Jelajahi S3 dan pilih bucket Amazon S3 Anda, atau masukkan URI Amazon S3.
-
Folder DAGs. Pilih Jelajahi S3 dan pilih
dagsfolder di bucket Amazon S3 Anda, atau masukkan URI Amazon S3. -
File plugin - opsional. Pilih Jelajahi S3 dan pilih
plugins.zipfile di bucket Amazon S3 Anda, atau masukkan URI Amazon S3. -
File persyaratan - opsional. Pilih Jelajahi S3 dan pilih
requirements.txtfile di bucket Amazon S3 Anda, atau masukkan URI Amazon S3. -
File skrip startup - opsional, Pilih Browse S3 dan pilih file skrip di bucket Amazon S3 Anda, atau masukkan URI Amazon S3.
-
-
Pilih Selanjutnya.
Langkah kedua: Konfigurasikan pengaturan lanjutan
Untuk mengonfigurasi pengaturan lanjutan
-
Pada halaman Konfigurasi pengaturan lanjutan, di bawah Jaringan:
-
Pilih Amazon VPC Anda.
Langkah ini mengisi dua subnet pribadi di VPC Amazon Anda.
-
-
Di bawah akses server Web, pilih mode akses Apache Airflow pilihan Anda:
-
Jaringan pribadi. Ini membatasi akses Apache Airflow UI ke pengguna dalam VPC Amazon Anda yang telah diberikan akses ke kebijakan IAM untuk lingkungan Anda. Anda memerlukan izin untuk membuat titik akhir Amazon VPC untuk langkah ini.
catatan
Pilih opsi Jaringan pribadi jika UI Apache Airflow Anda hanya diakses dalam jaringan perusahaan, dan Anda tidak memerlukan akses ke repositori publik untuk instalasi persyaratan server web. Jika Anda memilih opsi mode akses ini, Anda perlu membuat mekanisme untuk mengakses server Web Apache Airflow Anda di VPC Amazon Anda. Untuk informasi selengkapnya, lihat Mengakses titik akhir VPC untuk server Web Apache Airflow Anda (akses jaringan pribadi).
-
Jaringan publik. Hal ini memungkinkan Apache Airflow UI untuk diakses melalui Internet oleh pengguna yang diberikan akses ke kebijakan IAM untuk lingkungan Anda.
-
-
Di bawah Grup keamanan, pilih grup keamanan yang digunakan untuk mengamankan VPC Amazon Anda:
-
Secara default, Amazon MWAA membuat grup keamanan di VPC Amazon Anda dengan aturan masuk dan keluar tertentu di Buat grup keamanan baru.
-
Opsional. Hapus centang kotak di Buat grup keamanan baru untuk memilih hingga 5 grup keamanan.
catatan
Grup keamanan Amazon VPC yang ada harus dikonfigurasi dengan aturan masuk dan keluar tertentu untuk memungkinkan lalu lintas jaringan. Untuk mempelajari selengkapnya, lihat Keamanan di VPC Anda di Amazon MWAA.
-
-
Di bawah kelas Lingkungan, pilih kelas lingkungan.
Sebaiknya pilih ukuran terkecil yang diperlukan untuk mendukung beban kerja Anda. Anda dapat mengubah kelas lingkungan kapan saja.
-
Untuk jumlah pekerja maksimum, tentukan jumlah maksimum pekerja Apache Airflow untuk dijalankan di lingkungan.
Untuk informasi selengkapnya, lihat Contoh kasus penggunaan kinerja tinggi.
-
Tentukan jumlah server web maksimum dan Jumlah server web minimum untuk mengonfigurasi cara Amazon MWAA menskalakan server web Apache Airflow di lingkungan Anda.
Untuk informasi selengkapnya tentang penskalaan otomatis server web, lihatMengkonfigurasi penskalaan otomatis server web Amazon MWAA.
-
Di bawah Enkripsi, pilih opsi enkripsi data:
-
Secara default, Amazon MWAA menggunakan kunci yang AWS dimiliki untuk mengenkripsi data Anda.
-
Opsional. Pilih Sesuaikan pengaturan enkripsi (lanjutan) untuk memilih AWS KMS kunci yang berbeda. Jika Anda memilih untuk menentukan kunci yang dikelola Pelanggan dalam langkah ini, Anda harus menentukan ID AWS KMS kunci atau ARN. AWS KMS alias dan kunci multi-wilayah tidak didukung oleh Amazon MWAA. Jika Anda menentukan kunci Amazon S3 untuk enkripsi sisi server di bucket Amazon S3, Anda harus menentukan kunci yang sama untuk lingkungan Amazon MWAA Anda.
catatan
Anda harus memiliki izin untuk kunci untuk memilihnya di konsol Amazon MWAA. Anda juga harus memberikan izin kepada Amazon MWAA untuk menggunakan kunci dengan melampirkan kebijakan yang dijelaskan di. Lampirkan kebijakan kunci
-
-
Direkomendasikan. Di bawah Monitoring, pilih satu atau beberapa kategori log untuk konfigurasi pencatatan Aliran Udara untuk mengirim log Apache Airflow ke Log: CloudWatch
-
Log tugas aliran udara. Pilih jenis log tugas Apache Airflow untuk dikirim ke tingkat CloudWatch Log di Log.
-
Log server web aliran udara. Pilih jenis log server web Apache Airflow untuk dikirim ke tingkat CloudWatch Log di Log.
-
Log penjadwal aliran udara. Pilih jenis log penjadwal Apache Airflow untuk dikirim ke tingkat Log di CloudWatch Log.
-
Log pekerja aliran udara. Pilih jenis log pekerja Apache Airflow untuk dikirim ke tingkat CloudWatch Log di Log.
-
Log pemrosesan DAG aliran udara. Pilih jenis log pemrosesan Apache Airflow DAG untuk dikirim ke tingkat CloudWatch Log di Log.
-
-
Opsional. Untuk opsi konfigurasi Aliran Udara, pilih opsi Tambahkan konfigurasi khusus.
Anda dapat memilih dari daftar dropdown yang disarankan dari opsi konfigurasi Apache Airflow untuk versi Apache Airflow Anda, atau menentukan opsi konfigurasi khusus. Misalnya,
core.default_task_retries:3. -
Opsional. Di bawah Tag, pilih Tambahkan tag baru untuk mengaitkan tag ke lingkungan Anda. Misalnya,
Environment:Staging. -
Di bawah Izin, pilih peran eksekusi:
-
Secara default, Amazon MWAA membuat peran eksekusi di Buat peran baru. Anda harus memiliki izin untuk membuat peran IAM untuk menggunakan opsi ini.
-
Opsional. Pilih Masukkan peran ARN untuk memasukkan Nama Sumber Daya Amazon (ARN) dari peran eksekusi yang ada.
-
-
Pilih Selanjutnya.
Langkah ketiga: Tinjau dan buat
Untuk meninjau ringkasan lingkungan
-
Tinjau ringkasan lingkungan, pilih Buat lingkungan.
catatan
Dibutuhkan sekitar dua puluh hingga tiga puluh menit untuk menciptakan lingkungan.
