Bekerja dengan koneksi MongoDB dalam pekerjaan ETL

Anda dapat membuat koneksi untuk MongoDB dan kemudian menggunakan koneksi itu di AWS Glue pekerjaan. Untuk informasi lebih lanjut, lihat Koneksi MongoDB di panduan AWS Glue pemrograman. Koneksi url, username dan password disimpan dalam koneksi MongoDB. Pilihan lain dapat ditentukan dalam skrip tugas ETL Anda dengan menggunakan parameter additionalOptions dari glueContext.getCatalogSource. Pilihan lainnya bisa meliputi:

• database: (Wajib) Basis data MongoDB untuk dibaca.

• collection: (Wajib) Kumpulan MongoDB untuk dibaca.

Dengan menempatkan informasi database dan collection dalam skrip tugas ETL, Anda dapat menggunakan koneksi yang sama untuk beberapa tugas.

1. Buat AWS Glue Data Catalog koneksi untuk sumber data MongoDB. Lihat "connectionType": "mongodb" untuk deskripsi parameter koneksi. Anda dapat membuat koneksi menggunakan konsol, APIs atau CLI.

2. Buat database di AWS Glue Data Catalog untuk menyimpan definisi tabel untuk data MongoDB Anda. Untuk informasi selengkapnya, lihat Membuat database.

3. Buat crawler yang melakukan perayapan pada data yang ada dalam MongoDB dengan menggunakan informasi dalam koneksi tersebut untuk connect ke MongoDB. Crawler membuat tabel di AWS Glue Data Catalog yang menggambarkan tabel dalam database MongoDB yang Anda gunakan dalam pekerjaan Anda. Untuk informasi selengkapnya, lihat Menggunakan crawler untuk mengisi Katalog Data .

4. Buat tugas dengan sebuah skrip kustom. Anda dapat membuat pekerjaan menggunakan konsol, APIs atau CLI. Untuk informasi selengkapnya, lihat Menambahkan Lowongan di AWS Glue.

5. Pilih target data untuk tugas Anda. Tabel yang mewakili target data dapat didefinisikan dalam Katalog Data Anda, atau tugas Anda dapat membuat tabel target ketika ia berjalan. Anda memilih lokasi target ketika Anda menulis tugas. Jika target memerlukan sebuah koneksi, maka koneksi tersebut juga direferensikan dalam tugas Anda. Jika tugas Anda memerlukan beberapa target data, maka Anda dapat menambahkannya nanti dengan mengedit skrip.

6. Sesuaikan lingkungan pemrosesan tugas dengan memberikan argumen untuk tugas Anda dan skrip yang dihasilkan.

   Berikut adalah contoh membuat DynamicFrame dari basis data MongoDB berdasarkan struktur tabel yang ditentukan dalam Katalog Data. Kode menggunakan additionalOptions untuk memberikan informasi sumber data tambahan:

   Scala

   val resultFrame: DynamicFrame = glueContext.getCatalogSource(
           database = catalogDB, 
           tableName = catalogTable, 
           additionalOptions = JsonOptions(Map("database" -> DATABASE_NAME, 
                   "collection" -> COLLECTION_NAME))
         ).getDynamicFrame()

   Python

   glue_context.create_dynamic_frame_from_catalog(
           database = catalogDB,
           table_name = catalogTable,
           additional_options = {"database":"database_name", 
               "collection":"collection_name"}) 

7. Jalankan tugas, baik sesuai permintaan atau melalui pemicu.