Streaming data dari IBM Db2, SAP, Sybase, dan database lainnya ke MongoDB Atlas AWS - AWS Prescriptive Guidance

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Streaming data dari IBM Db2, SAP, Sybase, dan database lainnya ke MongoDB Atlas AWS

Battulga Purevragchaa dan Igor Alekseev, Amazon Web Services

Babu Srinivasan, MongoDB

Ringkasan

Pola ini menjelaskan langkah-langkah untuk memigrasikan data dari IBM Db2 dan database lain seperti database mainframe dan Sybase ke MongoDB Atlas di file. AWS Cloud Ini digunakan AWS Glueuntuk membantu mempercepat migrasi data ke MongoDB Atlas.

Pola ini menyertai panduan Migrasi ke MongoDB Atlas di situs web Prescriptive Guidance. AWS AWS Ini memberikan langkah-langkah implementasi untuk salah satu skenario migrasi yang dibahas dalam panduan itu. Untuk skenario migrasi tambahan, lihat pola berikut di situs web Panduan AWS Preskriptif:

Pola ini ditujukan untuk AWS Managed Services Partners dan AWS pengguna.

Prasyarat dan batasan

Prasyarat

  • Database sumber seperti SAP, Sybase, IBM Db2, dan lainnya untuk bermigrasi ke MongoDB Atlas.

  • Keakraban dengan database seperti SAP, Sybase, IBM Db2, MongoDB Atlas, dan. Layanan AWS

Versi produk

  • MongoDB versi 5.0 atau yang lebih baru.

Arsitektur

Diagram berikut menggambarkan pemuatan data batch dan streaming data dengan menggunakan AWS Glue Studio, Amazon Kinesis Data Streams, dan MongoDB Atlas.

Arsitektur referensi ini digunakan AWS Glue Studio untuk membuat pipeline ekstrak, transformasi, dan beban (ETL) untuk memigrasikan data ke MongoDB Atlas. An Perayap AWS Glue terintegrasi dengan MongoDB Atlas untuk memfasilitasi tata kelola data. Data dapat di-porting dalam batch atau dialirkan ke MongoDB Atlas dengan menggunakan Amazon Kinesis Data Streams.

Pemuatan data batch

Migrasi data ke MongoDB Atlas dalam mode batch.

Untuk informasi selengkapnya tentang migrasi data batch, lihat posting AWS blog Menulis pekerjaan ETL Anda untuk MongoDB Atlas dengan. AWS Glue

Streaming data

Migrasi data ke MongoDB Atlas dalam mode streaming data.

Untuk arsitektur referensi MongoDB Atlas yang mendukung skenario penggunaan yang berbeda, lihat Migrasi ke MongoDB Atlas di situs web Panduan Preskriptif. AWS AWS

Alat

AWS Glueadalah layanan ETL yang dikelola sepenuhnya. Ini membantu Anda mengkategorikan, membersihkan, memperkaya, dan memindahkan data dengan andal antara penyimpanan data dan aliran data.

Amazon Kinesis Data Streams membantu Anda mengumpulkan dan memproses aliran besar catatan data secara real time.

MongoDB Atlas adalah database yang dikelola sepenuhnya sebagai layanan (dBaaS) untuk menyebarkan dan mengelola database MongoDB di cloud.

Praktik terbaik

Untuk panduan, lihat Panduan Praktik Terbaik untuk MongoDB di repositori MongoDB. GitHub

Epik

TugasDeskripsiKeterampilan yang dibutuhkan

Tentukan ukuran cluster.

Perkirakan ukuran set kerja dengan menggunakan informasi dari db.stats() untuk total ruang indeks. Asumsikan bahwa persentase ruang data Anda akan sering diakses. Atau, Anda dapat memperkirakan kebutuhan memori Anda berdasarkan asumsi Anda. Tugas ini harus memakan waktu sekitar satu minggu. Untuk informasi lebih lanjut dan contoh untuk ini dan cerita lainnya dalam epik ini, lihat tautan di bagian Sumber daya terkait.

MongoDB DBA, Arsitek aplikasi

Perkirakan kebutuhan bandwidth jaringan.

Untuk memperkirakan kebutuhan bandwidth jaringan Anda, kalikan ukuran dokumen rata-rata dengan jumlah dokumen yang disajikan per detik. Pertimbangkan lalu lintas maksimum yang akan ditanggung oleh node mana pun di cluster Anda sebagai dasarnya. Untuk menghitung kecepatan transfer data hilir dari klaster Anda ke aplikasi klien, gunakan jumlah total dokumen yang dikembalikan selama periode waktu tertentu. Jika aplikasi Anda membaca dari node sekunder, bagilah jumlah total dokumen ini dengan jumlah node yang dapat melayani operasi baca. Untuk menemukan ukuran dokumen rata-rata untuk database, gunakan db.stats().avgObjSize perintah. Tugas ini biasanya akan memakan waktu satu hari.

MongoDB DBA

Pilih tingkat Atlas.

Ikuti petunjuk dalam dokumentasi MongoDB untuk memilih tingkat cluster Atlas yang benar. 

MongoDB DBA

Rencanakan untuk cutover.

Rencanakan pemotongan aplikasi.

MongoDB DBA, Arsitek aplikasi
TugasDeskripsiKeterampilan yang dibutuhkan

Buat cluster MongoDB Atlas baru di. AWS

Di MongoDB Atlas, pilih Build a Cluster, dan AWS pilih sebagai penyedia cloud.

MongoDB DBA

Pilih Wilayah AWS dan konfigurasi cluster global.

Pilih dari daftar yang tersedia Wilayah AWS untuk cluster Atlas Anda. Konfigurasikan cluster global jika diperlukan.

MongoDB DBA

Pilih tingkat cluster.

Pilih tingkat klaster pilihan Anda. Pemilihan tingkat Anda menentukan faktor-faktor seperti memori, penyimpanan, dan spesifikasi IOPS.

MongoDB DBA

Konfigurasikan pengaturan cluster tambahan.

Konfigurasikan pengaturan cluster tambahan seperti versi MongoDB, cadangan, dan opsi enkripsi. Untuk informasi selengkapnya tentang opsi ini, lihat bagian Sumber daya terkait.

MongoDB DBA
TugasDeskripsiKeterampilan yang dibutuhkan

Konfigurasikan daftar akses.

Untuk terhubung ke cluster Atlas, Anda harus menambahkan entri ke daftar akses proyek. Atlas menggunakan Transport Layer Security (TLS) /Secure Sockets Layer (SSL) untuk mengenkripsi koneksi ke virtual private cloud (VPC) untuk database Anda. Untuk mengatur daftar akses untuk proyek dan untuk informasi lebih lanjut tentang cerita dalam epik ini, lihat tautan di bagian Sumber daya terkait

MongoDB DBA

Otentikasi dan otorisasi pengguna.

Anda harus membuat dan mengotentikasi pengguna database yang akan mengakses cluster MongoDB Atlas. Untuk mengakses cluster dalam proyek, pengguna harus menjadi bagian dari proyek itu, dan mereka dapat menjadi bagian dari beberapa proyek. Anda juga dapat mengaktifkan otorisasi dengan AWS Identity and Access Management (IAM). Untuk informasi selengkapnya, lihat Mengatur Otentikasi dengan IAM di dokumentasi MongoDB.

MongoDB DBA

Buat peran khusus.

(Opsional) Atlas mendukung pembuatan peran khusus jika hak istimewa pengguna database Atlas bawaan tidak mencakup rangkaian hak istimewa yang Anda inginkan.

MongoDB DBA

Siapkan pengintip VPC.

(Opsional) Atlas mendukung peering VPC dengan AWS lainnya. VPCs

MongoDB DBA

Siapkan AWS PrivateLink titik akhir.

(Opsional) Anda dapat mengatur titik akhir pribadi AWS dengan menggunakan AWS PrivateLink.

MongoDB DBA

Aktifkan otentikasi dua faktor.

(Opsional) Atlas mendukung otentikasi dua faktor (2FA) untuk membantu pengguna mengontrol akses ke akun Atlas mereka.

MongoDB DBA

Siapkan otentikasi dan otorisasi pengguna dengan LDAP.

(Opsional) Atlas mendukung melakukan otentikasi dan otorisasi pengguna dengan Lightweight Directory Access Protocol (LDAP).

MongoDB DBA

Siapkan AWS akses terpadu.

(Opsional) Beberapa fitur Atlas, termasuk Atlas Data Lake dan enkripsi saat istirahat menggunakan manajemen kunci pelanggan, menggunakan peran IAM untuk otentikasi.

MongoDB DBA

Siapkan enkripsi saat istirahat dengan menggunakan AWS KMS.

(Opsional) Atlas mendukung penggunaan AWS Key Management Service (AWS KMS) untuk mengenkripsi mesin penyimpanan dan cadangan penyedia cloud.

MongoDB DBA

Mengatur CSFLE.

(Opsional) Atlas mendukung enkripsi tingkat bidang sisi klien (CSFLE), termasuk enkripsi bidang otomatis. 

MongoDB DBA
TugasDeskripsiKeterampilan yang dibutuhkan

Luncurkan replika target Anda yang ditetapkan di MongoDB Atlas.

Luncurkan replika target Anda yang ditetapkan di MongoDB Atlas. Di Atlas Live Migration Service, pilih Saya siap untuk bermigrasi.

MongoDB DBA

Membangun koneksi AWS Glue dengan MongoDB Atlas.

Gunakan Perayap AWS Glue untuk terhubung AWS Glue dengan MongoDB Atlas (database target). Langkah ini membantu mempersiapkan lingkungan target untuk migrasi. Lihat informasi yang lebih lengkap dalam dokumentasi AWS Glue.

MongoDB DBA

Membangun koneksi AWS Glue dengan database sumber atau aliran sumber.

Ini membantu mempersiapkan lingkungan target untuk migrasi.

MongoDB DBA

Mengatur transformasi data.

Konfigurasikan logika transformasi untuk memigrasikan data dari skema terstruktur lama ke skema fleksibel MongoDB.

MongoDB DBA

Migrasikan data.

Jadwalkan migrasi di AWS Glue Studio.

MongoDB DBA
TugasDeskripsiKeterampilan yang dibutuhkan

Connect ke cluster.

Connect ke cluster MongoDB Atlas.

Pengembang aplikasi

Berinteraksi dengan data.

Berinteraksi dengan data cluster.

Pengembang aplikasi

Pantau cluster.

Pantau cluster MongoDB Atlas Anda.

MongoDB DBA

Cadangkan dan pulihkan data.

Cadangkan dan pulihkan data cluster.

MongoDB DBA

Pemecahan Masalah

IsuSolusi

Jika Anda mengalami masalah

Lihat Pemecahan Masalah di repositori MongoDB Atlas Resources. CloudFormation

Sumber daya terkait

Semua link berikut, kecuali dinyatakan lain, pergi ke halaman web dalam dokumentasi MongoDB.

Panduan migrasi

Penemuan dan penilaian

Mengkonfigurasi keamanan dan kepatuhan

Menyiapkan lingkungan MongoDB Atlas baru di AWS

Migrasi data

Cluster pemantauan

Mengintegrasikan operasi

GitHub repositori