Tahap implementasi

Migrasi yang mengikuti big bang atau pendekatan bertahap membutuhkan pengembangan dan pengujian baru. The AWS Schema Conversion Tool (AWS SCT) dapat secara otomatis menghasilkan AWS Glue pekerjaan dari paket SSIS. Ini mengurangi waktu dan upaya migrasi secara signifikan. Atau, Anda dapat menggunakan AWS Glue Studio untuk pengembangan berbasis antarmuka grafis, atau membangun pustaka Spark yang dapat Anda jalankan di salah satu atau Amazon EMR. AWS Glue

Bagian berikut memberikan petunjuk yang berguna untuk menggunakan AWS SCT, AWS Glue, dan Amazon EMR.

AWS SCT

Ilustrasi layar berikut menunjukkan skrip AWS Glue pekerjaan yang dikonversi oleh AWS SCT.

AWS SCT dapat mengonversi paket SSIS menjadi AWS Glue pekerjaan dalam jumlah besar. Anda dapat mengedit skrip untuk memperbarui logika yang ada atau menambahkan logika baru, berdasarkan desain baru Anda. Kami menyarankan Anda mengikuti konvensi penamaan dalam skrip yang AWS SCT dikonversi untuk menyesuaikan skrip.

Untuk informasi selengkapnya, lihat Mengonversi SSIS ke AWS Glue penggunaan AWS SCT dalam dokumentasi. AWS SCT

AWS Glue

AWS Glue Studio menyediakan antarmuka grafis dan pengalaman pengembangan yang mirip dengan SSIS, seperti yang diilustrasikan di layar berikut.

Jika Anda memilih untuk tidak menggunakan antarmuka grafis, Anda juga dapat menjalankan skrip kustom Anda dengan pustaka Python yang diperlukan dari konsol. AWS Glue Untuk informasi selengkapnya, lihat Menyediakan skrip kustom Anda sendiri dalam AWS Glue dokumentasi.

AWS Glue menyediakan satu set transformasi bawaan untuk memproses data Anda. Ini mirip dengan transformasi aliran data SSIS. Ikuti praktik terbaik ini saat Anda memigrasikan pekerjaan ETL SSIS Anda dengan menggunakan: AWS Glue

• Siapkan pemetaan dari AWS Glue transformasi ke transformasi SSIS yang setara.

• Jika transformasi Anda tidak dapat dipetakan ke AWS Glue transformasi, buat dengan menggunakan skrip kustom Python atau Scala.

• Untuk pencatatan kustom (seperti baris yang dibaca, baris yang ditulis, atau catatan buruk), gunakan skrip khusus selain Amazon CloudWatch.

• Tambahkan titik akhir pengembangan untuk mengembangkan dan men-debug skrip kustom secara lokal.

Amazon EMR

Anda dapat menjalankan skrip kustom (ditulis dengan Python atau Scala) atau pustaka Python yang dikompilasi dalam cluster EMR, seperti halnya. AWS Glue Ikuti praktik terbaik ini:

• Mulailah dengan jenis instans yang dioptimalkan memori sambil membuat cluster EMR dengan kerangka kerja Spark. (SSIS menggunakan buffer memori.)

• Bangun metode Python generik yang setara dengan setiap tugas atau transformasi SSIS. Misalnya, dalam ilustrasi berikut, metode yang mengambil dua kerangka data sebagai input menghasilkan kerangka data ketiga yang memiliki catatan yang cocok dari dua kerangka data sebagai output. Ini berfungsi sebagai transformasi gabungan gabungan.

Pengujian

Kerangka pengujian diperlukan untuk memvalidasi kelengkapan dan kebenaran data. Kerangka kerja ini harus mencakup semua skenario yang ada dan peningkatan apa pun yang Anda buat saat memigrasikan AWS pekerjaan Anda.

• Validasi kelengkapan:

  • Semua pekerjaan dimigrasikan ke status target mereka.

  • Semua fungsionalitas dimigrasikan di setiap pekerjaan.

  • Semua jenis log tersedia, termasuk rincian eksekusi pekerjaan, pesan kesalahan, catatan buruk, dan jumlah baris.

• Validasi kebenaran:

  • Kualitas data konsisten di lingkungan yang ada dan yang baru.

  • Semua kolom dari semua tabel cocok, atau tabel ditingkatkan AWS.

  • Semua informasi audit dan pencatatan cocok.

Anda juga harus memverifikasi bahwa kinerja pekerjaan yang dimigrasi sesuai dengan kinerja pekerjaan yang ada.