Fase di implementazione

La migrazione che segue il big bang o l'approccio graduale richiede nuovi sviluppi e test. AWS Schema Conversion Tool (AWS SCT) può generare automaticamente AWS Glue lavori dai pacchetti SSIS. Ciò riduce notevolmente i tempi e gli sforzi di migrazione. In alternativa, puoi usare AWS Glue Studio per lo sviluppo basato su interfacce grafiche o creare librerie Spark che puoi eseguire su Amazon EMR o su Amazon EMR. AWS Glue

Le seguenti sezioni forniscono suggerimenti utili per l'utilizzo AWS SCT e Amazon EMR. AWS Glue

AWS SCT

La seguente illustrazione della schermata mostra uno script di AWS Glue lavoro che è stato convertito da. AWS SCT

AWS SCT può convertire pacchetti SSIS in AWS Glue lavori in blocco. È possibile modificare lo script per aggiornare la logica esistente o aggiungere una nuova logica, in base al nuovo design. Ti consigliamo di seguire le convenzioni di denominazione degli script AWS SCT convertiti per personalizzare gli script.

Per ulteriori informazioni, consulta Conversione di SSIS all'uso nella documentazione. AWS Glue AWS SCT AWS SCT

AWS Glue

AWS Glue Studio offre un'interfaccia grafica e un'esperienza di sviluppo simili a SSIS, come illustrato nella schermata seguente.

Se preferisci non utilizzare un'interfaccia grafica, puoi anche eseguire i tuoi script personalizzati con le librerie Python richieste dalla console. AWS Glue Per ulteriori informazioni, consulta Fornire script personalizzati nella documentazione. AWS Glue

AWS Glue fornisce una serie di trasformazioni integrate per l'elaborazione dei dati. Sono simili alle trasformazioni del flusso di dati SSIS. Segui queste best practice quando migri i tuoi job SSIS ETL utilizzando: AWS Glue

• Preparate una mappatura dalle AWS Glue trasformazioni alle trasformazioni SSIS equivalenti.

• Se le tue trasformazioni non possono essere mappate su AWS Glue trasformazioni, creale usando uno script personalizzato in Python o Scala.

• Per la registrazione personalizzata (ad esempio righe lette, righe scritte o record errati), utilizza script personalizzati oltre ad Amazon. CloudWatch

• Aggiungi un endpoint di sviluppo per sviluppare ed eseguire il debug di script personalizzati a livello locale.

Amazon EMR

È possibile eseguire script personalizzati (scritti in Python o Scala) o librerie Python compilate in cluster EMR, ad esempio. AWS Glue Segui queste best practice:

• Inizia con tipi di istanza ottimizzati per la memoria durante la creazione di cluster EMR con il framework Spark. (SSIS utilizza buffer di memoria).

• Crea metodi Python generici equivalenti a ogni attività o trasformazione SSIS. Ad esempio, nella figura seguente, un metodo che accetta due dataframe come input produce un terzo dataframe che ha come output i record corrispondenti dei due dataframe. Funziona come una trasformazione di merge join.

Test in corso

È necessario un framework di test per convalidare la completezza e la correttezza dei dati. Questo framework dovrebbe coprire tutti gli scenari esistenti e tutti i miglioramenti apportati durante la migrazione dei lavori verso. AWS

• Convalida della completezza:

  • Tutti i lavori vengono migrati allo stato di destinazione.

  • Tutte le funzionalità vengono migrate in ogni job.

  • Sono disponibili tutti i tipi di log, inclusi dettagli sull'esecuzione del lavoro, messaggi di errore, record errati e conteggio delle righe.

• Convalida della correttezza:

  • La qualità dei dati è costante negli ambienti esistenti e nuovi.

  • Tutte le colonne di tutte le tabelle corrispondono o le tabelle sono migliorate AWS.

  • Tutte le informazioni di controllo e registrazione corrispondono.

È inoltre necessario verificare che le prestazioni dei lavori migrati corrispondano a quelle dei lavori esistenti.