Phase de mise en œuvre

La migration qui suit le Big Bang ou une approche progressive nécessite de nouveaux développements et tests. Le AWS Schema Conversion Tool (AWS SCT) peut générer automatiquement des AWS Glue tâches à partir de packages SSIS. Cela réduit considérablement le temps et les efforts de migration. Vous pouvez également utiliser AWS Glue Studio pour le développement basé sur une interface graphique, ou créer des bibliothèques Spark que vous pouvez exécuter sur Amazon EMR ou sur AWS Glue Amazon EMR.

Les sections suivantes fournissent des conseils utiles pour utiliser AWS SCT Amazon EMR et Amazon EMR. AWS Glue

AWS SCT

L'illustration d'écran suivante montre un script de AWS Glue tâche converti par AWS SCT.

AWS SCT peut convertir des packages SSIS en AWS Glue tâches en masse. Vous pouvez modifier le script pour mettre à jour la logique existante ou pour ajouter une nouvelle logique, en fonction de votre nouveau design. Nous vous recommandons de suivre les conventions de dénomination des scripts AWS SCT convertis pour personnaliser les scripts.

Pour plus d'informations, consultez la section Conversion de SSIS AWS SCT en mode AWS Glue utilisation dans la AWS SCT documentation.

AWS Glue

AWS Glue Studio fournit une interface graphique et une expérience de développement similaires à SSIS, comme illustré dans l'écran suivant.

Si vous préférez ne pas utiliser d'interface graphique, vous pouvez également exécuter vos scripts personnalisés avec les bibliothèques Python requises depuis la AWS Glue console. Pour plus d'informations, consultez la section Fournir vos propres scripts personnalisés dans la AWS Glue documentation.

AWS Glue fournit un ensemble de transformations intégrées pour le traitement de vos données. Elles sont similaires aux transformations de flux de données SSIS. Suivez ces bonnes pratiques lorsque vous migrez vos tâches SSIS ETL en utilisant AWS Glue :

• Préparez un mappage entre les AWS Glue transformations et les transformations SSIS équivalentes.

• Si vos transformations ne peuvent pas être mappées à des AWS Glue transformations, créez-les à l'aide d'un script personnalisé Python ou Scala.

• Pour la journalisation personnalisée (lignes lues, lignes écrites ou enregistrements incorrects, par exemple), utilisez des scripts personnalisés en plus d'Amazon CloudWatch.

• Ajoutez un point de terminaison de développement pour développer et déboguer des scripts personnalisés localement.

Amazon EMR

Vous pouvez exécuter des scripts personnalisés (écrits en Python ou Scala) ou des bibliothèques Python compilées dans des clusters EMR, comme avec. AWS Glue Suivez les meilleures pratiques suivantes :

• Commencez par des types d'instances optimisés pour la mémoire lors de la création de clusters EMR avec le framework Spark. (SSIS utilise des tampons de mémoire.)

• Créez des méthodes Python génériques équivalentes à chaque tâche ou transformation SSIS. Par exemple, dans l'illustration suivante, une méthode qui prend deux dataframes en entrée produit une troisième dont les enregistrements correspondants des deux dataframes sont en sortie. Cela fonctionne comme une transformation par fusion et jointure.

Test

Un cadre de test est nécessaire pour valider l'exhaustivité et l'exactitude des données. Ce cadre doit couvrir tous les scénarios existants et toutes les améliorations que vous avez apportées lors de la migration de vos tâches. AWS

• Validation d'exhaustivité :

  • Toutes les tâches sont migrées vers leur état cible.

  • Toutes les fonctionnalités sont migrées dans chaque tâche.

  • Tous les types de journaux sont disponibles, y compris les détails de l'exécution des tâches, les messages d'erreur, les mauvais enregistrements et le nombre de lignes.

• Validation de l'exactitude :

  • La qualité des données est constante dans les environnements existants et nouveaux.

  • Toutes les colonnes de tous les tableaux correspondent, ou les tableaux sont améliorés AWS.

  • Toutes les informations d'audit et de journalisation correspondent.

Vous devez également vérifier que les performances de vos tâches migrées correspondent à celles de vos tâches existantes.