Umsetzungsphase

Eine Migration, die dem Urknall- oder Phasenansatz folgt, erfordert neue Entwicklungen und Tests. Das AWS Schema Conversion Tool (AWS SCT) kann automatisch AWS Glue Jobs aus SSIS-Paketen generieren. Dies reduziert den Zeit- und Arbeitsaufwand für die Migration erheblich. Oder Sie können AWS Glue Studio für die Entwicklung auf grafischer Oberfläche verwenden oder Spark-Bibliotheken erstellen, die Sie entweder auf Amazon EMR AWS Glue oder auf Amazon EMR ausführen können.

Die folgenden Abschnitte enthalten nützliche Hinweise zur Verwendung von AWS SCT AWS Glue, und Amazon EMR.

AWS SCT

Die folgende Bildschirmdarstellung zeigt ein AWS Glue Jobskript, das von konvertiert wurde. AWS SCT

AWS SCT kann SSIS-Pakete in großen Mengen in AWS Glue Jobs konvertieren. Sie können das Skript bearbeiten, um bestehende Logik zu aktualisieren oder neue Logik hinzuzufügen, die auf Ihrem neuen Entwurf basiert. Wir empfehlen, dass Sie die Benennungskonventionen in den AWS SCT konvertierten Skripten befolgen, um die Skripten anzupassen.

Weitere Informationen finden Sie in der AWS SCT Dokumentation unter Konvertieren von SSIS AWS SCT in AWS Glue Using.

AWS Glue

AWS Glue Studio bietet eine grafische Oberfläche und ein Entwicklungserlebnis, das SSIS ähnelt, wie im folgenden Bildschirm dargestellt.

Wenn Sie keine grafische Oberfläche verwenden möchten, können Sie Ihre benutzerdefinierten Skripts auch mit den erforderlichen Python-Bibliotheken von der AWS Glue Konsole aus ausführen. Weitere Informationen finden Sie in der AWS Glue Dokumentation unter Bereitstellen eigener benutzerdefinierter Skripts.

AWS Glue stellt eine Reihe integrierter Transformationen für die Verarbeitung Ihrer Daten bereit. Diese ähneln SSIS-Datenflusstransformationen. Folgen Sie diesen bewährten Methoden, wenn Sie Ihre SSIS-ETL-Jobs migrieren, indem Sie Folgendes verwenden: AWS Glue

• Bereiten Sie eine Zuordnung von AWS Glue Transformationen zu den entsprechenden SSIS-Transformationen vor.

• Wenn Ihre Transformationen nicht AWS Glue Transformationen zugeordnet werden können, erstellen Sie sie mit einem benutzerdefinierten Python- oder Scala-Skript.

• Verwenden Sie für benutzerdefinierte Protokollierung (z. B. gelesene Zeilen, geschriebene Zeilen oder fehlerhafte Datensätze) zusätzlich zu Amazon benutzerdefinierte Skripts CloudWatch.

• Fügen Sie einen Entwicklungsendpunkt hinzu, um benutzerdefinierte Skripts lokal zu entwickeln und zu debuggen.

Amazon EMR

Sie können benutzerdefinierte Skripts (geschrieben in Python oder Scala) oder kompilierte Python-Bibliotheken in EMR-Clustern ausführen, wie bei. AWS Glue Folgen Sie diesen bewährten Methoden:

• Beginnen Sie mit speicheroptimierten Instance-Typen und erstellen Sie gleichzeitig EMR-Cluster mit dem Spark-Framework. (SSIS verwendet Speicherpuffer.)

• Erstellen Sie generische Python-Methoden, die jeder SSIS-Aufgabe oder -Transformation entsprechen. In der folgenden Abbildung erzeugt beispielsweise eine Methode, die zwei Datenrahmen als Eingabe verwendet, einen dritten Datenrahmen, der übereinstimmende Datensätze aus den beiden Datenrahmen als Ausgabe enthält. Dies funktioniert wie eine Merge-Join-Transformation.

Testen

Ein Testframework ist erforderlich, um die Vollständigkeit und Richtigkeit der Daten zu überprüfen. Dieses Framework sollte alle bestehenden Szenarien und alle Verbesserungen abdecken, die Sie bei der Migration Ihrer Jobs zu AWS vorgenommen haben.

• Überprüfung der Vollständigkeit:

  • Alle Jobs werden in ihren Zielstatus migriert.

  • Die gesamte Funktionalität wird in jedem Job migriert.

  • Alle Arten von Protokollen sind verfügbar, einschließlich Details zur Auftragsausführung, Fehlermeldungen, fehlerhaften Datensätzen und Zeilenanzahl.

• Überprüfung der Richtigkeit:

  • Die Qualität der Daten ist in den bestehenden und neuen Umgebungen konsistent.

  • Alle Spalten aller Tabellen stimmen überein, oder die Tabellen wurden verbessert AWS.

  • Alle Prüf- und Protokollierungsinformationen stimmen überein.

Sie sollten auch überprüfen, ob die Leistung Ihrer migrierten Jobs mit der Leistung Ihrer vorhandenen Jobs übereinstimmt.