SSISPakete werden in with konvertiert AWS Glue StudioAWS Schema Conversion Tool

Sie können AWS SCT es verwenden, um Microsoft SQL Server Integration Services (SSIS) -Pakete in zu konvertieren AWS Glue Studio.

Ein SSISPaket enthält die erforderlichen Komponenten, z. B. den Verbindungs-Manager, Aufgaben, Ablaufsteuerung, Datenfluss, Parameter, Ereignishandler und Variablen, um eine bestimmte Extraktions-, Transformations- und Load (ETL) -Task auszuführen. AWS SCT konvertiert SSIS Pakete in ein Format, das kompatibel ist mit AWS Glue Studio. Nachdem Sie Ihre Quelldatenbank auf die migriert haben AWS Cloud, können Sie diese konvertierten AWS Glue Studio Jobs ausführen, um ETL Aufgaben auszuführen.

Um SSIS Microsoft-Pakete zu konvertieren AWS Glue Studio, stellen Sie sicher, dass Sie AWS SCT Version 1.0.661 oder höher verwenden.

Voraussetzungen

In diesem Abschnitt erfahren Sie mehr über die erforderlichen Aufgaben für die Konvertierung von SSIS Paketen in AWS Glue. Zu diesen Aufgaben gehört das Erstellen der erforderlichen AWS Ressourcen in Ihrem Konto.

Sie können AWS Identity and Access Management (IAM) verwenden, um Richtlinien und Rollen zu definieren, die für den Zugriff auf Ressourcen erforderlich sind, die AWS Glue Studio verwendet werden. Weitere Informationen finden Sie unter IAMBerechtigungen für den AWS Glue Studio Benutzer.

Nachdem Sie Ihre Quellskripte AWS SCT konvertiert haben AWS Glue Studio, laden Sie die konvertierten Skripts in einen Amazon S3 S3-Bucket hoch. Stellen Sie sicher, dass Sie diesen Amazon S3 S3-Bucket erstellen und ihn in den AWS Serviceprofileinstellungen auswählen. Weitere Informationen zum Erstellen eines S3-Buckets finden Sie unter Erstellen Sie Ihren ersten S3-Bucket im Amazon Simple Storage Service-Benutzerhandbuch.

Um sicherzustellen, dass dieser eine Verbindung zu Ihrem Datenspeicher herstellen AWS Glue Studio kann, erstellen Sie einen benutzerdefinierten Connector und eine Verbindung. Speichern Sie Datenbankanmeldedaten außerdem in AWS Secrets Manager.

Um einen benutzerdefinierten Connector zu erstellen

1. Laden Sie den JDBC Treiber für Ihren Datenspeicher herunter. Weitere Informationen zu JDBC Treibern, die AWS SCT verwendet werden, finden Sie unterJDBCTreiber werden installiert für AWS Schema Conversion Tool.

2. Laden Sie diese Treiberdatei in Ihren Amazon S3 S3-Bucket hoch. Weitere Informationen finden Sie unter Hochladen eines Objekts in Ihren Bucket im Amazon Simple Storage Service-Benutzerhandbuch.

3. Melden Sie sich bei der an AWS Management Console und öffnen Sie die AWS Glue Studio Konsole unter https://console.aws.amazon.com/gluestudio/.

4. Wählen Sie Connectors und anschließend Create Custom Connector aus.

5. Wählen Sie für Connector S3 URL Browse S3 und wählen Sie die JDBC Treiberdatei aus, die Sie in Ihren Amazon S3 S3-Bucket hochgeladen haben.

6. Geben Sie einen aussagekräftigen Namen für Ihren Connector ein. Geben Sie z. B. ei SQLServer.

7. Wählen Sie als Steckertyp die Option JDBC.

8. Geben Sie unter Klassenname den Namen der Hauptklasse für Ihren JDBC Treiber ein. Geben Sie für SQL Server eincom.microsoft.sqlserver.jdbc.SQLServerDriver.

9. Geben Sie als JDBCURLBasis die JDBC Basis einURL. Die Syntax der JDBC Basis URL hängt von Ihrer Quelldatenbank-Engine ab. Verwenden Sie für SQL Server das folgende Format:jdbc:sqlserver://$<host>:$<port>;databaseName=$<dbname>;user=$<username>;password=$<password>.

   Stellen Sie sicher, dass Sie ersetzen <host>, <port>, <dbname>, <username>, und <password> mit deinen Werten.

10. Geben Sie als URLParametertrennzeichen das Semikolon () ein. ;

11. Wählen Sie Konnektor erstellen.

Um Datenbankanmeldedaten zu speichern in AWS Secrets Manager

1. Melden Sie sich bei der an AWS Management Console und öffnen Sie die AWS Secrets Manager Konsole unter https://console.aws.amazon.com/secretsmanager/.

2. Wählen Sie Store a new secret (Ein neues Secret speichern).

3. Führen Sie auf der Seite Choose secret type (Secret-Typ auswählen) die folgenden Schritte aus:

   1. Wählen Sie unter Geheimtyp die Option Anderer Geheimtyp aus.

   2. Geben Sie für Schlüssel/Wert-Paare die folgenden Schlüssel ein:host,, port dbnameusername, und. password

      Geben Sie als Nächstes Ihre Werte für diese Schlüssel ein.

4. Geben Sie auf der Seite Geheimnis konfigurieren einen aussagekräftigen Wert für Secret-Name ein. Geben Sie z. B. ei SQL_Server_secret.

5. Wählen Sie Weiter. Wählen Sie dann auf der Seite „Rotation konfigurieren“ erneut Weiter aus.

6. Prüfen Sie auf der Seite Review (Prüfen) die Secret-Details und wählen Sie Store (Speichern).

Um eine Verbindung für Ihren Connector herzustellen

1. Melden Sie sich bei der an AWS Management Console und öffnen Sie die AWS Glue Studio Konsole unter https://console.aws.amazon.com/gluestudio/.

2. Wählen Sie den Connector aus, für den Sie eine Verbindung herstellen möchten, und klicken Sie dann auf Verbindung erstellen.

3. Geben Sie auf der Seite Verbindung erstellen einen aussagekräftigen Namen für Ihre Verbindung ein. Geben Sie z. B. ei SQL-Server-connection.

4. Wählen Sie für AWS Secret den Secret aus, den Sie in AWS Secrets Manager erstellt haben.

5. Konfigurieren Sie die Netzwerkoptionen und wählen Sie dann Verbindung erstellen.

Jetzt können Sie einen AWS Glue Studio Job mit einem benutzerdefinierten Connector erstellen. Weitere Informationen finden Sie unter AWS Glue Studio Jobs erstellen.

Hinzufügen von SSIS Paketen zu Ihrem AWS SCT Projekt

Sie können mehrere SSIS Pakete zu einem einzelnen AWS SCT Projekt hinzufügen.

Um ein SSIS Paket zu Ihrem AWS SCT Projekt hinzuzufügen

1. Erstellen Sie ein neues Projekt mit AWS SCT oder öffnen Sie ein vorhandenes Projekt. Weitere Informationen finden Sie unter Projekte starten und verwalten in AWS SCT.

2. Wählen Sie im Menü die Option Quelle hinzufügen und dann SQLServer Integration Services aus.

3. Geben Sie unter Verbindungsname einen Namen für Ihre SSIS Pakete ein. AWS SCT zeigt diesen Namen in der Baumstruktur im linken Bereich an.

4. Geben Sie für den SSISPaketordner den Pfad zu dem Ordner mit den SSIS Quellpaketen ein.

5. Wählen Sie im Menü die Option Ziel hinzufügen und wählen Sie dann AWS Glue Studio.

   Um eine Verbindung herzustellen AWS Glue Studio, AWS SCT verwendet Ihr AWS Profil. Weitere Informationen finden Sie unter Profile verwalten in AWS Schema Conversion Tool.

6. Erstellen Sie eine Zuordnungsregel, die Ihr SSIS Quellpaket und Ihr AWS Glue Studio Ziel umfasst. Weitere Informationen finden Sie unter Zuordnung von Datentypen in der AWS Schema Conversion Tool.

7. Stellen Sie AWS Glue Studio Verbindungen in der AWS Glue Studio Konsole her. Weitere Informationen finden Sie unter Verbindungen für Konnektoren erstellen.

8. Wählen Sie in der linken Baumstruktur Verbindungsmanager aus, öffnen Sie das Kontextmenü (Rechtsklick) und wählen Sie dann Verbindungen konfigurieren.

   AWS SCT zeigt das Fenster Verbindungen konfigurieren an.

9. Wählen Sie für jede SSIS Quellverbindung eine AWS Glue Studio Verbindung aus.

SSISPakete werden in „ AWS Glue Studio mit“ konvertiert AWS SCT

Im Folgenden erfahren Sie, wie Sie SSIS Pakete in AWS Glue Studio Using umwandeln AWS SCT.

Um ein SSIS Paket zu konvertieren AWS Glue Studio

1. Fügen Sie Ihr SSIS Paket zu Ihrem AWS SCT Projekt hinzu. Weitere Informationen finden Sie unter SSISPakete zu Ihrem AWS SCT Projekt hinzufügen.

2. Erweitern Sie im linken Bereich die SSISKnoten ETLund.

3. Wählen Sie Pakete, öffnen Sie das Kontextmenü (mit der rechten Maustaste) und wählen Sie dann Paket konvertieren.

   AWS SCT konvertiert Ihre ausgewählten SSIS Pakete in JSON Dateien. Diese JSON Objekte stellen einen Knoten in einem gerichteten azyklischen Graphen dar ()DAG. Suchen Sie Ihre konvertierten Dateien im DAGs Knoten Package in der rechten Baumstruktur.

4. Wählen Sie Package DAGs, öffnen Sie das Kontextmenü (Rechtsklick) und wählen Sie dann In Amazon S3 speichern.

   Jetzt können Sie diese Skripts verwenden, um Jobs in der zu erstellen AWS Glue Studio.

AWS Glue Studio Jobs mit dem konvertierten Code erstellen

Nachdem Sie Ihre SSIS Quellpakete konvertiert haben, können Sie die konvertierten JSON Dateien verwenden, um AWS Glue Studio Jobs zu erstellen.

Um einen AWS Glue Studio Job zu erstellen

1. Wählen Sie DAGs in der rechten Baumstruktur die Option Package aus, öffnen Sie das Kontextmenü (Rechtsklick) und wählen Sie dann AWS Glue Studio Job konfigurieren.

2. (Optional) Wenden Sie das Erweiterungspaket an, das die SSIS Funktionen in AWS Glue Studio emuliert.

3. Das Fenster „ AWS Glue Studio Job konfigurieren“ wird geöffnet.

   Füllen Sie den Abschnitt Grundlegende Jobeigenschaften aus:

   • Name — Geben Sie einen Namen für Ihren AWS Glue Studio Job ein.

   • Name der Skriptdatei — Geben Sie einen Namen für Ihr Job-Skript ein.

   • Jobparameter — Fügen Sie Parameter hinzu und geben Sie deren Werte ein.

   Wählen Sie Weiter.

4. Füllen Sie den Abschnitt „Erweiterte Auftragseigenschaften“ aus:

   • IAMRolle — Wählen Sie die IAM Rolle aus, die für die Autorisierung von AWS Glue Studio und den Zugriff auf Datenspeicher verwendet wird.

   • S3-Pfad der Skriptdatei — Geben Sie den Amazon S3 S3-Pfad zu Ihrem konvertierten Skript ein.

   • Temporäres Verzeichnis — Geben Sie den Amazon S3 S3-Pfad zu einem temporären Verzeichnis für Zwischenergebnisse ein. AWS Glue Studio verwendet dieses Verzeichnis zum Lesen oder Schreiben in Amazon Redshift.

   • AWS SCT generiert automatisch den Pfad für Python-Bibliotheken. Sie können diesen Pfad unter Generierter Python-Bibliothekspfad überprüfen. Sie können diesen automatisch generierten Pfad nicht bearbeiten. Um zusätzliche Python-Bibliotheken zu verwenden, geben Sie den Pfad im Feld Benutzer-Python-Bibliothekspfad ein.

   • Benutzer-Python-Bibliothekspfad — Geben Sie die Pfade für zusätzliche Benutzer-Python-Bibliotheken ein. Trennen Sie Amazon S3 S3-Pfade durch Kommas.

   • Pfad für abhängige Dateien — Geben Sie die Pfade für abhängige *.jar Dateien ein. Trennen Sie Amazon S3 S3-Pfade durch Kommas.

   • Pfad der referenzierten Dateien — Geben Sie die Pfade für zusätzliche Dateien ein, z. B. Konfigurationsdateien, die für Ihr Skript erforderlich sind. Trennen Sie Amazon S3 S3-Pfade durch Kommas.

   • Arbeitstyp — Wählen Sie G.1X oderG.2X.

     Wenn Sie wählen, wird G.1X jeder Worker 1 zugeordnet DPU (4 VCPU, 16 GB Arbeitsspeicher und 64 GB Festplatte).

     Wenn Sie wählen, wird G.2X jeder Worker 2 zugeordnet DPU (8 VCPU, 32 GB Arbeitsspeicher und 128 GB Festplatte).

   • Angeforderte Anzahl von Mitarbeitern — Geben Sie die Anzahl der Arbeitskräfte ein, die bei der Ausführung des Jobs zugewiesen werden.

   • Max. Parallelität — Geben Sie die maximale Anzahl gleichzeitiger Läufe ein, die für diesen Job zulässig sind. Die Standardeinstellung ist 1. AWS Glue gibt einen Fehler zurück, wenn dieser Schwellenwert erreicht ist.

   • Job-Timeout (Minuten) — Geben Sie den Timeout-Wert für Ihren ETL Job ein, um zu verhindern, dass Jobs außer Kontrolle geraten. Die Standardeinstellung für Batch-Jobs ist 2.880 Minuten (48 Stunden). Wenn der Job dieses Limit überschreitet, ändert sich der Status der Auftragsausführung aufTIMEOUT.

   • Schwellenwert für Verzögerungsbenachrichtigungen (Minuten) — Geben Sie den Schwellenwert in Minuten ein, bevor eine Verzögerungsbenachrichtigung AWS SCT gesendet wird.

   • Anzahl der Wiederholungen — Geben Sie ein, wie oft (0—10) der Job automatisch neu gestartet werden AWS Glue soll, falls er fehlschlägt. Jobs, die das Timeout-Limit erreichen, werden nicht neu gestartet. Der Standardwert ist 0.

   Wählen Sie Finish (Abschließen).

   AWS SCT konfiguriert Ihre ausgewählten Jobs. AWS Glue Studio

5. Suchen Sie Ihre konfigurierten Jobs unter ETLJobs in der rechten Baumstruktur. Wählen Sie Ihren konfigurierten Job aus, öffnen Sie das Kontextmenü (Rechtsklick) und wählen Sie dann AWS Glue Studio Job erstellen.

6. Wählen Sie „Status anwenden“ und stellen Sie sicher, dass der Statuswert für Ihren Job „Erfolgreich“ lautet.

7. Öffnen Sie die AWS Glue Studio Konsole, wählen Sie „Aktualisieren“ und wählen Sie Ihren Job aus. Wählen Sie anschließend Run (Ausführen) aus.

Erstellen eines Bewertungsberichts für ein SSIS Paket mit AWS SCT

Der ETLMigrationsbewertungsbericht enthält Informationen zur Konvertierung Ihrer SSIS Pakete in ein Format, das mit kompatibel ist AWS Glue Studio. Der Bewertungsbericht enthält Maßnahmen für die Komponenten Ihrer SSIS Pakete. Diese Aktionspunkte zeigen, welche Komponenten nicht automatisch konvertiert werden AWS SCT können.

Um einen Bewertungsbericht ETL zur Migration zu erstellen

1. Erweitern Sie den SSISKnoten unten ETLim linken Bereich.

2. Wählen Sie Pakete, öffnen Sie das Kontextmenü (Rechtsklick) und wählen Sie dann Bericht erstellen aus.

3. Rufen Sie die Registerkarte „Zusammenfassung“ auf. Hier AWS SCT werden die zusammenfassenden Informationen aus dem ETL Migrationsbewertungsbericht angezeigt. Es enthält Konvertierungsergebnisse für alle Komponenten Ihrer SSIS Pakete.

4. (Optional) Speichern Sie eine lokale Kopie des Berichts zur ETL Migrationsbewertung entweder als PDF Datei oder als Datei mit kommagetrennten Werten (CSV):

   • Um den ETL Migrationsbewertungsbericht als PDF Datei zu speichern, wählen Sie oben rechts die Option Speichern PDF unter.

     Die PDF Datei enthält die Zusammenfassung, Aktionspunkte und Empfehlungen für die Konvertierung von Skripten.

   • Um den Bericht zur ETL Migrationsbewertung als CSV Datei zu speichern, wählen Sie oben rechts die Option Speichern CSV unter.

     AWS SCT erstellt drei CSV Dateien. Diese Dateien enthalten Aktionspunkte, empfohlene Aktionen und eine geschätzte Komplexität des manuellen Aufwands, der für die Konvertierung der Skripts erforderlich ist.

5. Wählen Sie die Registerkarte Aktionselemente. Diese Registerkarte enthält eine Liste von Elementen, in die eine manuelle Konvertierung erforderlich ist AWS Glue Studio. Wenn Sie einen Aktionspunkt aus der Liste auswählen, wird der Punkt aus Ihrem SSIS Quellpaket AWS SCT hervorgehoben, für den der Aktionspunkt gilt.

SSISKomponenten, die konvertiert AWS SCT werden können in AWS Glue Studio

Sie können AWS SCT es verwenden, um SSIS Datenflusskomponenten und Parameter in zu konvertieren AWS Glue Studio.

Zu den unterstützten Datenflusskomponenten gehören:

• ADONETZiel

• ADONETQuelle

• Aggregate

• Zeichentabelle

• Bedingte Trennung

• Spalte kopieren

• Datenkonvertierung

• Abgeleitete Spalte

• Nachschlagen

• Merge

• Merge Join

• Multicast

• ODBCDestination

• ODBCSource

• OLEDBDestination

• OLEDBSource

• Anzahl der Zeilen

• Sortierung

• SQLServerziel

• Alle vereinigen

AWS SCT kann mehr SSIS Komponenten konvertieren in AWS Glue. Weitere Informationen finden Sie unter SSISKomponenten, die konvertiert AWS SCT werden können in AWS Glue.