SSIS konvertieren inAWS Glue StudiomitAWS SCT - AWS Schema Conversion Tool

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

SSIS konvertieren inAWS Glue StudiomitAWS SCT

Du kannst benutzenAWS SCTum Microsoft SQL Server Integration Services (SSIS) -Pakete zu konvertierenAWS Glue Studio.

EinSSIS-Paketenthält die notwendigen Komponenten wie den Verbindungsmanager, Aufgaben, Kontrollfluss, Datenfluss, Parameter, Event-Handler und Variablen, um eine bestimmte ETL-Aufgabe (Extrahieren, Transformieren und Laden) auszuführen.AWS SCTkonvertiert SSIS-Pakete in ein Format, das kompatibel ist mitAWS Glue Studio. Nachdem Sie Ihre Quelldatenbank auf die migriert habenAWS Cloud, Sie können diese konvertierten ausführenAWS Glue StudioJobs zur Ausführung von ETL-Aufgaben.

Um Microsoft SSIS-Pakete zu konvertierenAWS Glue Studio, stellen Sie sicher, dass SieAWS SCTVersion 1.0.661 oder höher.

Voraussetzungen

In diesem Abschnitt erfahren Sie mehr über die erforderlichen Aufgaben für die Konvertierung von SSIS-Paketen inAWS Glue. Zu diesen Aufgaben gehört das Erstellen von erforderlichenAWSRessourcen in Ihrem Konto.

Du kannst benutzenAWS Identity and Access Management(IAM), um Richtlinien und Rollen zu definieren, die für den Zugriff auf Ressourcen erforderlich sindAWS Glue Studioverwendet. Weitere Informationen finden Sie unterIAM-Berechtigungen für dieAWS Glue StudioBenutzer.

DanachAWS SCTkonvertiert Ihre Quellskripte inAWS Glue Studio, laden Sie die konvertierten Skripts in einen Amazon S3-Bucket hoch. Stellen Sie sicher, dass Sie diesen Amazon S3-Bucket erstellen und ihn imAWSEinstellungen des Serviceprofils. Weitere Hinweise zum Erstellen eines S3-Buckets finden Sie unterErstellen Sie Ihren ersten S3-Bucketin derAmazon Simple Storage Service-Benutzerhandbuch.

Um sicherzustellen, dassAWS Glue Studiokann eine Verbindung zu Ihrem Datenspeicher herstellen, einen benutzerdefinierten Connector und eine Verbindung erstellen. Speichern Sie die Datenbankanmeldeinformationen außerdem inAWS Secrets Manager.

Um einen benutzerdefinierten Connector zu erstellen
  1. Laden Sie den JDBC-Treiber für Ihren Datenspeicher herunter. Für weitere Informationen zu JDBC-Treibern, dieAWS SCTNutzungen, sieheDie erforderlichen Datenbanktreiber werden heruntergeladen.

  2. Laden Sie diese Treiberdatei in Ihren Amazon S3-Bucket hoch. Weitere Informationen finden Sie unterLaden Sie ein Objekt in Ihren Bucket hochin derAmazon Simple Storage Service-Benutzerhandbuch.

  3. Melden Sie sich bei der AWS Management Console an und öffnen Sie die AWS Glue Studio-Konsole unter https://console.aws.amazon.com/gluestudio/.

  4. Wählen SieSteckverbinder, dann wähleBenutzerdefinierten Konnektor erstellen.

  5. FürAnschluss S3 URL, wähleS3 durchstöbern, und wählen Sie die JDBC-Treiberdatei aus, die Sie in Ihren Amazon S3-Bucket hochgeladen haben.

  6. Geben Sie eine Beschreibung einNamefür Ihren Stecker. Geben Sie z. B. ei SQLServer.

  7. FürArt des Steckverbinders, wähleJDBC.

  8. FürName der Klasse, geben Sie den Namen der Hauptklasse für Ihren JDBC-Treiber ein. Geben Sie für SQL Server eincom.microsoft.sqlserver.jdbc.SQLServerDriver.

  9. FürJDBC-URL-Basis, geben Sie die JDBC-Basis-URL ein. Die Syntax der JDBC-Basis-URL hängt von Ihrer Quelldatenbank-Engine ab. Verwenden Sie für SQL Server das folgende Format:jdbc:sqlserver://$<host>:$<port>;databaseName=$<dbname>;user=$<username>;password=$<password>.

    Stellen Sie sicher, dass Sie ersetzen<host>,<port>,<dbname>,<username>, und<password>mit deinen Werten.

  10. FürTrennzeichen für URL-Parameter, geben Sie das Semikolon ein (;).

  11. Wählen Sie Create Connector (Connector erstellen) aus.

Um Datenbankanmeldeinformationen zu speichern inAWS Secrets Manager
  1. Loggen Sie sich ein beiAWS Management Consoleund öffne dieAWS Secrets ManagerKonsole beihttps://console.aws.amazon.com/secretsmanager/.

  2. Wählen Sie Store a new secret (Ein neues Secret speichern).

  3. Führen Sie auf der Seite Choose secret type (Secret-Typ auswählen) die folgenden Schritte aus:

    1. FürGeheimer Typ, wähle denAndere Art von Geheimnis.

    2. FürSchlüssel/Wert-Paare, geben Sie die folgenden Schlüssel ein:host,port,dbname,username, undpassword.

      Geben Sie als Nächstes Ihre Werte für diese Schlüssel ein.

  4. Auf derSecret konfigurierenSeite, geben Sie eine Beschreibung einGeheimer Name. Geben Sie z. B. ei SQL_Server_secret.

  5. Wählen Sie Weiter aus. Dann, auf derRotation konfigurierenSeite, wählenWeiterwieder.

  6. Prüfen Sie auf der Seite Review (Prüfen) die Secret-Details und wählen Sie Store (Speichern).

So stellen Sie eine Verbindung für Ihren Connector her
  1. Melden Sie sich bei der AWS Management Console an und öffnen Sie die AWS Glue Studio-Konsole unter https://console.aws.amazon.com/gluestudio/.

  2. Wählen Sie den Connector aus, für den Sie eine Verbindung erstellen möchten, und wählen Sie dannVerbindung herstellen.

  3. Auf derVerbindung herstellenSeite, geben Sie eine Beschreibung einNamefür deine Verbindung. Geben Sie z. B. ei SQL-Server-connection.

  4. FürAWSGeheim, wähle das Geheimnis, das du in erstellt hastAWS Secrets Manager.

  5. konfigurierenNetzwerk-Optionen, dann wähleVerbindung herstellen.

Jetzt können Sie eine erstellenAWS Glue StudioJob mit einem benutzerdefinierten Konnektor. Weitere Informationen finden Sie unter ErstellenAWS Glue StudioJobs.

Hinzufügen von SSIS-Paketen zu IhremAWS SCTProjekt

Sie können mehrere SSIS-Pakete zu einem einzigen hinzufügenAWS SCTprojekt.

Um ein SSIS-Paket zu Ihrem hinzuzufügenAWS SCTProjekt
  1. Erstellen Sie ein neues Projekt inAWS SCToder öffnen Sie ein bestehendes Projekt. Weitere Informationen finden Sie unter EinAWS SCT Projekt erstellen.

  2. Wählen SieQuelle hinzufügenaus dem Menü, und wählen Sie dannSQL Server-Integrationsdienste.

  3. FürName der Verbindung, geben Sie einen Namen für Ihre SSIS-Pakete ein.AWS SCTzeigt diesen Namen in der Baumstruktur im linken Bereich an.

  4. FürOrdner für SSIS-Pakete, geben Sie den Pfad zu dem Ordner mit den SSIS-Quellpaketen ein.

  5. Wählen SieZiel hinzufügenaus dem Menü, und wählen Sie dannAWS Glue Studio.

    Um eine Verbindung herzustellenAWS Glue Studio,AWS SCTbenutzt deinAWSProfil. Weitere Informationen finden Sie unter Speichern vonAWS Serviceprofilen inAWS SCT.

  6. Erstellen Sie eine Zuordnungsregel, die Ihr SSIS-Quellpaket und IhrAWS Glue StudioZiel. Weitere Informationen finden Sie unter Erstellen von Zuordnungsregeln in AWS SCT.

  7. ErstellenAWS Glue StudioVerbindungen in derAWS Glue StudioKonsole. Weitere Informationen finden Sie unterVerbindungen für Konnektoren erstellen.

  8. Wählen SieVerbindungsmanagerÖffnen Sie im linken Baum das Kontextmenü (Rechtsklick) und wählen Sie dannVerbindungen konfigurieren.

    AWS SCTzeigt dieVerbindungen konfigurierenFenster.

  9. Wählen Sie für jede SSIS-Quellverbindung eineAWS Glue StudioVerbindung.

Konvertierung von SSIS-Paketen inAWS Glue StudiomitAWS SCT

Im Folgenden erfahren Sie, wie Sie SSIS-Pakete konvertieren inAWS Glue Studiounter Verwendung vonAWS SCT.

Um ein SSIS-Paket zu konvertierenAWS Glue Studio
  1. Fügen Sie Ihr SSIS-Paket zu Ihrem hinzuAWS SCTprojekt. Weitere Informationen finden Sie unter Hinzufügen von SSIS-Paketen zu IhremAWS SCTProjekt.

  2. Erweitern Sie im linken Bereich denETLundSSISKnoten.

  3. Wählen SiePakete, öffnen Sie das Kontextmenü (Rechtsklick) und wählen SiePaket konvertieren.

    AWS SCTkonvertiert Ihre ausgewählten SSIS-Pakete in JSON-Dateien. Diese JSON-Objekte stellen einen Knoten in einem gerichteten azyklischen Graphen (DAG) dar. Finden Sie Ihre konvertierten Dateien in derPaket DAGsKnoten im rechten Baum.

  4. Wählen SiePaket DAGs, öffnen Sie das Kontextmenü (Rechtsklick) und wählen SieIn Amazon S3 speichern.

    Jetzt können Sie diese Skripte verwenden, um Jobs in derAWS Glue Studio.

ErstellenAWS Glue StudioJobs, die den konvertierten Code verwenden

Nachdem Sie Ihre SSIS-Quellpakete konvertiert haben, können Sie die konvertierten JSON-Dateien verwenden, umAWS Glue StudioJobs.

Um eine zu erstellenAWS Glue StudioAufgabe
  1. Wählen SiePaket DAGsÖffnen Sie im rechten Baum das Kontextmenü (Rechtsklick) und wählen Sie dannkonfigurierenAWS Glue StudioAufgabe.

  2. (Optional) Wenden Sie das Erweiterungspaket an, das SSIS-Funktionen emuliertAWS Glue Studio.

  3. DerkonfigurierenAWS Glue StudioAufgabeFenster öffnet sich.

    Schließe das abGrundlegende Eigenschaften des JobsAbschnitt:

    • Name— Geben Sie einen Namen IhresAWS Glue StudioBeruf.

    • Name der Skriptdatei— Geben Sie einen Namen für Ihr Job-Skript ein.

    • Jobparameter— Fügen Sie Parameter hinzu und geben Sie deren Werte ein.

    Wählen Sie Weiter aus.

  4. Schließe das abErweiterte JobeigenschaftenAbschnitt:

    • IAM-Rolle— Wählen Sie die IAM-Rolle, die für die Autorisierung verwendet wirdAWS Glue Studiound greifen Sie auf Datenspeicher zu.

    • S3-Pfad der Skriptdatei— Geben Sie den Amazon S3-Pfad zu Ihrem konvertierten Skript ein.

    • Temporäres Verzeichnis— Geben Sie den Amazon S3-Pfad zu einem temporären Verzeichnis für Zwischenergebnisse ein.AWS Glue Studioverwendet dieses Verzeichnis, um in Amazon Redshift zu lesen oder zu schreiben.

    • AWS SCTgeneriert automatisch den Pfad für Python-Bibliotheken. Sie können diesen Pfad überprüfen inGenerierter Python-Bibliothekspfad. Sie können diesen automatisch generierten Pfad nicht bearbeiten. Um zusätzliche Python-Bibliotheken zu verwenden, geben Sie den Pfad einPfad der Python-Bibliothek des Benutzers.

    • Pfad der Python-Bibliothek des Benutzers— Geben Sie die Pfade für zusätzliche Benutzer-Python-Bibliotheken ein. Trennen Sie Amazon S3-Pfade durch Kommas.

    • Pfad für abhängige Jars— Geben Sie die Pfade für abhängige ein*.jarDateien. Trennen Sie Amazon S3-Pfade durch Kommas.

    • Pfad der referenzierten Dateien— Geben Sie die Pfade für zusätzliche Dateien ein, z. B. Konfigurationsdateien, die für Ihr Skript erforderlich sind. Trennen Sie Amazon S3-Pfade durch Kommas.

    • Typ des Arbeiters— Wählen SieG.1XoderG.2X.

      Wenn du wählstG.1XJeder Worker ist 1 DPU zugeordnet (4 vCPU, 16 GB Arbeitsspeicher und 64 GB Festplatte).

      Wenn du wählstG.2XJeder Worker ist 2 DPU (8 vCPU, 32 GB Arbeitsspeicher und 128 GB Festplatte) zugeordnet.

    • Angeforderte Anzahl von Arbeitern— Geben Sie die Anzahl der Mitarbeiter ein, die bei der Ausführung des Jobs zugewiesen werden.

    • Maximale Parallelität— Geben Sie die maximale Anzahl gleichzeitiger Läufe ein, die für diesen Job zulässig sind. Die Standardeinstellung ist 1.AWS Gluegibt einen Fehler zurück, wenn dieser Schwellenwert erreicht ist.

    • Zeitlimit für den Job (Minuten)— Geben Sie den Timeout-Wert für Ihren ETL-Job ein, um sich vor unerwarteten Jobs zu schützen. Die Standardeinstellung ist 2.880 Minuten (48 Stunden) für Batch-Jobs. Wenn der Job diesen Grenzwert überschreitet, ändert sich der Ausführungsstatus des Jobs inTIMEOUT.

    • Schwellenwert für verzögerte Benachrichtigungen (Minuten)— Geben Sie den Schwellenwert in Minuten zuvor einAWS SCTsendet eine Verzögerungsbenachrichtigung.

    • Anzahl der Wiederholungen— Geben Sie ein, wie oft (0—10)AWS Gluesollte den Job automatisch neu starten, falls er fehlschlägt. Jobs, die das Timeout-Limit erreichen, werden nicht neu gestartet. Der Standardwert ist 0.

    Wählen Sie Finish (Abschließen).

    AWS SCTkonfiguriert Ihre ausgewähltenAWS Glue StudioJobs.

  5. Deine konfigurierten Jobs findest du unterStellenangebote bei ETLim rechten Baum. Wählen Sie Ihren konfigurierten Job aus, öffnen Sie das Kontextmenü (Rechtsklick) und wählen Sie dannErstellenAWS Glue StudioAufgabe.

  6. Wählen SieStatus beantragenund stellen Sie sicher, dassStatusWert für Ihren Job istErfolg.

  7. Öffne dieAWS Glue StudioKonsole, wähleAuffrischen, und wähle deinen Job. Wählen Sie anschließend Run (Ausführen) aus.

Erstellen eines Bewertungsberichts für ein SSIS-Paket mitAWS SCT

DerBericht zur Bewertung der ETL-Migrationbietet Informationen zur Konvertierung Ihrer SSIS-Pakete in ein Format, das kompatibel mitAWS Glue Studio. Der Bewertungsbericht enthält Aktionspunkte für die Komponenten Ihrer SSIS-Pakete. Diese Aktionspunkte zeigen, welche KomponentenAWS SCTkann nicht automatisch konvertieren.

Um einen ETL-Migrationsbewertungsbericht zu erstellen
  1. Erweitern Sie dieSSISKnoten unterETLin der linken Leiste.

  2. Wählen SiePakete, öffnen Sie das Kontextmenü (Rechtsklick) und wählen SieBericht erstellen.

  3. Sehen Sie sich dieZusammenfassungTab. Hier,AWS SCTzeigt die Zusammenfassung der Informationen aus dem ETL-Migrationsbewertungsbericht an. Es enthält Konvertierungsergebnisse für alle Komponenten Ihrer SSIS-Pakete.

  4. (Optional) Speichern Sie eine lokale Kopie des ETL-Migrationsbewertungsberichts entweder als PDF-Datei oder als Datei mit kommagetrennten Werten (CSV):

    • Um den ETL-Migrationsbewertungsbericht als PDF-Datei zu speichern, wählen SieAls PDF speichernoben rechts.

      Die PDF-Datei enthält die Zusammenfassung, Aktionspunkte und Empfehlungen für die Konvertierung von Skripten.

    • Um den ETL-Migrationsbewertungsbericht als CSV-Datei zu speichern, wählen SieIn CSV speichernoben rechts.

      AWS SCTerstellt drei CSV-Dateien. Diese Dateien enthalten Aktionselemente, Handlungsempfehlungen und eine geschätzte Komplexität des manuellen Aufwands, der zur Konvertierung der Skripts erforderlich ist.

  5. Wählen Sie dieAktionspunkteTab. Diese Registerkarte enthält eine Liste von Elementen, für die eine manuelle Konvertierung erforderlich istAWS Glue Studio. Wenn Sie ein Aktionselement aus der Liste auswählen,AWS SCThebt das Element aus Ihrem SSIS-Quellpaket hervor, für das sich das Aktionselement bezieht.

SSIS-Komponenten, dieAWS SCTkann konvertieren inAWS Glue Studio

Du kannst benutzenAWS SCTum SSIS-Datenflusskomponenten und -Parameter zu konvertierenAWS Glue Studio.

Zu den unterstützten Datenflusskomponenten gehören die folgenden:

  • ADO NET-Ziel

  • ADO NET-Quelle

  • Aggregate

  • Charakterkarte

  • Bedingte Aufteilung

  • Spalte kopieren

  • Datenkonvertierung

  • Abgeleitete Spalte

  • Nachschlagen

  • Merge

  • Merge Join

  • Multicast

  • ODBC-Ziel

  • ODBC-Quelle

  • OleDB-Ziel

  • OLEDB-Quelle

  • Anzahl der Zeilen

  • Sortierung

  • SQL Server-Ziel

  • Alle vereinigen

AWS SCTkann mehr SSIS-Komponenten konvertieren inAWS Glue. Weitere Informationen finden Sie unter SSIS-Komponenten, dieAWS SCTkann konvertieren inAWS Glue.