Verbindung zu Netezza herstellen mit AWS Schema Conversion Tool

Sie können AWS SCT es verwenden, um Schemas, Codeobjekte und Anwendungscode von Netezza nach Amazon Redshift zu konvertieren.

Rechte für Netezza als Quelle

Für die Verwendung von Netezza als Quelle sind die folgenden Rechte erforderlich:

• wählen Sie in der Ansicht system.definition_schema.system

• wählen Sie in der Tabelle system.definition_schema.system

• wählen Sie in der Tabelle system.definition_schema.management

• Liste auf <database_name>

• Liste auf <schema_name>

• auf <database_name> .all.table auflisten

• Liste in der Tabelle .all.external <database_name>

• Liste auf .all.view <database_name>

• Liste in der Ansicht „.all.materialized“ <database_name>

• Liste auf <database_name> .all.procedure

• Liste auf .all.sequence <database_name>

• Liste auf .all.function <database_name>

• Liste auf .all.aggregate <database_name>

Ersetzen Sie im vorherigen Beispiel die Platzhalter wie folgt:

• database_nameErsetzen Sie durch den Namen der Quelldatenbank.

• schema_nameErsetzen Sie durch den Namen des Quellschemas.

AWS SCT erfordert Zugriff auf die folgenden Systemtabellen und Ansichten. Sie können Zugriff auf diese Objekte gewähren, anstatt Zugriff auf system.definition_schema.system view und system.definition_schema.system tables in der obigen Liste zu gewähren.

• wählen Sie auf system.definition_schema aus. _t_aggregate

• wählen Sie auf system.definition_schema aus. _t_class

• wählen Sie auf system.definition_schema aus. _t_constraint

• wählen Sie auf system.definition_schema aus. _t_const_relattr

• wählen Sie auf system.definition_schema aus. _t_database

• wählen Sie auf system.definition_schema aus. _t_grobj_priv

• wählen Sie auf system.definition_schema aus. _t_grpusr

• wählen Sie auf system.definition_schema aus. _t_hist_config

• wählen Sie auf system.definition_schema aus. _t_object

• wählen Sie auf system.definition_schema aus. _t_object_classes

• wählen Sie auf system.definition_schema aus. _t_proc

• wählen Sie auf system.definition_schema aus. _t_type

• wählen Sie auf system.definition_schema aus. _t_user

• wählen Sie auf system.definition_schema aus. _t_usrobj_priv

• wählen Sie auf system.definition_schema aus. _vt_sequence

• wählen Sie auf system.definition_schema aus. _v_aggregate

• wählen Sie auf system.definition_schema aus. _v_constraint_depends

• wählen Sie auf system.definition_schema aus. _v_database

• wählen Sie auf system.definition_schema aus. _v_datatype

• wählen Sie auf system.definition_schema aus. _v_dslice

• wählen Sie auf system.definition_schema aus. _v_function

• wählen Sie auf system.definition_schema aus. _v_group

• wählen Sie auf system.definition_schema aus. _v_obj_relation

• wählen Sie auf system.definition_schema aus. _v_obj_relation_xdb

• wählen Sie auf system.definition_schema aus. _v_procedure

• wählen Sie auf system.definition_schema aus. _v_relation_column

• wählen Sie auf system.definition_schema aus. _v_relation_keydata

• wählen Sie auf system.definition_schema aus. _v_relobjclasses

• wählen Sie auf system.definition_schema aus. _v_schema_xdb

• wählen Sie auf system.definition_schema aus. _v_sequence

• wählen Sie auf system.definition_schema aus. _v_Synonym

• wählen Sie auf system.definition_schema aus. _v_system_info

• wählen Sie auf system.definition_schema aus. _v_sys_constraint

• wählen Sie auf system.definition_schema aus. _v_sys_object_dslice_info

• wählen Sie auf system.definition_schema aus. _v_sys_user

• wählen Sie auf system.definition_schema aus. _v_table

• wählen Sie auf system.definition_schema aus. _v_table_constraint

• wählen Sie auf system.definition_schema aus. _v_table_dist_map

• wählen Sie auf system.definition_schema aus. _v_table_organize_column

• wählen Sie auf system.definition_schema aus. _v_table_storage_stat

• wählen Sie auf system.definition_schema aus. _v_user

• wählen Sie auf system.definition_schema aus. _v_view

• wählen Sie auf system.information_schema aus. _v_relation_column

• wählen Sie auf system.information_schema aus. _v_table

• wählen Sie auf $hist_column_access_*

Verbindung zu Netezza als Quelle herstellen

Gehen Sie wie nachfolgend beschrieben vor, um mit dem AWS Schema Conversion Tool eine Verbindung zu Ihrer Netezza-Quelldatenbank herzustellen.

So stellen Sie eine Verbindung zu einer Netezza-Quelldatenbank her

1. Wählen Sie im die AWS Schema Conversion Tool Option Quelle hinzufügen.

2. Wählen Sie Netezza und dann Weiter.

   Das Dialogfeld „Quelle hinzufügen“ wird angezeigt.

3. Geben Sie unter Verbindungsname einen Namen für Ihre Datenbank ein. AWS SCT zeigt diesen Namen in der Baumstruktur im linken Bereich an.

4. Verwenden Sie die Datenbankanmeldedaten von AWS Secrets Manager oder geben Sie sie manuell ein:

   • Gehen Sie wie folgt vor, um Datenbankanmeldedaten von Secrets Manager zu verwenden:

     1. Wählen Sie für AWS Secret den Namen des Secrets aus.

     2. Wählen Sie Auffüllen, um alle Werte im Datenbankverbindungsdialogfeld von Secrets Manager automatisch auszufüllen.

     Hinweise zur Verwendung von Datenbankanmeldedaten von Secrets Manager finden Sie unterKonfiguration AWS Secrets Manager in der AWS Schema Conversion Tool.

   • Gehen Sie wie folgt vor, um die Verbindungsinformationen zur Netezza-Quelldatenbank manuell einzugeben:

     Parameter	Aktion
     Server name	Geben Sie den DNS-Namen (Domain Name System) oder die IP-Adresse Ihres Quelldatenbankservers ein.
     Server port	Geben Sie den Port ein, der für die Verbindung zum Quelldatenbankserver verwendet wird.
     User name und Password	Geben Sie die Datenbankanmeldedaten ein, um eine Verbindung zu Ihrem Quelldatenbankserver herzustellen. AWS SCT verwendet das Passwort nur dann, um eine Verbindung zu Ihrer Quelldatenbank herzustellen, wenn Sie sich dafür entscheiden, eine Verbindung zu Ihrer Datenbank in einem Projekt herzustellen. Um zu verhindern, dass das Passwort für Ihre Quelldatenbank preisgegeben wird, speichert das Passwort standardmäßig AWS SCT nicht. Wenn Sie Ihr AWS SCT -Projekt schließen und erneut öffnen, müssen Sie das Passwort für die Verbindung zur Quelldatenbank bei Bedarf erneut eingeben.
     Passwort speichern	AWS SCT erstellt einen sicheren Tresor zum Speichern von SSL-Zertifikaten und Datenbankkennwörtern. Wenn Sie diese Option aktivieren, können Sie das Datenbankkennwort speichern und schnell eine Verbindung zur Datenbank herstellen, ohne das Passwort eingeben zu müssen.
     Netezza-Treiberpfad	Geben Sie den Pfad zum Treiber ein, der für die Verbindung zur Quelldatenbank verwendet wird. Weitere Informationen finden Sie unter Installation von JDBC-Treibern für AWS Schema Conversion Tool. Wenn Sie den Treiberpfad in den globalen Projekteinstellungen speichern, wird der Pfad im Verbindungsdialogfeld nicht angezeigt. Weitere Informationen finden Sie unter Speichern von Treiberpfaden in den globalen Einstellungen.

5. Wählen Sie Verbindung testen, um zu überprüfen, ob eine Verbindung zu Ihrer Quelldatenbank hergestellt werden AWS SCT kann.

6. Wählen Sie Connect, um eine Verbindung zu Ihrer Quelldatenbank herzustellen.

Konfiguration der fortlaufenden Datenreplikation

Nachdem Sie Ihre Netezza-Datenbankschemas konvertiert und auf Ihre Amazon Redshift Redshift-Datenbank angewendet haben, können Sie Daten mit AWS SCT Datenextraktionsagenten migrieren. Der Agent extrahiert Ihre Daten und lädt sie in Ihren Amazon S3 S3-Bucket hoch. Anschließend können Sie die Daten von Amazon S3 nach Amazon Redshift kopieren. AWS SCT

Wenn sich Daten in Ihrer Quelldatenbank während des Migrationsprozesses ändern, können Sie laufende Änderungen mit Ihren AWS SCT Datenextraktionsagenten erfassen. Anschließend können Sie diese laufenden Änderungen in Ihrer Zieldatenbank replizieren, nachdem Sie die erste Datenmigration abgeschlossen haben. Dieser Vorgang wird als fortlaufende Datenreplikation oder Change Data Capture (CDC) bezeichnet.

So konfigurieren Sie die fortlaufende Datenreplikation für Migrationen von Netezza zu Amazon Redshift

1. Erstellen Sie in Ihrer Quelldatenbank eine Verlaufsdatenbank. Sie können das folgende Codebeispiel in der Netezza-Befehlszeilenschnittstelle (CLI) verwenden.

   nzhistcreatedb -d history_database_name -t query -v 1 -u load_user -o histdb_owner -p your_password

   Ersetzen Sie es im vorherigen Beispiel history_database_name durch den Namen Ihrer Verlaufsdatenbank. Ersetzen Sie es anschließend load_user durch den Namen des Benutzers, den Sie für das Laden von Verlaufsdaten in die Datenbank definiert haben. histdb_ownerErsetzen Sie es dann durch den Namen des Benutzers, den Sie als Eigentümer der Verlaufsdatenbank definiert haben. Stellen Sie sicher, dass Sie diesen Benutzer bereits erstellt und die CREATE DATABASE Erlaubnis erteilt haben. Ersetzen Sie es abschließend your_password durch ein sicheres Passwort.

2. Konfigurieren Sie die Verlaufsprotokollierung. Verwenden Sie dazu das folgende Codebeispiel.

   CREATE HISTORY CONFIGURATION history_configuration_name HISTTYPE QUERY
       DATABASE history_database_name USER load_user PASSWORD your_password COLLECT PLAN, COLUMN
       LOADINTERVAL 1 LOADMINTHRESHOLD 0 LOADMAXTHRESHOLD 0 STORAGELIMIT 25
       LOADRETRY 2 VERSION 1;

   Ersetzen Sie im vorherigen Beispiel history_configuration_name und history_database_name durch die Namen Ihrer Verlaufskonfiguration und Ihrer Verlaufsdatenbank. Ersetzen Sie es anschließend load_user durch den Namen des Benutzers, den Sie für das Laden von Verlaufsdaten in die Datenbank definiert haben. Ersetzen Sie es dann your_password durch ein sicheres Passwort.

3. Erteilen Sie Leseberechtigungen für alle Tabellen in der Verlaufsdatenbank. Sie können das folgende Codebeispiel verwenden, um die SELECT Berechtigung zu erteilen.

   GRANT SELECT ON history_database_name.ALL.TABLE TO your_user;

   Ersetzen Sie es im vorherigen Beispiel history_database_name durch den Namen Ihrer Verlaufsdatenbank. Als Nächstes ersetzen Sie ihn durch your_user den Namen des Benutzers mit minimalen Rechten für die Arbeit mit Ihrer Netezza-Datenbank. Sie verwenden die Anmeldeinformationen dieses Datenbankbenutzers in. AWS SCT

4. Sammeln Sie Statistiken für jede Tabelle in Ihrem Quellschema, um Informationen über die Kardinalität der Spalten zu erhalten. Sie können den folgenden Befehl verwenden, um Statistiken in Ihrer Verlaufsdatenbank zu generieren.

   GENERATE STATISTICS on "schema_name"."table_name";

   Ersetzen Sie im vorherigen Beispiel schema_name und table_name durch den Namen Ihres Datenbankschemas und der Tabelle.

5. Stellen Sie sicher, dass Sie die Voraussetzungen erfüllt haben, indem Sie die folgende Abfrage ausführen:

   SELECT COUNT(*) FROM history_database_name.history_schema_name."$hist_column_access_N";

   Ersetzen Sie im vorherigen Beispiel history_database_name und history_schema_name durch den Namen Ihrer Verlaufsdatenbank und Ihres Schemas. Als Nächstes N ersetzen Sie es durch die Versionsnummer Ihrer Verlaufsdatenbank. Weitere Informationen zu historischen Datenbankversionen finden Sie in der IBM Netezza-Dokumentation.

6. Installieren Sie Ihre Datenextraktionsagenten. Weitere Informationen finden Sie unter Installation von Extraktionsagenten.

   Stellen Sie sicher, dass der {working.folder} Parameter in der settings.properties Datei für alle Extraktor-Instanzen auf denselben Ordner verweist. In diesem Fall können Ihre Extraktoren die CDC-Sitzung koordinieren und einen einzigen Transaktionspunkt für alle Unteraufgaben verwenden.

7. Registrieren Sie Ihren Datenextraktionsagenten. Weitere Informationen finden Sie unter Registrierung von Extraktionsagenten mit dem AWS Schema Conversion Tool.

8. Erstellen Sie Ihre CDC-Aufgabe. Weitere Informationen finden Sie unter Eine AWS SCT Aufgabe erstellen, ausführen und überwachen.

   1. Öffnen Sie Ihr Projekt in AWS SCT. Wählen Sie im linken Bereich Ihre Quelltabelle aus. Öffnen Sie das Kontextmenü (Rechtsklick) und wählen Sie Lokale Aufgabe erstellen.

   2. Geben Sie unter Aufgabenname einen aussagekräftigen Namen für Ihre Datenmigrationsaufgabe ein.

   3. Wählen Sie für den Migrationsmodus Extrahieren, Hochladen und Kopieren aus.

   4. Wählen Sie CDC aktivieren aus.

   5. Wählen Sie die Registerkarte CDC-Einstellungen und definieren Sie den Umfang und den Zeitplan der CDC-Sitzungen.

   6. Wählen Sie Testaufgabe, um zu überprüfen, ob Sie eine Verbindung zu Ihrem Arbeitsordner, Amazon S3 S3-Bucket und Amazon Redshift Data Warehouse herstellen können.

   7. Wählen Sie Erstellen, um Ihre Aufgabe zu erstellen.

   8. Wählen Sie die Registerkarte Aufgaben, wählen Sie Ihre Aufgabe aus der Liste aus und klicken Sie auf Start.

9. Die AWS SCT Aufgabe gewährleistet die Transaktionskonsistenz in der Zieldatenbank. Der Datenextraktionsagent repliziert Transaktionen aus der Quelle in der Reihenfolge der Transaktions-IDs.

   Wenn Sie eine der Migrationssitzungen beenden oder wenn sie fehlschlägt, wird auch die CDC-Verarbeitung gestoppt.

Einstellungen für die Konvertierung von Netezza nach Amazon Redshift

Um die Konvertierungseinstellungen von Netezza zu Amazon Redshift zu bearbeiten, wählen Sie Einstellungen in AWS SCT und dann Konvertierungseinstellungen. Wählen Sie in der oberen Liste Netezza und dann Netezza — Amazon Redshift aus. AWS SCT zeigt alle verfügbaren Einstellungen für die Konvertierung von Netezza zu Amazon Redshift an.

Die Konvertierungseinstellungen von Netezza zu Amazon Redshift AWS SCT enthalten Optionen für Folgendes:

• Um die Anzahl der Kommentare mit Aktionselementen im konvertierten Code zu begrenzen.

  Wählen Sie für Hinzufügen von Kommentaren zum konvertierten Code für Aktionselemente mit ausgewähltem Schweregrad und höherem Schweregrad den Schweregrad der Aktionspunkte aus. AWS SCT fügt dem konvertierten Code Kommentare für Aktionspunkte mit dem ausgewählten Schweregrad und höher hinzu.

  Beispiel: Um die Anzahl der Kommentare im konvertierten Code zu minimieren, wählen Sie Nur Fehler aus. Um Kommentare zu allen Aktionselementen in den konvertierten Code aufzunehmen, wählen Sie Alle Nachrichten aus.

• Um die maximale Anzahl von Tabellen festzulegen, die für Ihren Amazon Redshift Redshift-Zielcluster gelten AWS SCT können.

  Wählen Sie unter Die maximale Anzahl von Tabellen für den Amazon Redshift Redshift-Zielcluster die Anzahl der Tabellen aus, die für Ihren Amazon Redshift Redshift-Cluster gelten AWS SCT können.

  Amazon Redshift verfügt über Kontingente, die die Verwendungstabellen für verschiedene Cluster-Knotentypen einschränken. Wenn Sie Auto wählen, AWS SCT bestimmt die Anzahl der Tabellen, die auf Ihren Amazon Redshift Redshift-Zielcluster angewendet werden sollen, je nach Knotentyp. Wählen Sie den Wert optional manuell aus. Weitere Informationen finden Sie unter Kontingente und Limits in Amazon Redshift im Verwaltungshandbuch zu Amazon Redshift.

  AWS SCT konvertiert all Ihre Quelltabellen, auch wenn das mehr ist, als Ihr Amazon Redshift Redshift-Cluster speichern kann. AWS SCT speichert den konvertierten Code in Ihrem Projekt und wendet ihn nicht auf die Zieldatenbank an. Wenn Sie beim Anwenden des konvertierten Codes das Amazon Redshift Redshift-Clusterkontingent für die Tabellen erreichen, wird eine Warnmeldung AWS SCT angezeigt. AWS SCT Wendet außerdem Tabellen auf Ihren Amazon Redshift Redshift-Zielcluster an, bis die Anzahl der Tabellen das Limit erreicht.

• Um die Komprimierung auf Amazon Redshift Redshift-Tabellenspalten anzuwenden. Wählen Sie dazu Kompressionskodierung verwenden aus.

  AWS SCT weist Spalten mithilfe des standardmäßigen Amazon Redshift Redshift-Algorithmus automatisch eine Komprimierungskodierung zu. Weitere Informationen finden Sie unter Kompressionskodierungen im Amazon Redshift Database Developer Guide.

  Standardmäßig wendet Amazon Redshift keine Komprimierung auf Spalten an, die als Sortier- und Verteilungsschlüssel definiert sind. Sie können dieses Verhalten ändern und die Komprimierung auf diese Spalten anwenden. Wählen Sie dazu die Option Komprimierungskodierung für KEY-Spalten verwenden aus. Sie können diese Option nur auswählen, wenn Sie die Option Komprimierungskodierung verwenden auswählen.

Einstellungen zur Optimierung der Konvertierung von Netezza nach Amazon Redshift

Um die Einstellungen für die Konvertierungsoptimierung von Netezza zu Amazon Redshift zu bearbeiten, wählen Sie Einstellungen in AWS SCT und dann Konvertierungseinstellungen aus. Wählen Sie in der oberen Liste Netezza und dann Netezza — Amazon Redshift aus. Wählen Sie im linken Bereich Optimierungsstrategien aus. AWS SCT zeigt Einstellungen zur Konvertierungsoptimierung für die Konvertierung von Netezza zu Amazon Redshift an.

Die Einstellungen zur Optimierung der Konvertierung von Netezza zu Amazon Redshift AWS SCT umfassen Optionen für Folgendes:

• Um mit der automatischen Tabellenoptimierung zu arbeiten. Wählen Sie dazu Automatische Tabellenoptimierung von Amazon Redshift verwenden aus.

  Die automatische Tabellenoptimierung ist ein sich selbst optimierender Prozess in Amazon Redshift, der das Design von Tabellen automatisch optimiert. Weitere Informationen finden Sie unter Arbeiten mit automatischer Tabellenoptimierung im Amazon Redshift Database Developer Guide.

  Wenn Sie sich nur auf die automatische Tabellenoptimierung verlassen möchten, wählen Sie „Keine“ als Strategie für die anfängliche Schlüsselauswahl.

• Um Sortier- und Verteilungsschlüssel anhand Ihrer Strategie auszuwählen.

  Sie können Sortier- und Verteilungsschlüssel mithilfe von Amazon Redshift Redshift-Metadaten, statistischen Informationen oder beiden Optionen auswählen. Wählen Sie für Strategie zur ersten Schlüsselauswahl auf der Registerkarte Optimierungsstrategien eine der folgenden Optionen:

  • Verwenden Sie Metadaten, ignorieren Sie statistische Informationen

  • Ignoriere Metadaten, verwende statistische Informationen

  • Verwenden Sie Metadaten und statistische Informationen

  Je nachdem, welche Option Sie wählen, können Sie Optimierungsstrategien auswählen. Geben Sie dann für jede Strategie den Wert (0—100) ein. Diese Werte definieren das Gewicht jeder Strategie. Anhand dieser Gewichtungswerte AWS SCT wird definiert, wie sich jede Regel auf die Wahl der Verteilungs- und Sortierschlüssel auswirkt. Die Standardwerte basieren auf den bewährten Methoden für die AWS Migration.

  Sie können die Größe kleiner Tabellen für die Strategie „Kleine Tabellen suchen“ definieren. Geben Sie für Min. Tabellenzeilenanzahl und Max. Tabellenzeilenanzahl die Mindest- und Höchstanzahl von Zeilen in einer Tabelle ein, um sie als kleine Tabelle zu definieren. AWS SCT wendet den ALL Verteilungsstil auf kleine Tabellen an. In diesem Fall wird eine Kopie der gesamten Tabelle an jeden Knoten verteilt.

• Um Strategiedetails zu konfigurieren.

  Sie können nicht nur die Gewichtung für jede Optimierungsstrategie definieren, sondern auch die Optimierungseinstellungen konfigurieren. Wählen Sie dazu Konversionsoptimierung aus.

  • Geben Sie unter Limit für Sortierschlüsselspalten die maximale Anzahl von Spalten im Sortierschlüssel ein.

  • Geben Sie für Schrägschwellenwert den Prozentsatz (0—100) eines schiefen Werts für eine Spalte ein. AWS SCT schließt Spalten, bei denen der Schrägwert größer als der Schwellenwert ist, aus der Kandidatenliste für den Verteilungsschlüssel aus. AWS SCT definiert den schiefen Wert für eine Spalte als das prozentuale Verhältnis der Anzahl der Vorkommen des am häufigsten vorkommenden Werts zur Gesamtzahl der Datensätze.

  • Geben Sie für die Top N-Abfragen aus der Tabelle mit dem Abfrageverlauf die Anzahl (1—100) der am häufigsten zu analysierenden Abfragen ein.

  • Wählen Sie unter Statistikbenutzer auswählen den Datenbankbenutzer aus, für den Sie die Abfragestatistiken analysieren möchten.

  Außerdem können Sie auf der Registerkarte Optimierungsstrategien die Größe kleiner Tabellen für die Strategie „Kleine Tabellen suchen“ definieren. Geben Sie für Min. Tabellenzeilenanzahl und Max. Tabellenzeilenanzahl die Mindest- und Höchstanzahl von Zeilen in einer Tabelle ein, um sie als kleine Tabelle zu betrachten. AWS SCT wendet den ALL Verteilungsstil auf kleine Tabellen an. In diesem Fall wird eine Kopie der gesamten Tabelle an jeden Knoten verteilt.