Verbindung zu Google herstellen BigQuery mit AWS Schema Conversion Tool

Sie können AWS SCT es verwenden, um Schemas, Codeobjekte und Anwendungscode von BigQuery zu Amazon Redshift zu konvertieren.

Rechte für BigQuery als Quelle

Um ein BigQuery Data Warehouse als Quelle in zu verwenden AWS SCT, erstellen Sie ein Dienstkonto. In Google Cloud verwenden Anwendungen Dienstkonten, um autorisierte API Anrufe zu tätigen. Dienstkonten unterscheiden sich von Benutzerkonten. Weitere Informationen finden Sie unter Dienstkonten in der Google Cloud Identity and Access Management-Dokumentation.

Stellen Sie sicher, dass Sie Ihrem Dienstkonto die folgenden Rollen zuweisen:

• BigQuery Admin

• Storage Admin

Die BigQuery Admin Rolle bietet Berechtigungen zur Verwaltung aller Ressourcen innerhalb des Projekts. AWS SCT verwendet diese Rolle, um Ihre BigQuery Metadaten in das Migrationsprojekt zu laden.

Die Storage Admin Rolle gewährt die volle Kontrolle über Datenobjekte und Buckets. Sie finden diese Rolle unterCloud Storage. AWS SCT verwendet diese Rolle, um Ihre Daten aus Amazon Redshift zu extrahieren BigQuery und sie dann in Amazon Redshift zu laden.

Um eine Dienstkonto-Schlüsseldatei zu erstellen

1. Melden Sie sich unter https://console.cloud.google.com/ bei der Google Cloud-Verwaltungskonsole an.

2. Wählen Sie auf der BigQuery APISeite „Aktivieren“ aus. Überspringen Sie diesen Schritt, wenn Sie APIAktiviert sehen.

3. Wählen Sie auf der Seite Dienstkonten Ihr Projekt aus und klicken Sie dann auf Dienstkonto erstellen.

4. Geben Sie auf der Seite mit den Dienstkontodetails einen beschreibenden Wert für den Namen des Dienstkontos ein. Wählen Sie Erstellen und fortfahren. Die Seite „Diesem Dienstkonto Zugriff auf das Projekt gewähren“ wird geöffnet.

5. Wählen Sie unter Rolle auswählen BigQuerydie Option und anschließend BigQuery Admin aus.

6. Wählen Sie Weitere Rolle hinzufügen aus. Wählen Sie für Rolle auswählen die Option Cloud Storage und dann Storage Admin aus.

7. Wählen Sie Weiter und dann Fertig.

8. Wählen Sie auf der Seite Dienstkonten das Dienstkonto aus, das Sie erstellt haben.

9. Wählen Sie Schlüssel und dann unter Schlüssel hinzufügen die Option Neuen Schlüssel erstellen aus.

10. Wählen Sie JSON (Kapazitätsreservierungen) und dann Create (Kapazitätsreservierung erstellen) aus. Wählen Sie den Ordner aus, in dem Ihr privater Schlüssel gespeichert werden soll, oder wählen Sie den Standardordner für Downloads in Ihrem Browser aus.

Um Daten aus einem BigQuery Data Warehouse zu extrahieren, AWS SCT wird der Bucket-Ordner von Google Cloud Storage verwendet. Erstellen Sie diesen Bucket, bevor Sie mit der Datenmigration beginnen. Geben Sie im Dialogfeld „Lokale Aufgabe erstellen“ den Pfad zu Ihrem Google Cloud Storage-Bucket-Ordner ein. Weitere Informationen finden Sie unter Eine AWS SCT Aufgabe erstellen, ausführen und überwachen.

Verbindung zu BigQuery als Quelle herstellen

Gehen Sie wie folgt vor, um mit dem eine Verbindung zu Ihrem BigQuery Quellprojekt herzustellen AWS Schema Conversion Tool.

So stellen Sie eine Verbindung zu einem BigQuery Quell-Data Warehouse her

1. Wählen Sie im AWS Schema Conversion Tool die Option Quelle hinzufügen aus.

2. Wählen BigQuerySie und dann Weiter.

   Das Dialogfeld „Quelle hinzufügen“ wird angezeigt.

3. Geben Sie unter Verbindungsname einen Namen für Ihr BigQuery Projekt ein. AWS SCT zeigt diesen Namen in der Baumstruktur im linken Bereich an.

4. Geben Sie unter Schlüsselpfad den Pfad zur Schlüsseldatei des Dienstkontos ein. Weitere Informationen zum Erstellen dieser Datei finden Sie unterRechte für BigQuery als Quelle.

5. Wählen Sie Verbindung testen, um zu überprüfen, ob eine Verbindung zu Ihrem BigQuery Quellprojekt hergestellt werden AWS SCT kann.

6. Wählen Sie Connect, um eine Verbindung zu Ihrem BigQuery Quellprojekt herzustellen.

Einschränkungen bei der Verwendung BigQuery als Quelle für AWS SCT

Bei der Verwendung BigQuery als Quelle für gelten die folgenden Einschränkungen AWS SCT:

• AWS SCT unterstützt die Konvertierung von Unterabfragen in Analysefunktionen nicht.

• Sie können nicht AWS SCT zur Konvertierung BigQuery SELECT AS STRUCT von AND-Anweisungen verwenden. SELECT AS VALUE

• AWS SCT unterstützt die Konvertierung der folgenden Funktionstypen nicht:

  • Ungefähre Summe

  • Bit

  • Debugging

  • Föderierte Abfrage

  • Geografie

  • Hash

  • Mathematisch

  • Netz

  • Statistisches Aggregat

  • UUID

• AWS SCT bietet eingeschränkte Unterstützung für die Konvertierung von Zeichenkettenfunktionen.

• AWS SCT unterstützt die Konvertierung von UNNEST Operatoren nicht.

• Sie können korrelierte Join-Operationen nicht in AWS SCT konvertieren.

• AWS SCT unterstützt die Konvertierung vonQUALIFY,WINDOW, und LIMIT OFFSET -Klauseln nicht.

• Sie können es nicht verwenden AWS SCT , um rekursive allgemeine Tabellenausdrücke zu konvertieren.

• AWS SCT unterstützt nicht die Konvertierung von INSERT Anweisungen mit Unterabfragen innerhalb VALUES von Klauseln.

• AWS SCT unterstützt nicht die Konvertierung von UPDATE Anweisungen für verschachtelte Felder und wiederholte Datensätze.

• Sie können die Konvertierung von STRUCT ARRAY Datentypen nicht verwenden AWS SCT .

BigQuery zu Amazon Redshift Redshift-Konvertierungseinstellungen

Um die Konvertierungseinstellungen BigQuery zu Amazon Redshift zu bearbeiten, wählen Sie Einstellungen in AWS SCT und dann Konvertierungseinstellungen. Wählen Sie in der oberen Liste Google BigQuery und dann Google BigQuery — Amazon Redshift aus. AWS SCT zeigt alle verfügbaren Einstellungen für die Konvertierung BigQuery zu Amazon Redshift an.

BigQuery zu Amazon Redshift Redshift-Konvertierungseinstellungen in AWS SCT enthalten Optionen für Folgendes:

• Um die Anzahl der Kommentare mit Aktionselementen im konvertierten Code zu begrenzen.

  Wählen Sie für Hinzufügen von Kommentaren zum konvertierten Code für Aktionselemente mit ausgewähltem Schweregrad und höherem Schweregrad den Schweregrad der Aktionspunkte aus. AWS SCT fügt dem konvertierten Code Kommentare für Aktionspunkte mit dem ausgewählten Schweregrad und höher hinzu.

  Beispiel: Um die Anzahl der Kommentare im konvertierten Code zu minimieren, wählen Sie Nur Fehler aus. Um Kommentare zu allen Aktionselementen in den konvertierten Code aufzunehmen, wählen Sie Alle Nachrichten aus.

• Um die maximale Anzahl von Tabellen festzulegen, die für Ihren Amazon Redshift Redshift-Zielcluster gelten AWS SCT können.

  Wählen Sie unter Die maximale Anzahl von Tabellen für den Amazon Redshift Redshift-Zielcluster die Anzahl der Tabellen aus, die für Ihren Amazon Redshift Redshift-Cluster gelten AWS SCT können.

  Amazon Redshift verfügt über Kontingente, die die Verwendungstabellen für verschiedene Cluster-Knotentypen einschränken. Wenn Sie Auto wählen, AWS SCT bestimmt die Anzahl der Tabellen, die auf Ihren Amazon Redshift Redshift-Zielcluster angewendet werden sollen, je nach Knotentyp. Wählen Sie den Wert optional manuell aus. Weitere Informationen finden Sie unter Kontingente und Limits in Amazon Redshift im Verwaltungshandbuch zu Amazon Redshift.

  AWS SCT konvertiert all Ihre Quelltabellen, auch wenn das mehr ist, als Ihr Amazon Redshift Redshift-Cluster speichern kann. AWS SCT speichert den konvertierten Code in Ihrem Projekt und wendet ihn nicht auf die Zieldatenbank an. Wenn Sie beim Anwenden des konvertierten Codes das Amazon Redshift Redshift-Clusterkontingent für die Tabellen erreichen, wird eine Warnmeldung AWS SCT angezeigt. AWS SCT Wendet außerdem Tabellen auf Ihren Amazon Redshift Redshift-Zielcluster an, bis die Anzahl der Tabellen das Limit erreicht.

• Um die Komprimierung auf Amazon Redshift Redshift-Tabellenspalten anzuwenden. Wählen Sie dazu Kompressionskodierung verwenden aus.

  AWS SCT weist Spalten mithilfe des standardmäßigen Amazon Redshift Redshift-Algorithmus automatisch eine Komprimierungskodierung zu. Weitere Informationen finden Sie unter Kompressionskodierungen im Amazon Redshift Database Developer Guide.

  Standardmäßig wendet Amazon Redshift keine Komprimierung auf Spalten an, die als Sortier- und Verteilungsschlüssel definiert sind. Sie können dieses Verhalten ändern und die Komprimierung auf diese Spalten anwenden. Wählen Sie dazu die Option Komprimierungskodierung für KEY Spalten verwenden aus. Sie können diese Option nur auswählen, wenn Sie die Option Komprimierungskodierung verwenden auswählen.

BigQuery zu den Einstellungen für die Konvertierungsoptimierung von Amazon Redshift

Um die Einstellungen BigQuery für die Konversionsoptimierung in Amazon Redshift zu ändern, wählen Sie Einstellungen in AWS SCT und dann Konvertierungseinstellungen aus. Wählen Sie in der oberen Liste Google BigQuery und dann Google BigQuery — Amazon Redshift aus. Wählen Sie im linken Bereich Optimierungsstrategien aus. AWS SCT zeigt Einstellungen zur Konvertierungsoptimierung für die BigQuery Konvertierung in Amazon Redshift an.

BigQuery zu den Einstellungen für die Amazon Redshift Redshift-Konversionsoptimierung, AWS SCT einschließlich Optionen für Folgendes:

• Um mit der automatischen Tabellenoptimierung zu arbeiten. Wählen Sie dazu die Option Automatische Tabellenoptimierung von Amazon Redshift verwenden aus.

  Die automatische Tabellenoptimierung ist ein sich selbst optimierender Prozess in Amazon Redshift, der das Design von Tabellen automatisch optimiert. Weitere Informationen finden Sie unter Arbeiten mit automatischer Tabellenoptimierung im Amazon Redshift Database Developer Guide.

  Wenn Sie sich nur auf die automatische Tabellenoptimierung verlassen möchten, wählen Sie für Strategie zur anfänglichen Schlüsselauswahl die Option Keine aus.

• Um Sortier- und Verteilungsschlüssel anhand Ihrer Strategie auszuwählen.

  Sie können Sortier- und Verteilungsschlüssel mithilfe von Amazon Redshift Redshift-Metadaten, statistischen Informationen oder beiden Optionen auswählen. Wählen Sie für Strategie zur ersten Schlüsselauswahl auf der Registerkarte Optimierungsstrategien eine der folgenden Optionen:

  • Verwenden Sie Metadaten, ignorieren Sie statistische Informationen

  • Ignorieren Sie Metadaten, verwenden Sie statistische Informationen

  • Verwenden Sie Metadaten und statistische Informationen

  Je nachdem, welche Option Sie wählen, können Sie Optimierungsstrategien auswählen. Geben Sie dann für jede Strategie den Wert (0—100) ein. Diese Werte definieren das Gewicht jeder Strategie. Anhand dieser Gewichtungswerte AWS SCT wird definiert, wie sich jede Regel auf die Wahl der Verteilungs- und Sortierschlüssel auswirkt. Die Standardwerte basieren auf den bewährten Methoden für die AWS Migration.

  Sie können die Größe kleiner Tabellen für die Strategie „Kleine Tabellen suchen“ definieren. Geben Sie für Min. Tabellenzeilenanzahl und Max. Tabellenzeilenanzahl die Mindest- und Höchstanzahl von Zeilen in einer Tabelle ein, um sie als kleine Tabelle zu definieren. AWS SCT wendet den ALL Verteilungsstil auf kleine Tabellen an. In diesem Fall wird eine Kopie der gesamten Tabelle an jeden Knoten verteilt.

• Um Strategiedetails zu konfigurieren.

  Sie können nicht nur die Gewichtung für jede Optimierungsstrategie definieren, sondern auch die Optimierungseinstellungen konfigurieren. Wählen Sie dazu Konversionsoptimierung.

  • Geben Sie unter Limit für Sortierschlüsselspalten die maximale Anzahl von Spalten im Sortierschlüssel ein.

  • Geben Sie für Schrägschwellenwert den Prozentsatz (0—100) eines schiefen Werts für eine Spalte ein. AWS SCT schließt Spalten, bei denen der Schrägwert größer als der Schwellenwert ist, aus der Kandidatenliste für den Verteilungsschlüssel aus. AWS SCT definiert den schiefen Wert für eine Spalte als das prozentuale Verhältnis der Anzahl der Vorkommen des am häufigsten vorkommenden Werts zur Gesamtzahl der Datensätze.

  • Geben Sie für die Top N-Abfragen aus der Tabelle mit dem Abfrageverlauf die Anzahl (1—100) der am häufigsten zu analysierenden Abfragen ein.

  • Wählen Sie unter Statistikbenutzer auswählen den Datenbankbenutzer aus, für den Sie die Abfragestatistiken analysieren möchten.

  Außerdem können Sie auf der Registerkarte Optimierungsstrategien die Größe kleiner Tabellen für die Strategie „Kleine Tabellen suchen“ definieren. Geben Sie für Min. Tabellenzeilenanzahl und Max. Tabellenzeilenanzahl die Mindest- und Höchstanzahl von Zeilen in einer Tabelle ein, um sie als kleine Tabelle zu betrachten. AWS SCT wendet den ALL Verteilungsstil auf kleine Tabellen an. In diesem Fall wird eine Kopie der gesamten Tabelle an jeden Knoten verteilt.