Utilizzo di BigQuery come origine per AWS SCT

Puoi utilizzarlo AWS SCT per convertire schemi, oggetti di codice e codice dell'applicazione BigQuery da Amazon Redshift.

Privilegi per BigQuery come fonte

Per utilizzare un BigQuery data warehouse come fonte inAWS SCT, crea un account di servizio. In Google Cloud, le applicazioni utilizzano gli account di servizio per effettuare chiamate API autorizzate. Gli account di servizio sono diversi dagli account utente. Per ulteriori informazioni, consulta Account di servizio nella documentazione di Google Cloud Identity and Access Management.

Assicurati di concedere i seguenti ruoli al tuo account di servizio:

• BigQuery Admin

• Storage Admin

Il BigQuery Admin ruolo fornisce le autorizzazioni per gestire tutte le risorse all'interno del progetto. AWS SCTutilizza questo ruolo per caricare i BigQuery metadati nel progetto di migrazione.

Il Storage Admin ruolo garantisce il pieno controllo degli oggetti e dei bucket di dati. Puoi trovare questo ruolo sottoCloud Storage. AWS SCTutilizza questo ruolo per estrarre i dati da Amazon Redshift BigQuery e caricarli in Amazon Redshift.

Per creare un file chiave dell'account di servizio

1. Accedi alla console di gestione di Google Cloud all'indirizzo https://console.cloud.google.com/.

2. Nella pagina BigQueryAPI, scegli Abilita. Ignora questo passaggio se vedi API Enabled.

3. Nella pagina Account di servizio, scegli il tuo progetto, quindi scegli Crea account di servizio.

4. Nella pagina dei dettagli dell'account del servizio, inserisci un valore descrittivo per il nome dell'account del servizio. Scegli Crea e continua. Viene visualizzata la pagina Concedi a questo account di servizio l'accesso al progetto.

5. In Seleziona un ruolo, scegli BigQuery, quindi scegli BigQueryAmministratore.

6. Scegli Aggiungi un altro ruolo. Per Seleziona un ruolo, scegli Cloud Storage, quindi scegli Storage Admin.

7. Scegli Continua, quindi scegli Fine.

8. Nella pagina Account di servizio, scegli l'account del servizio che hai creato.

9. Scegli Chiavi, quindi scegli Crea nuova chiave per Aggiungi chiave.

10. Scegli JSON, quindi scegli Crea. Scegli la cartella in cui salvare la tua chiave privata o seleziona la cartella predefinita per i download nel tuo browser.

Per estrarre dati da un BigQuery data warehouse, AWS SCT utilizza la cartella bucket di Google Cloud Storage. Crea questo bucket prima di iniziare la migrazione dei dati. Inserisci il percorso della cartella bucket di Google Cloud Storage nella finestra di dialogo Crea attività locale. Per ulteriori informazioni, consulta Creazione, esecuzione e monitoraggio di qualsiasi AWS SCT attività.

Connessione a BigQuery come fonte

Usa la seguente procedura per connetterti al tuo BigQuery progetto sorgente conAWS Schema Conversion Tool.

Per connettersi a un data warehouse di BigQuery origine

1. NelAWS Schema Conversion Tool, scegli Aggiungi fonte.

2. Scegli BigQuery, quindi scegli Avanti.

   Viene visualizzata la finestra di dialogo Aggiungi fonte.

3. In Nome della connessione, inserisci un nome per il tuo BigQuery progetto. AWS SCTvisualizza questo nome nell'albero nel pannello di sinistra.

4. In Percorso chiave, inserisci il percorso del file chiave dell'account del servizio. Per ulteriori informazioni sulla creazione di questo file, vederePrivilegi per BigQuery come fonte.

5. Scegli Test Connection per verificare che AWS SCT possa connettersi al tuo BigQuery progetto di origine.

6. Scegli Connetti per connetterti al tuo BigQuery progetto di origine.

Limitazioni BigQuery all'utilizzo come fonte per AWS SCT

Le seguenti limitazioni si applicano quando si utilizza BigQuery come fonte perAWS SCT:

• AWS SCTnon supporta la conversione di sottoquery in funzioni analitiche.

• Non puoi utilizzarlo AWS SCT per convertire BigQuery SELECT AS STRUCT e SELECT AS VALUE dichiarare.

• AWS SCTnon supporta la conversione dei seguenti tipi di funzioni:

  • Aggregato approssimativo

  • Bit

  • Debug

  • Query federata

  • Geografia

  • Hash

  • Matematiche

  • Rete

  • Aggregato statistico

  • UUID

• AWS SCTfornisce un supporto limitato per la conversione delle funzioni di stringa.

• AWS SCTnon supporta la conversione degli UNNEST operatori.

• Non puoi convertire le operazioni di join correlate inAWS SCT.

• AWS SCTnon supporta la conversione diQUALIFY, WINDOWLIMIT, e OFFSET clausole.

• Non puoi usare AWS SCT per convertire espressioni di tabella ricorsive comuni.

• AWS SCTnon supporta la conversione di INSERT dichiarazioni con sottoquery all'interno VALUES di clausole.

• AWS SCTnon supporta la conversione di UPDATE istruzioni per campi annidati e record ripetuti.

• Non puoi utilizzarlo AWS SCT per convertire STRUCT né per tipi di ARRAY dati.

BigQueryalle impostazioni di conversione di Amazon Redshift

BigQueryPer modificare le impostazioni di conversione di Amazon Redshift, scegli Impostazioni inAWS SCT, quindi scegli Impostazioni di conversione. Dall'elenco superiore, scegli Google BigQuery, quindi scegli Google BigQuery — Amazon Redshift. AWS SCTvisualizza tutte le impostazioni disponibili BigQuery per la conversione in Amazon Redshift.

BigQueryalle impostazioni di conversione di Amazon Redshift in AWS SCT includono opzioni per quanto segue:

• Per limitare il numero di commenti con le azioni nel codice convertito.

  Per Aggiungi commenti nel codice convertito per le azioni con gravità selezionata e superiore, scegli la gravità delle azioni. AWS SCTaggiunge commenti nel codice convertito per le azioni con la gravità selezionata e superiore.

  Ad esempio, per ridurre al minimo il numero di commenti nel codice convertito, scegli Solo errori. Per includere commenti per tutte le azioni nel codice convertito, scegli Tutti i messaggi.

• Per impostare il numero massimo di tabelle che AWS SCT possono essere applicate al cluster Amazon Redshift di destinazione.

  Per Il numero massimo di tabelle per il cluster Amazon Redshift di destinazione, scegli il numero di tabelle che AWS SCT possono essere applicate al tuo cluster Amazon Redshift.

  Amazon Redshift prevede quote che limitano le tabelle di utilizzo per diversi tipi di nodi del cluster. Se scegli Auto, AWS SCT determina il numero di tabelle da applicare al cluster Amazon Redshift di destinazione in base al tipo di nodo. Facoltativamente, scegli il valore manualmente. Per ulteriori informazioni, consulta Quote e limiti in Amazon Redshift nella Guida alla gestione di Amazon Redshift.

  AWS SCTconverte tutte le tabelle di origine, anche se sono più di quelle che il tuo cluster Amazon Redshift può archiviare. AWS SCTmemorizza il codice convertito nel progetto e non lo applica al database di destinazione. Se raggiungi la quota del cluster Amazon Redshift per le tabelle quando applichi il codice convertito, viene AWS SCT visualizzato un messaggio di avviso. Inoltre, AWS SCT applica le tabelle al cluster Amazon Redshift di destinazione fino a quando il numero di tabelle raggiunge il limite.

• Per applicare la compressione alle colonne della tabella Amazon Redshift. A tale scopo, seleziona Usa la codifica di compressione.

  AWS SCTassegna automaticamente la codifica di compressione alle colonne utilizzando l'algoritmo Amazon Redshift predefinito. Per ulteriori informazioni, consulta Codifiche di compressione nella Amazon Redshift Database Developer Guide.

  Per impostazione predefinita, Amazon Redshift non applica la compressione alle colonne definite come chiavi di ordinamento e distribuzione. È possibile modificare questo comportamento e applicare la compressione a queste colonne. A tale scopo, seleziona Usa la codifica di compressione per le colonne KEY. È possibile selezionare questa opzione solo quando si seleziona l'opzione Usa codifica di compressione.

BigQueryalle impostazioni di ottimizzazione della conversione di Amazon Redshift

BigQueryPer modificare le impostazioni di ottimizzazione delle conversioni di Amazon Redshift, scegli Impostazioni inAWS SCT, quindi scegli Impostazioni di conversione. Dall'elenco superiore, scegli Google BigQuery, quindi scegli Google BigQuery — Amazon Redshift. Nel riquadro a sinistra, scegli Strategie di ottimizzazione. AWS SCTvisualizza le impostazioni di ottimizzazione della conversione BigQuery per la conversione in Amazon Redshift.

BigQueryalle impostazioni di ottimizzazione delle conversioni di Amazon Redshift in AWS SCT includono opzioni per quanto segue:

• Per lavorare con l'ottimizzazione automatica delle tabelle. A tale scopo, seleziona Utilizza l'ottimizzazione automatica della tabella di Amazon Redshift.

  L'ottimizzazione automatica delle tabelle è un processo di ottimizzazione automatica in Amazon Redshift che ottimizza automaticamente la progettazione delle tabelle. Per ulteriori informazioni, consulta Working with Automatic Tabelle Optimization nella Amazon Redshift Database Developer Guide.

  Per fare affidamento solo sull'ottimizzazione automatica della tabella, scegli Nessuno per la strategia di selezione iniziale delle chiavi.

• Per scegliere le chiavi di ordinamento e distribuzione utilizzando la tua strategia.

  Puoi scegliere le chiavi di ordinamento e distribuzione utilizzando i metadati di Amazon Redshift, le informazioni statistiche o entrambe queste opzioni. Per la strategia di selezione iniziale delle chiavi nella scheda Strategie di ottimizzazione, scegli una delle seguenti opzioni:

  • Usa i metadati, ignora le informazioni statistiche

  • Ignora i metadati, utilizza le informazioni statistiche

  • Usa metadati e informazioni statistiche

  A seconda dell'opzione scelta, puoi selezionare strategie di ottimizzazione. Quindi, per ogni strategia, inserisci il valore (0-100). Questi valori definiscono il peso di ogni strategia. Utilizzando questi valori di peso, AWS SCT definisce in che modo ciascuna regola influisce sulla scelta delle chiavi di distribuzione e ordinamento. I valori predefiniti si basano sulle best practice di AWS migrazione.

  È possibile definire la dimensione delle tabelle di piccole dimensioni per la strategia Trova tabelle di piccole dimensioni. Per Numero minimo di righe della tabella e Numero massimo di righe della tabella, inserite il numero minimo e massimo di righe in una tabella per definirla come una tabella piccola. AWS SCTapplica lo stile ALL di distribuzione alle tabelle di piccole dimensioni. In questo caso, una copia dell'intera tabella viene distribuita su ogni nodo.

• Per configurare i dettagli della strategia.

  Oltre a definire il peso di ogni strategia di ottimizzazione, puoi configurare le impostazioni di ottimizzazione. Per farlo, scegli Ottimizzazione delle conversioni.

  • In Limite colonne chiave di ordinamento, immettete il numero massimo di colonne nella chiave di ordinamento.

  • In Valore di soglia inclinato, inserisci la percentuale (0-100) di un valore inclinato per una colonna. AWS SCTesclude le colonne con un valore di inclinazione superiore alla soglia dall'elenco dei candidati per la chiave di distribuzione. AWS SCTdefinisce il valore distorto per una colonna come il rapporto percentuale tra il numero di occorrenze del valore più comune e il numero totale di record.

  • Per le prime N query della tabella della cronologia delle query, inserisci il numero (1—100) delle query utilizzate più di frequente da analizzare.

  • In Seleziona utente delle statistiche, scegli l'utente del database per il quale desideri analizzare le statistiche della query.

  Inoltre, nella scheda Strategie di ottimizzazione, puoi definire la dimensione delle tabelle di piccole dimensioni per la strategia Trova tabelle piccole. Per Numero minimo di righe della tabella e Numero massimo di righe della tabella, inserisci il numero minimo e massimo di righe in una tabella per considerarla una tabella piccola. AWS SCTapplica lo stile ALL di distribuzione alle tabelle di piccole dimensioni. In questo caso, una copia dell'intera tabella viene distribuita su ogni nodo.