Inizia con le ETL integrazioni zero - Amazon Redshift
Crea un'integrazione zero ETLCreazione e configurazione di un data warehouse Amazon Redshift di destinazioneAttivazione della distinzione tra maiuscole e minuscoleConfigurazione dell'autorizzazione in Amazon RedshiftPassaggi successivi

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Inizia con le ETL integrazioni zero

Questa serie di attività ti guida nella configurazione della tua prima ETL integrazione zero. Innanzitutto, configuri la fonte di integrazione e la configuri con i parametri e le autorizzazioni richiesti. Quindi, procedi con il resto della configurazione iniziale dalla console Amazon Redshift e. AWS CLI

Crea un'integrazione zero ETL

In questa fase, crei un'integrazione Aurora o un'ETLintegrazione RDS zero con Amazon Redshift.

Per creare un'ETLintegrazione zero di Aurora con Amazon Redshift

  1. Dalla RDS console Amazon, crea un gruppo di parametri del cluster DB personalizzato come descritto nella Amazon Aurora User Guide.

  2. Dalla RDS console Amazon, crea un cluster Amazon Aurora DB di origine come descritto nella Amazon Aurora User Guide.

  3. Dalla console Amazon Redshift: Creazione e configurazione di un data warehouse Amazon Redshift di destinazione.

  4. Dalla RDS console Amazon, crea un'ETLintegrazione zero come descritto nella Guida per l'utente di Amazon Aurora.

  5. Dalla console Amazon Redshift o dall'editor di query v2, crea un database Amazon Redshift dall'integrazione.

    Quindi, esegui le query e crea le viste materializzate con i dati replicati.

Per creare un'ETLintegrazione RDS zero con Amazon Redshift

  1. Dalla RDS console Amazon, crea un gruppo di parametri DB personalizzato come descritto nella Amazon RDS User Guide.

  2. Dalla RDS console Amazon, crea un'RDSistanza Amazon di origine come descritto nella Amazon RDS User Guide.

  3. Dalla console Amazon Redshift: Creazione e configurazione di un data warehouse Amazon Redshift di destinazione.

  4. Dalla RDS console Amazon, crea un'ETLintegrazione zero come descritto nella Amazon RDS User Guide.

  5. Dalla console Amazon Redshift o dall'editor di query v2, crea un database Amazon Redshift dall'integrazione.

    Quindi, esegui le query e crea le viste materializzate con i dati replicati.

La RDS console Amazon offre un flusso di creazione step-by-step dell'integrazione, in cui specifichi il database di origine e il data warehouse Amazon Redshift di destinazione. Se si verificano problemi, puoi scegliere che Amazon RDS risolva i problemi per te anziché risolverli manualmente sulla console Amazon RDS o Amazon Redshift.

Creazione e configurazione di un data warehouse Amazon Redshift di destinazione

In questo passaggio crei e configuri un data warehouse Amazon Redshift di destinazione, ad esempio un gruppo di lavoro Redshift serverless o un cluster con provisioning.

Il data warehouse di destinazione deve avere le seguenti caratteristiche:

Nota

Per le integrazioni SQL zero di Aurora Postgre ETL con Amazon Redshift, considera anche quanto segue per il tuo data warehouse di destinazione:

  • Devi creare il data warehouse in Anteprima nella traccia preview_2023. Non puoi utilizzare le funzionalità di anteprima in produzione o spostare il data warehouse di anteprima in un'implementazione di produzione.

  • Se scegli di creare un cluster con provisioning Amazon Redshift, il cluster deve avere almeno due nodi.

  • È necessario creare il data warehouse di destinazione negli Stati Uniti orientali (Ohio). Regione AWS Tieni presente che devi creare il tuo database di origine per le ETL integrazioni SQL zero di Aurora Postgre utilizzando l'Amazon RDS Database Preview Environment.

Per creare il data warehouse di destinazione in Preview per le ETL integrazioni SQL zero di Aurora Postgre, consulta uno dei seguenti argomenti a seconda del tipo di implementazione:

Per creare il data warehouse di destinazione per le tue ETL integrazioni zero, consulta uno dei seguenti argomenti a seconda del tipo di implementazione:

Quando crei un cluster con provisioning, Amazon Redshift crea anche un gruppo di parametri predefinito. Non è consentito modificare il gruppo di parametri predefinito. Tuttavia, è possibile creare un gruppo di parametri personalizzato prima di creare un nuovo cluster e associarlo al cluster. In alternativa, è possibile modificare il gruppo di parametri che verrà associato al cluster creato. È inoltre necessario attivare la distinzione tra maiuscole e minuscole per il gruppo di parametri quando si crea il gruppo di parametri personalizzato o quando si modifica un gruppo corrente per utilizzare ETL integrazioni zero.

Per creare un gruppo di parametri personalizzato utilizzando la console Amazon Redshift o il AWS CLI, consulta Creazione di un gruppo di parametri.

Attivazione della distinzione tra maiuscole e minuscole per il data warehouse

Puoi collegare un gruppo di parametri e abilitare la distinzione tra maiuscole e minuscole per un cluster con provisioning durante la creazione. Tuttavia, è possibile aggiornare un gruppo di lavoro serverless tramite la AWS Command Line Interface (AWS CLI) solo dopo averlo creato. Questo è necessario per supportare la distinzione tra maiuscole e minuscole di My SQL e SQL Postgre. enable_case_sensitive_identifierè un valore di configurazione che determina se gli identificatori di nome di database, tabelle e colonne fanno distinzione tra maiuscole e minuscole. Questo parametro deve essere attivato per creare zero ETL integrazioni nel data warehouse. Per ulteriori informazioni, consulta enable_case_sensitive_identifier.

Per Amazon Redshift Serverless: Attiva la distinzione tra maiuscole e minuscole per Amazon Redshift Serverless utilizzando AWS CLI. Tieni presente che puoi attivare la distinzione tra maiuscole e minuscole per Amazon Redshift Serverless solo dalla AWS CLI.

Per i cluster con provisioning Amazon Redshift, abilita la distinzione tra maiuscole e minuscole per il cluster di destinazione facendo riferimento a uno dei seguenti argomenti:

Attiva la distinzione tra maiuscole e minuscole per Amazon Redshift Serverless utilizzando AWS CLI

Esegui il AWS CLI comando seguente per attivare la distinzione tra maiuscole e minuscole per il tuo gruppo di lavoro. 

aws redshift-serverless update-workgroup \
        --workgroup-name target-workgroup \
        --config-parameters parameterKey=enable_case_sensitive_identifier,parameterValue=true

Attendi che lo stato del gruppo di lavoro sia Active prima di continuare con la fase successiva.

Attivazione della distinzione tra maiuscole e minuscole per i cluster con provisioning di Amazon Redshift mediante la console Amazon Redshift

  1. Accedi a AWS Management Console e apri la console Amazon Redshift all'indirizzo. https://console.aws.amazon.com/redshiftv2/

  2. Nel riquadro di navigazione a sinistra scegli Pannello di controllo dei cluster con provisioning.

  3. Scegli il cluster con provisioning in cui desideri replicare i dati.

  4. Nel riquadro di navigazione a sinistra scegli Configurazioni > Gestione del carico di lavoro.

  5. Nella pagina Gestione del carico di lavoro seleziona il gruppo di parametri.

  6. Scegli la scheda Parametri.

  7. Scegli Modifica parametri, quindi modifica enable_case_sensitive_identifier su true.

  8. Quindi, scegliere Save (Salva).

Attiva la distinzione tra maiuscole e minuscole per i cluster con provisioning di Amazon Redshift utilizzando AWS CLI

  1. Poiché non puoi modificare il gruppo di parametri predefinito, dal tuo programma di terminale esegui il seguente AWS CLI comando per creare un gruppo di parametri personalizzato. quindi associarlo al cluster con provisioning.

    aws redshift create-cluster-parameter-group \
    --parameter-group-name zero-etl-params \
    --parameter-group-family redshift-1.0 \
    --description "Param group for zero-ETL integrations"

  2. Esegui il AWS CLI comando seguente per attivare la distinzione tra maiuscole e minuscole per il gruppo di parametri.

    aws redshift modify-cluster-parameter-group \
    --parameter-group-name zero-etl-params \
    --parameters ParameterName=enable_case_sensitive_identifier,ParameterValue=true

  3. Esegui il seguente comando per associare il gruppo di parametri al cluster.

    aws redshift modify-cluster \
    --cluster-identifier target-cluster \
    --cluster-parameter-group-name zero-etl-params

  4. Attendi che il cluster con provisioning sia disponibile. Puoi anche controllare lo stato del cluster utilizzando il comando describe-cluster. Esegui quindi il seguente comando per riavviare il cluster.

    aws redshift reboot-cluster \
    --cluster-identifier target-cluster

Configurazione dell'autorizzazione per il data warehouse Amazon Redshift

Per replicare i dati dall'origine di integrazione nel data warehouse Amazon Redshift, devi inizialmente aggiungere le due entità seguenti:

  • Principal autorizzato: identifica l'utente o il ruolo che può creare zero ETL integrazioni nel data warehouse.

  • Origine di integrazione autorizzata: identifica il database di origine che può aggiornare il data warehouse.

Puoi configurare i principali autorizzati e le fonti di integrazione autorizzate dalla scheda Resource Policy sulla console Amazon Redshift o utilizzando l'operazione Amazon Redshift. PutResourcePolicy API

Aggiunta di principali autorizzati

Per creare un'ETLintegrazione zero nel gruppo di lavoro o nel cluster di provisioning Redshift Serverless, autorizza l'accesso al namespace o al cluster di provisioning associato.

Puoi ignorare questa fase se si verificano entrambe le seguenti condizioni:

  • Il Account AWS proprietario del gruppo di lavoro Redshift Serverless o del cluster provisionato possiede anche il database di origine.

  • Tale principio è associato a una IAM policy basata sull'identità con autorizzazioni per creare ETL integrazioni zero in questo spazio dei nomi o cluster provisioning Redshift Serverless.

Aggiunta di principali autorizzati a uno spazio dei nomi Amazon Redshift Serverless

  1. Nella console Amazon Redshift, scegli Redshift serverless dal riquadro di navigazione a sinistra.

  2. Seleziona Configurazione dello spazio dei nomi, quindi scegli lo spazio dei nomi e vai alla scheda Policy delle risorse.

  3. Scegli Aggiungi principali autorizzati.

  4. Per ogni principale autorizzato che desideri aggiungere, inserisci nello spazio dei nomi l' AWS utente o il ruolo o l'ID ARN di chi desideri concedere l' Account AWS accesso per creare integrazioni zero. ETL Un ID account viene memorizzato come. ARN

  5. Scegli Save changes (Salva modifiche).

Aggiunta di principali autorizzati a un cluster con provisioning di Amazon Redshift

  1. Nel riquadro di navigazione a sinistra della console Amazon Redshift scegli Pannello di controllo dei cluster con provisioning.

  2. Seleziona Cluster, quindi scegli il cluster e vai alla scheda Policy delle risorse.

  3. Scegli Aggiungi principali autorizzati.

  4. Per ogni principale autorizzato che desideri aggiungere, inserisci nel cluster il nome AWS dell'utente o ARN del ruolo o l'ID di chi desideri concedere l'accesso per creare ETL integrazioni zero. Account AWS Un ID account viene memorizzato comeARN.

  5. Scegli Save changes (Salva modifiche).

Aggiunta di origini di integrazione autorizzate

Per consentire all'origine di aggiornare il data warehouse Amazon Redshift, devi aggiungerla come origine di integrazione autorizzata allo spazio dei nomi.

Aggiunta di un'origine di integrazione autorizzata a uno spazio dei nomi Amazon Redshift Serverless

  1. Nella console Amazon Redshift, vai a Pannello di controllo serverless.

  2. Scegli il nome dello spazio dei nomi.

  3. Vai alla scheda Policy delle risorse.

  4. Scegli Aggiungi un'origine di integrazione autorizzata.

  5. Specificare ARN l'origine per l'ETLintegrazione zero.

Nota

La rimozione di un'origine di integrazione autorizzata blocca la replica dei dati nello spazio dei nomi. Questa azione disattiva tutte le ETL integrazioni zero da quella fonte in questo spazio dei nomi.

Aggiunta di un'origine di integrazione autorizzata a un cluster con provisioning di Amazon Redshift

  1. Nella console Amazon Redshift, vai a Pannello di controllo dei cluster con provisioning.

  2. Scegli il nome del cluster con provisioning.

  3. Vai alla scheda Policy delle risorse.

  4. Scegli Aggiungi un'origine di integrazione autorizzata.

  5. Specificare ARN l'origine che è l'origine dati per l'integrazione zero. ETL

Nota

La rimozione di un'origine di integrazione autorizzata blocca la replica dei dati nel cluster con provisionig. Questa azione disattiva tutte le ETL integrazioni zero da quella fonte in questo cluster con provisioning di Amazon Redshift.

Configurare l'autorizzazione utilizzando Amazon Redshift API

Puoi utilizzare le API operazioni di Amazon Redshift per configurare politiche di risorse che funzionano con integrazioni zero. ETL

Per controllare l'origine che può creare un'integrazione in entrata nello spazio dei nomi, crea una policy delle risorse e collegala allo spazio dei nomi. Con la policy delle risorse, puoi specificare l'origine che ha accesso all'integrazione. La policy delle risorse è collegata allo spazio dei nomi del data warehouse di destinazione per consentire all'origine di creare un'integrazione in entrata per replicare i dati in tempo reale dall'origine in Amazon Redshift.

Di seguito è riportata una policy delle risorse di esempio.

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "Service": "redshift.amazonaws.com"
      },
      "Action": "redshift:AuthorizeInboundIntegration",
      "Condition": {
        "StringEquals": {
          "aws:SourceArn": "source_arn"
        }
      }
    },
    {
      "Effect": "Allow",
      "Principal": {
        "AWS": "source_principal"
      },
      "Action": "redshift:CreateInboundIntegration"
    }
  ]
}

Di seguito sono riepilogate le operazioni di Amazon API Redshift applicabili alla configurazione delle politiche delle risorse per le integrazioni:

  • Usa l'PutResourcePolicyAPIoperazione per mantenere la politica delle risorse. Quando si fornisce un'altra policy delle risorse, quella precedente viene sostituita. Utilizza la policy delle risorse di esempio precedente, che assegna le autorizzazioni per le seguenti azioni:

    • CreateInboundIntegration: consente al principale di origine di creare un'integrazione in entrata per la replica dei dati dall'origine al data warehouse di destinazione.

    • AuthorizeInboundIntegration— Consente ad Amazon Redshift di verificare continuamente che il data warehouse di destinazione possa ricevere dati replicati dall'origine. ARN

  • Utilizzare l'GetResourcePolicyAPIoperazione per visualizzare le politiche esistenti in materia di risorse.

  • Utilizzare l'DeleteResourcePolicyAPIoperazione per rimuovere una politica delle risorse dalla risorsa.

Per aggiornare una politica delle risorse, puoi anche usare il put-resource-policy AWS CLI comando.

Passaggi successivi

Ora che hai configurato l'autorizzazione per il tuo data warehouse Amazon Redshift di destinazione, puoi creare un'ETLintegrazione zero e iniziare a replicare i dati.

A seconda dell'origine, esegui una delle seguenti operazioni: