Utilizzo dell'utilità di caricamento dati Aurora PostgreSQL Limitless Database

Aurora fornisce un'utilità per caricare i dati direttamente in Limitless Database da un cluster Aurora PostgreSQL DB o da un'istanza DB RDS per PostgreSQL.

Per utilizzare l'utilità di caricamento dei dati, è necessario eseguire le seguenti operazioni:

1. Prerequisiti

2. Preparazione del database di origine

3. Preparazione del database di destinazione

4. Creazione di credenziali del database

5. Una delle seguenti:

   • Configurazione dell'autenticazione del database e dell'accesso alle risorse tramite uno script (consigliato)

   • Configurazione manuale dell'autenticazione del database e dell'accesso alle risorse

6. Caricamento di dati da un cluster Aurora Postgre SQL DB o RDS per un'istanza di Postgre DB SQL

Limitazioni

L'utilità di caricamento dei dati presenta le seguenti limitazioni:

• I seguenti tipi di dati non sono supportati: enum ARRAYBOX,CIRCLE,LINE,LSEG,PATH,PG_LSN,PG_SNAPSHOT,POLYGON,TSQUERY,TSVECTOR, eTXID_SNAPSHOT.

• Gli zeri iniziali (0) vengono rimossi dal tipo di VARBIT dati durante il caricamento.

• La migrazione dei dati non riesce quando sono presenti chiavi primarie composite nelle tabelle di origine.

• La migrazione dei dati non riesce quando sono presenti chiavi esterne nelle tabelle di destinazione.

• Il caricamento di dati dai cluster DB RDS for PostgreSQL Multi-AZ non è supportato.

Prerequisiti

L'utilità di caricamento dei dati presenta i seguenti prerequisiti:

• Il database di origine utilizza Aurora PostgreSQL o RDS per PostgreSQL versione 11.x e successive.

• Il database di origine si trova nello stesso gruppo di shard DB e nel gruppo di shard DB di destinazione. Account AWS Regione AWS

• Il cluster o l'istanza DB di origine si trova nello available stato.

• Le tabelle del database di origine e del database illimitato hanno gli stessi nomi di tabella, nomi di colonna e tipi di dati di colonna.

• Le tabelle di origine e di destinazione hanno chiavi primarie che utilizzano le stesse colonne e gli stessi ordini di colonne.

• È necessario disporre di un ambiente per la connessione a un database illimitato per eseguire i comandi di caricamento dei dati. I comandi disponibili sono i seguenti:

  • rds_aurora.limitless_data_load_start

  • rds_aurora.limitless_data_load_cancel

• Per CDC:

  • Sia il database di origine che il gruppo di shard DB di destinazione devono utilizzare lo stesso gruppo di sottorete DB, lo stesso gruppo di sicurezza VPC e la stessa porta del database. Queste configurazioni riguardano le connessioni di rete sia al database di origine che ai router del gruppo di shard DB.

  • È necessario abilitare la replica logica sul database di origine. L'utente del database di origine deve disporre dei privilegi per leggere la replica logica.

Preparazione del database di origine

Per accedere al database di origine per il caricamento dei dati, è necessario consentire il traffico di rete in entrata. Esegui questa procedura.

Per consentire il traffico di rete verso il database di origine

1. Accedi a AWS Management Console e apri la EC2 console Amazon all'indirizzo https://console.aws.amazon.com/ec2/.

2. Vai alla pagina dei gruppi di sicurezza.

3. Scegli l'ID del gruppo di sicurezza per il gruppo di sicurezza utilizzato dal cluster o dall'istanza DB di origine.

   Ad esempio, l'ID del gruppo di sicurezza èsg-056a84f1712b77926.

4. Nella scheda Regole in entrata:

   1. Sceglere Edit inbound rules (Modifica regole in entrata).

   2. Aggiungi una nuova regola in entrata per il cluster o l'istanza DB di origine:

      • Intervallo di porte: porta del database per il database di origine, in genere 5432

      • ID del gruppo di sicurezza, sg-056a84f1712b77926 in questo esempio

      

5. Nella scheda Regole in uscita:

   1. Scegli Edit outbound rules (Modifica regole in uscita).

   2. Aggiungi una nuova regola in uscita per il cluster o l'istanza DB di origine:

      • Porta del database: All traffic (include le porte0-65535)

      • ID del gruppo di sicurezza, sg-056a84f1712b77926 in questo esempio

      

6. Accedi a AWS Management Console e apri la console Amazon VPC all'indirizzo. https://console.aws.amazon.com/vpc/

7. Vai alla ACLs pagina Rete.

8. Aggiungi la configurazione ACL di rete predefinita come indicato in ACL di rete predefinito.

Preparazione del database di destinazione

Segui le procedure Creazione di tabelle del database Aurora SQL Postgre Limitless per creare le tabelle di destinazione nel gruppo di shard DB.

Le tabelle di destinazione devono avere gli stessi schemi, nomi di tabella e chiavi primarie delle tabelle di origine.

Creazione di credenziali del database

È necessario creare utenti del database nei database di origine e di destinazione e concedere loro i privilegi necessari. Per ulteriori informazioni, vedere CREATE USER e GRANT nella documentazione di PostgreSQL.

Crea le credenziali del database di origine

All'utente del database di origine viene passato il comando per avviare il caricamento. Questo utente deve disporre dei privilegi per eseguire la replica dal database di origine.

1. Utilizza l'utente principale del database (o un altro utente con il rds_superuser ruolo) per creare un utente del database di origine con privilegiLOGIN.

   CREATE USER source_db_username WITH PASSWORD 'source_db_user_password';

2. Assegna il rds_superuser ruolo all'utente del database di origine.

   GRANT rds_superuser to source_db_username;

3. Se utilizzi la full_load_and_cdc modalità, concedi il rds_replication ruolo all'utente del database di origine. Il ruolo rds_replication fornisce le autorizzazioni per gestire gli slot logici e per eseguire lo streaming dei dati utilizzando gli slot logici.

   GRANT rds_replication to source_db_username;

Crea le credenziali del database di destinazione

L'utente del database di destinazione deve disporre dell'autorizzazione per scrivere nelle tabelle di destinazione nel gruppo di shard DB.

1. Utilizzate l'utente principale del database (o un altro utente con il rds_superuser ruolo) per creare un utente del database di destinazione con LOGIN privilegi.

   CREATE USER destination_db_username WITH PASSWORD 'destination_db_user_password';

2. Assegna il rds_superuser ruolo all'utente del database di destinazione.

   GRANT rds_superuser to destination_db_username;