Invece di replicare l'intero database, puoi applicare uno o più filtri per includere o escludere selettivamente tabelle specifiche. Ciò consente di ottimizzare le prestazioni di archiviazione e di interrogazione assicurando che vengano trasferiti solo i dati pertinenti. Attualmente, il filtraggio è limitato ai livelli di database e tabella. Il filtraggio a livello di colonna e riga non è supportato.

Il filtraggio dei dati può essere utile quando si desidera:

• Risparmia sui costi eseguendo analisi utilizzando solo un sottoinsieme di tabelle anziché un'intera flotta di database.

• Filtra le informazioni sensibili, come numeri di telefono, indirizzi o dettagli delle carte di credito, da determinate tabelle.

Puoi aggiungere filtri di dati a un'integrazione zero-ETL utilizzando AWS Management Console, the AWS Command Line Interface (AWS CLI) o l'API Amazon RDS.

Se l'integrazione ha come destinazione un cluster fornito, per utilizzare il filtraggio dei dati è necessario che il cluster utilizzi la patch 180 o una versione successiva.

Formato di un filtro dati

È possibile definire più filtri per una singola integrazione. Ogni filtro include o esclude tutte le tabelle di database esistenti e future che corrispondono a uno dei modelli nell'espressione del filtro. Le integrazioni Zero-ETL di Amazon RDS utilizzano la sintassi del filtro Maxwell per il filtraggio dei dati.

Ogni filtro ha i seguenti elementi:

Elemento	Descrizione
Tipo di filtro	Un tipo di Include filtro include tutte le tabelle che corrispondono a uno dei modelli nell'espressione del filtro. Un tipo di Exclude filtro esclude tutte le tabelle che corrispondono a uno dei modelli.
Espressione filtro	Un elenco di modelli separati da virgole. Le espressioni devono utilizzare la sintassi del filtro Maxwell.
Pattern	È possibile specificare nomi letterali o definire espressioni regolari. Nota Per , le espressioni regolari sono supportate sia nel database che nel nome della tabella. Per , le espressioni regolari sono supportate solo nel nome dello schema e della tabella, non nel nome del database. Non è possibile includere filtri o denylist a livello di colonna. Una singola integrazione può avere un massimo di 99 pattern totali. Nella console, è possibile inserire modelli all'interno di una singola espressione di filtro o distribuirli tra più espressioni. Un singolo pattern non può superare i 256 caratteri di lunghezza.

Importante

Se si seleziona un database di origine , è necessario specificare almeno un modello di filtro dei dati. Come minimo, il modello deve includere un singolo database (database-name.*.*) per la replica nel data warehouse di destinazione.

L'immagine seguente mostra la struttura dei filtri di nella console:

Importante

Non includere informazioni di identificazione personale, riservate o sensibili nei modelli di filtro.

Filtri di dati in AWS CLI

Quando si utilizza AWS CLI per aggiungere un filtro dati, la sintassi è leggermente diversa da quella della console. È necessario assegnare un tipo di filtro (IncludeoExclude) a ciascun pattern singolarmente, in modo da non poter raggruppare più pattern in un unico tipo di filtro.

Ad esempio, nella console è possibile raggruppare i seguenti modelli separati da virgole in un'unica istruzione: Include

mydb.mytable, mydb./table_\d+/

mydb.myschema.mytable, mydb.myschema./table_\d+/

Tuttavia, quando si utilizza il AWS CLI, lo stesso filtro dati deve avere il seguente formato:

'include: mydb.mytable, include: mydb./table_\d+/'

'include: mydb.myschema.mytable, include: mydb.myschema./table_\d+/'

Logica dei filtri

Se non specifichi alcun filtro di dati nella tua integrazione, Amazon RDS presuppone un filtro predefinito include:*.* di, che replica tutte le tabelle nel data warehouse di destinazione. Tuttavia, se aggiungi almeno un filtro, la logica predefinita passa aexclude:*.*, che esclude tutte le tabelle per impostazione predefinita. Ciò consente di definire in modo esplicito quali database e tabelle includere nella replica.

Ad esempio, se si definisce il seguente filtro:

'include: db.table1, include: db.table2'

Amazon RDS valuta il filtro come segue:

'exclude:*.*, include: db.table1, include: db.table2'

Pertanto, Amazon RDS esegue solo table1 table2 repliche dal database db denominato al data warehouse di destinazione.

Precedenza dei filtri

Amazon RDS valuta i filtri di dati nell'ordine specificato. In AWS Management Console, elabora le espressioni di filtro da sinistra a destra e dall'alto verso il basso. Un secondo filtro o un modello individuale che segue il primo può sostituirlo.

Ad esempio, se il primo filtro èInclude books.stephenking, include solo la stephenking tabella del books database. Tuttavia, se si aggiunge un secondo filtroExclude books.*, questo sostituisce il primo filtro. Ciò impedisce che le tabelle dell'booksindice vengano replicate nel data warehouse di destinazione.

Quando si specifica almeno un filtro, la logica parte dal presupposto, per impostazione exclude:*.* predefinita, che esclude automaticamente tutte le tabelle dalla replica. Come procedura ottimale, definisci i filtri dal più ampio al più specifico. Inizia con una o più Include istruzioni per specificare i dati da replicare, quindi aggiungi Exclude filtri per rimuovere selettivamente determinate tabelle.

Lo stesso principio si applica ai filtri definiti utilizzando. AWS CLIAmazon RDS valuta questi modelli di filtro nell'ordine in cui li specifichi, quindi un modello potrebbe sovrascrivere quello specificato in precedenza.

Esempi di

Gli esempi seguenti mostrano come funziona il filtraggio dei dati per , integrazioni zero-ETL:

• Includi tutti i database e tutte le tabelle:

  'include: *.*'

• Includi tutte le tabelle all'interno del books database:

  'include: books.*'

• Escludi tutte le tabelle denominatemystery:

  'include: *.*, exclude: *.mystery'

• Includi due tabelle specifiche all'interno del books database:

  'include: books.stephen_king, include: books.carolyn_keene'

• Includi tutte le tabelle del books database, ad eccezione di quelle contenenti la sottostringamystery:

  'include: books.*, exclude: books./.*mystery.*/'

• Include tutte le tabelle del books database, ad eccezione di quelle che iniziano conmystery:

  'include: books.*, exclude: books./mystery.*/'

• Include tutte le tabelle del books database, ad eccezione di quelle che terminano conmystery:

  'include: books.*, exclude: books./.*mystery/'

• Include tutte le tabelle del books database che iniziano contable_, ad eccezione di quella denominatatable_stephen_king. Ad esempio, table_movies o table_books verrebbe replicato, ma nontable_stephen_king.

  'include: books./table_.*/, exclude: books.table_stephen_king'

Esempi di

Gli esempi seguenti mostrano come funziona il filtraggio dei dati per le integrazioni PostgreSQL RDS per PostgreSQL Zero-ETL:

• booksIncludi tutte le tabelle all'interno del database:

  'include: books.*.*'

• Escludi tutte le tabelle denominate mystery nel books database:

  'include: books.*.*, exclude: books.*.mystery'

• Includi una tabella all'interno del books database nello mystery schema e una tabella all'interno del employee database nello finance schema:

  'include: books.mystery.stephen_king, include: employee.finance.benefits'

• Includi tutte le tabelle del books database e science_fiction dello schema, ad eccezione di quelle contenenti la sottostringaking:

  'include: books.science_fiction.*, exclude: books.*./.*king.*/

• Include tutte le tabelle del books database, ad eccezione di quelle con un nome di schema che inizia consci:

  'include: books.*.*, exclude: books./sci.*/.*'

• Include tutte le tabelle del books database, ad eccezione di quelle dello mystery schema che termina conking:

  'include: books.*.*, exclude: books.mystery./.*king/'

• Include tutte le tabelle del books database che iniziano contable_, ad eccezione di quella denominatatable_stephen_king. Ad esempio, table_movies nello fiction schema e table_books nello mystery schema vengono replicati, ma non table_stephen_king in nessuno dei due schemi:

  'include: books.*./table_.*/, exclude: books.*.table_stephen_king'

Esempi di RDS per Oracle

Gli esempi seguenti mostrano come funziona il filtraggio dei dati per le integrazioni RDS for Oracle Zero-ETL:

• Includi tutte le tabelle all'interno del database dei libri:

  'include: books.*.*'

• Escludi tutte le tabelle denominate mystery nel database dei libri:

  'include: books.*.*, exclude: books.*.mystery'

• Includi una tabella all'interno del database dei libri nello schema misterioso e una tabella nel database dei dipendenti nello schema finanziario:

  'include: books.mystery.stephen_king, include: employee.finance.benefits'

• Includi tutte le tabelle dello schema misterioso all'interno del database dei libri:

  'include: books.mystery.*'

Nota

L'utilizzo di espressioni regolari nel valore del filtro per il nome del database, lo schema o il nome della tabella non è supportato nelle integrazioni RDS per Oracle.

Aggiungere filtri di dati a un'integrazione

Puoi configurare il filtraggio dei dati utilizzando AWS Management Console l'API AWS CLI Amazon RDS o la.

Importante

Se aggiungi un filtro dopo aver creato un'integrazione, Amazon RDS lo considera come se fosse sempre esistito. Rimuove tutti i dati nel data warehouse di destinazione che non corrispondono ai nuovi criteri di filtro e risincronizza tutte le tabelle interessate.

Console RDS

Per aggiungere filtri di dati a un'integrazione zero-ETL

1. Accedi a AWS Management Console e apri la console Amazon RDS all'indirizzo https://console.aws.amazon.com/rds/.

2. Nel pannello di navigazione, scegli Integrazioni zero-ETL. Seleziona l'integrazione a cui desideri aggiungere filtri di dati, quindi scegli Modifica.

3. In Source, aggiungi una o più Exclude istruzioni Include e.

   L'immagine seguente mostra un esempio di filtri di dati per un'integrazione MySQL:

   

4. Quando sei soddisfatto delle modifiche, scegli Continua e salva le modifiche.

AWS CLI

Per aggiungere filtri di dati a un'integrazione zero-ETL utilizzando AWS CLI, chiama il comando modify-integration. Oltre all'identificatore di integrazione, specificate il --data-filter parametro con un elenco separato da virgole di filtri Maxwell. Include Exclude

L'esempio seguente aggiunge modelli di filtro a. my-integration

Per LinuxmacOS, oUnix:

aws rds modify-integration \
    --integration-identifier my-integration \
    --data-filter 'include: foodb.*, exclude: foodb.tbl, exclude: foodb./table_\d+/'

Per Windows:

aws rds modify-integration ^
    --integration-identifier my-integration ^
    --data-filter 'include: foodb.*, exclude: foodb.tbl, exclude: foodb./table_\d+/'

API RDS

Per modificare un'integrazione zero-ETL utilizzando l'API RDS, chiama l'operazione. ModifyIntegration Specificate l'identificatore di integrazione e fornite un elenco di modelli di filtro separati da virgole.

Rimozione dei filtri di dati da un'integrazione

Quando rimuovi un filtro dati da un'integrazione, Amazon RDS rivaluta i filtri rimanenti come se il filtro rimosso non fosse mai esistito. Quindi replica tutti i dati precedentemente esclusi che ora soddisfano i criteri nel data warehouse di destinazione. Ciò attiva una risincronizzazione di tutte le tabelle interessate.