Integrazione zero-ETL di DynamoDB con Amazon Service OpenSearch - Amazon DynamoDB

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Integrazione zero-ETL di DynamoDB con Amazon Service OpenSearch

Amazon DynamoDB offre un'integrazione zero-ETL con OpenSearch Amazon Service tramite il plug-in DynamoDB per Ingestion. OpenSearch Amazon OpenSearch Ingestion offre un'esperienza completamente gestita e senza codice per l'importazione di dati in Amazon Service. OpenSearch

Con il plug-in DynamoDB OpenSearch per Ingestion, puoi utilizzare una o più tabelle DynamoDB come origine per l'inserimento in uno o più indici di servizio. OpenSearch Puoi sfogliare e configurare le tue pipeline di OpenSearch ingestione con DynamoDB come sorgente da OpenSearch Ingestion o DynamoDB Integrations in. AWS Management Console

Come funziona

Il plug-in utilizza l'esportazione da DynamoDB in Amazon S3 per creare uno snapshot iniziale in cui caricare. OpenSearch Dopo il caricamento dello snapshot, il plugin utilizza DynamoDB Streams per replicare eventuali ulteriori modifiche quasi in tempo reale. Ogni elemento viene elaborato come un evento in OpenSearch Ingestion e può essere modificato con i plug-in del processore. È possibile eliminare gli attributi o creare attributi compositi e inviarli a diversi indici tramite percorsi.

È necessario che point-in-time il ripristino (PITR) sia abilitato per utilizzare l'esportazione in Amazon S3. È inoltre necessario che DynamoDB Streams sia abilitato (con l'opzione new & old images selezionata) per poterlo utilizzare. È possibile creare una pipeline senza scattare un'istantanea escludendo le impostazioni di esportazione.

Puoi anche creare una pipeline con solo un'istantanea e nessun aggiornamento escludendo le impostazioni degli stream. Il plugin non utilizza la velocità di lettura o scrittura sulla tabella, quindi è sicuro da usare senza influire sul traffico di produzione. Esistono dei limiti al numero di utenti paralleli su uno stream che dovresti considerare prima di creare questa o altre integrazioni. Per altre considerazioni, consulta. Le migliori pratiche per l'integrazione con DynamoDB

Per pipeline semplici, una singola OpenSearch Compute Unit (OCU) può elaborare circa 1 MB al secondo di scritture. È l'equivalente di circa 1000 unità di richiesta di scrittura (WCU). A seconda della complessità della pipeline e di altri fattori, potreste ottenere più o meno risultati.

OpenSearch Ingestion supporta una dead-letter queue (DLQ) per eventi che causano errori irreversibili. Inoltre, la pipeline può riprendere da dove era stata interrotta senza l'intervento dell'utente anche in caso di interruzione del servizio con DynamoDB, la pipeline o Amazon Service. OpenSearch

Se l'interruzione si protrae per più di 24 ore, ciò può causare la perdita degli aggiornamenti. Tuttavia, la pipeline continuerà a elaborare gli aggiornamenti che erano ancora disponibili una volta ripristinata la disponibilità. È necessario creare una nuova generazione dell'indice per correggere eventuali irregolarità dovute agli eventi eliminati, a meno che non si trovino nella coda delle lettere non scritte.

Per tutte le impostazioni e i dettagli del plug-in, consulta la documentazione del plug-in OpenSearchIngestion DynamoDB.

Esperienza di creazione integrata tramite la console

DynamoDB OpenSearch e Service offrono un'esperienza integrata in, che semplifica AWS Management Console il processo di avvio. Dopo aver eseguito questi passaggi, il servizio selezionerà automaticamente il blueprint DynamoDB e aggiungerà le informazioni DynamoDB appropriate per te.

Per creare un'integrazione, segui la guida introduttiva di Ingestion. OpenSearch Quando arrivi al passaggio 3: creazione di una pipeline, sostituisci i passaggi 1 e 2 con i seguenti passaggi:

  1. Accedere alla console DynamoDB.

  2. Nel riquadro di navigazione a sinistra, scegli Integrazione.

  3. Seleziona la tabella DynamoDB in cui desideri effettuare la replica. OpenSearch

  4. Scegli Crea.

Da qui, puoi continuare con il resto del tutorial.

Passaggi successivi

Per una migliore comprensione di come DynamoDB si integra OpenSearch con Service, consulta quanto segue: