Intégration DynamoDB Zero-ETL à Amazon Service OpenSearch - Amazon DynamoDB
Comment ça marche Création d'une intégrationÉtapes suivantes

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Intégration DynamoDB Zero-ETL à Amazon Service OpenSearch

Amazon DynamoDB propose une intégration zéro ETL avec OpenSearch Amazon Service via le plug-in DynamoDB pour ingestion. OpenSearch Amazon OpenSearch Ingestion propose une expérience entièrement gérée et sans code pour l'ingestion de données dans Amazon OpenSearch Service.

Avec le plug-in DynamoDB OpenSearch pour l'ingestion, vous pouvez utiliser une ou plusieurs tables DynamoDB comme source d'ingestion vers un ou plusieurs index de service. OpenSearch Vous pouvez parcourir et configurer vos pipelines OpenSearch d'ingestion avec DynamoDB comme source depuis OpenSearch Ingestion ou DynamoDB Integrations dans le. AWS Management Console

Fonctionnement

Le plugin utilise l'exportation DynamoDB vers Amazon S3 pour créer un instantané initial dans lequel le charger. OpenSearch Une fois l'instantané chargé, le plugin utilise DynamoDB Streams pour répliquer les modifications ultérieures en temps quasi réel. Chaque élément est traité comme un événement dans OpenSearch Ingestion et peut être modifié à l'aide des plugins du processeur. Vous pouvez supprimer des attributs ou créer des attributs composites et les envoyer à différents index via des itinéraires.

point-in-time La restauration (PITR) doit être activée pour utiliser l'exportation vers Amazon S3. DynamoDB Streams doit également être activé (avec l'option nouvelles et anciennes images sélectionnée) pour pouvoir l'utiliser. Il est possible de créer un pipeline sans prendre de capture instantanée en excluant les paramètres d'exportation.

Vous pouvez également créer un pipeline contenant uniquement un instantané et aucune mise à jour en excluant les paramètres des flux. Le plugin n'utilise pas le débit de lecture ou d'écriture sur votre table, il est donc sûr à utiliser sans affecter votre trafic de production. Il existe des limites au nombre de consommateurs parallèles sur un flux que vous devez prendre en compte avant de créer cette intégration ou d'autres intégrations. Pour d'autres considérations, voirBonnes pratiques d'intégration à DynamoDB.

Pour les pipelines simples, une seule unité de OpenSearch calcul (OCU) peut traiter environ 1 Mo par seconde d'écriture. C'est l'équivalent d'environ 1 000 unités de demande d'écriture (WCU). En fonction de la complexité de votre pipeline et d'autres facteurs, vous pouvez obtenir plus ou moins que cela.

OpenSearch L'ingestion prend en charge une file d'attente de lettres mortes (DLQ) pour les événements à l'origine d'erreurs irrécupérables. En outre, le pipeline peut reprendre là où il s'était arrêté sans intervention de l'utilisateur, même en cas d'interruption de service avec DynamoDB, le pipeline ou Amazon Service. OpenSearch

Si l'interruption dure plus de 24 heures, cela peut entraîner la perte des mises à jour. Toutefois, le pipeline continuerait à traiter les mises à jour encore disponibles une fois la disponibilité rétablie. Vous devrez créer un nouvel index pour corriger les irrégularités dues aux événements supprimés, sauf s'ils se trouvent dans la file d'attente des lettres mortes.

Pour connaître tous les paramètres et les détails du plug-in, consultez la documentation du OpenSearchplug-in Ingestion DynamoDB.

Expérience de création intégrée via la console

DynamoDB OpenSearch et Service intègrent une expérience intégrée dans AWS Management Console le, ce qui rationalise le processus de démarrage. Lorsque vous suivez ces étapes, le service sélectionne automatiquement le plan DynamoDB et ajoute les informations DynamoDB appropriées pour vous.

Pour créer une intégration, suivez le guide de OpenSearch démarrage d'Ingestion. Lorsque vous arrivez à l'étape 3 : Création d'un pipeline, remplacez les étapes 1 et 2 par les étapes suivantes :

  1. Accédez à la console DynamoDB.

  2. Dans le volet de navigation de gauche, choisissez Integration.

  3. Sélectionnez la table DynamoDB vers laquelle vous souhaitez effectuer la réplication. OpenSearch

  4. Choisissez Créer.

À partir de là, vous pouvez poursuivre le reste du didacticiel.

Étapes suivantes

Pour mieux comprendre comment DynamoDB s'intègre à Service, consultez les OpenSearch rubriques suivantes :