Uso de Flujos de DynamoDB Kinesis Adapter para procesar registros de secuencia - Amazon DynamoDB

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Uso de Flujos de DynamoDB Kinesis Adapter para procesar registros de secuencia

El uso del Amazon Kinesis Adapter es la forma recomendada de consumir secuencias de Amazon DynamoDB. La Flujos de DynamoDB API de es intencionadamente similar a la de Kinesis Data Streams, un servicio para el procesamiento de datos de streaming en tiempo real a gran escala. En ambos servicios, las secuencias de datos se componen de fragmentos, que son contenedores de registros de secuencia. Las APIs de ambos servicios contienen ListStreams operaciones DescribeStream, GetShards, y GetShardIterator. (Aunque estas Flujos de DynamoDB acciones son similares a sus homólogas en Kinesis Data Streams, no son idénticas al 100 por cien).

Puede escribir aplicaciones para Kinesis Data Streams mediante Client Kinesis Library (KCL). La KCL simplifica la codificación proporcionando abstracciones útiles por encima del Kinesis Data Streams API de bajo nivel. Para obtener más información acerca de la KCL, consulte Desarrollo de consumidores con la Kinesis Client Library en la Guía para desarrolladores de Amazon Kinesis Data Streams .

Como Flujos de DynamoDB usuario, puede utilizar los patrones de diseño que se encuentran en la KCL para procesar Flujos de DynamoDB fragmentos y registros de secuencia. Para ello, utilice el Flujos de DynamoDB Kinesis Adapter de . El Kinesis Adapter implementa la Kinesis Data Streams interfaz para que la KCL se pueda utilizar para consumir y procesar registros de Flujos de DynamoDB.

En el siguiente diagrama se muestra cómo interaccionan estas bibliotecas entre sí.

Con Flujos de DynamoDB Kinesis Adapter implementado, puede comenzar a desarrollar en la interfaz de KCL, con las llamadas a la API dirigidas sin problemas al Flujos de DynamoDB punto de enlace de .

Cuando se inicia la aplicación, llama a la KCL para crear una instancia de un proceso de trabajo. Debe proporcionar al proceso de trabajo información de configuración para la aplicación, como el descriptor de secuencia y las AWS credenciales, y el nombre de una clase de procesador de registros que proporcione. A medida que el proceso de trabajo ejecuta el código en el procesador de registros, lleva a cabo las siguientes tareas:

  • Se conecta a la secuencia.

  • Enumerates los fragmentos de la secuencia.

  • Coordina la asociación de los fragmentos con otros procesos de trabajo (si procede).

  • Crea instancias de un procesador de registros para cada fragmento que administra.

  • Extrae registros de la secuencia.

  • Inserta los registros en el procesador de registros correspondiente.

  • Genera puntos de comprobación para los registros procesados.

  • Balancea las asociaciones entre fragmentos y procesos de trabajo cuando cambia el recuento de instancias de procesos de trabajo.

  • Balancea las asociaciones entre fragmentos y procesos de trabajo cuando los fragmentos se dividen.

nota

Para obtener una descripción de los conceptos de KCL que se indican aquí, consulte Desarrollo de consumidores con la Kinesis Client Library en la Guía para desarrolladores de Amazon Kinesis Data Streams .