Captura de cambios de gráficos en tiempo real con flujos de Neptune

Los flujos de Neptune registran cada cambio en el gráfico en el momento en el que se produce y en el orden en que se realiza de forma totalmente administrada. Una vez habilitados los flujos, Neptune se encarga de la disponibilidad, la copia de seguridad, la seguridad y el vencimiento.

nota

Esta característica estaba disponible en el modo de laboratorio desde Versión 1.0.1.0.200463.0 (15/10/2019) y está disponible para su uso en producción a partir de la versión 1.0.2.2.R2 del motor de Neptune.

A continuación se indican algunos de los muchos casos de uso en los que es posible que desee capturar cambios en un gráfico a medida que se producen:

• Es posible que desee que su aplicación avise automáticamente a las personas cuando se realicen determinados cambios.

• Es posible que también desee mantener una versión actual de los datos de sus gráficos en otro almacén de datos, como Amazon OpenSearch Service ElastiCache, Amazon o Amazon Simple Storage Service (Amazon S3).

Neptune utiliza el mismo almacenamiento nativo para el flujo de registro de cambios que para los datos de gráficos. Escribe las entradas del registro de cambios de forma síncrona junto con la transacción que realiza dichos cambios. Para recuperar estos registros de cambios del flujo de registro, utilice un HTTP RESTAPI. (Para obtener más información, consulte Llamando a los arroyos API).

En el siguiente diagrama, se muestra cómo se pueden recuperar los datos de registro de cambios de los flujos de Neptune.

Garantías de flujos de Neptune

• Los cambios realizados por una transacción se pueden leer inmediatamente tanto del escritor como de los lectores en cuanto se completa la transacción (aparte de cualquier retraso de replicación normal en los lectores).

• Los registros de cambios aparecen estrictamente de forma secuencial y en el orden en que se produjeron (esto incluye los cambios realizados en una transacción).

• Las secuencias de cambios no contienen duplicados. Cada cambio se registra solo una vez.

• Las secuencias de cambios están completas. No se pierden ni se omiten cambios.

• Las secuencias de cambios contienen toda la información necesaria para determinar el estado completo de la base de datos en cualquier momento siempre que se conozca el estado inicial.

• Las transmisiones se pueden activar o desactivar en cualquier momento.

Propiedades operativas de flujos de Neptune

• El flujo de registros de cambios está completamente administrado.

• Los datos de registro de cambios se escriben de forma síncrona como parte de la misma transacción que realiza un cambio.

• Cuando los flujos de Neptune estén habilitados, se le cobrarán cargos de E/S y almacenamiento asociados con los datos del registro de cambios.

• De manera predeterminada, los registros de cambios se purgan automáticamente una semana después de su creación. A partir de la versión 1.2.0.0 del motor, este período de retención se puede cambiar mediante el parámetro de clúster de base de datos neptune_streams_expiry_days por cualquier número de días comprendido entre 1 y 90.

• El rendimiento de lectura en las secuencias se escala en función de las instancias.

• Puede conseguir un alto nivel de disponibilidad y rendimiento de lectura con réplicas de lectura. No existe ningún límite en cuanto al número de lectores de transmisiones que puede crear y utilizar de forma simultánea.

• Los datos de los registros de cambios se replican en varias zonas de disponibilidad, lo que hace que sean muy duraderos.

• Los datos de registro son tan seguros como los propios datos de gráficos. Se puede cifrar en reposo y en tránsito. El acceso se puede controlar mediante IAM Amazon VPC y AWS Key Management Service (AWS KMS). Al igual que los datos del gráfico, se puede hacer una copia de seguridad y, posteriormente, point-in-time restaurarlos mediante restores (PITR).

• La escritura síncrona de los datos de secuencia como parte de cada transacción provoca una ligera reducción del rendimiento general de escritura.

• Los datos de flujos no se fragmentan, ya que Neptune dispone de un diseño de un solo fragmento.

• El flujo de registro GetRecords API utiliza los mismos recursos que todas las demás operaciones gráficas de Neptune. Esto significa que los clientes deben equilibrar la carga entre las solicitudes de secuencia y otras solicitudes de base de datos.

• Cuando las secuencias están deshabilitadas, todos los datos de registro pasan a ser inaccesibles inmediatamente. Esto significa que debe leer todos los datos de registro que le interesen antes de deshabilitar el registro.

• Actualmente no existe una integración nativa con AWS Lambda. El flujo de registro no genera ningún evento que pueda activar una función Lambda.

Temas

• Uso de flujos de Neptune
• Formatos de serialización en flujos de Neptune
• Ejemplos de flujos de Neptune
• Utilización AWS CloudFormation para configurar la replicación de Neptuno a Neptuno con la aplicación Streams Consumer
• Uso de la replicación entre regiones de los flujos de Neptune para la recuperación de desastres