¿Qué es Amazon Kinesis Data Streams?

Puede utilizar Amazon Kinesis Data Streams para recopilar y procesar grandes flujos de registros de datos en tiempo real. Puede crear aplicaciones de procesamiento de datos, conocidas como aplicaciones de Kinesis Data Streams. Una aplicación típica de Kinesis Data Streams lee datos de un flujo de datos como registros de datos. Estas aplicaciones pueden usar la biblioteca de clientes de Kinesis y pueden ejecutarse en instancias de AmazonEC2. Puede enviar los registros procesados a paneles de control, utilizarlos para generar alertas, cambiar dinámicamente las estrategias de precios y publicidad o enviar datos a una variedad de otros servicios de AWS . Para obtener información sobre las características y los precios de Kinesis Data Streams, consulte Amazon Kinesis Data Streams.

Kinesis Data Streams forma parte de la plataforma de transmisión de datos Kinesis, junto con Firehose, Kinesis Video Streams y Managed Service for Apache Flink.

Para obtener más información sobre las soluciones de AWS big data, consulte Big Data en. AWS Para más información sobre las soluciones de datos de streaming de AWS , consulte ¿Qué son los datos de streaming?.

¿Qué puedo hacer con Kinesis Data Streams?

Puede utilizar Kinesis Data Streams para la ingesta y agregación rápidas y continuas de datos. El tipo de datos utilizado puede incluir datos de registros de infraestructura de TI, registros de aplicaciones, redes sociales, fuentes de datos de mercado y datos de secuencias de clics en sitios web. Dado que el tiempo de respuesta necesario para la admisión y el procesamiento de datos es en tiempo real, el procesamiento suele ser ligero.

Los siguientes son escenarios típicos de uso de Kinesis Data Streams:

Admisión y procesamiento acelerados de transmisiones de datos y registros

Puede hacer que los generadores de datos los inserten directamente en una secuencia. Por ejemplo, se pueden enviar logs del sistema y de las aplicaciones, y estarán disponibles para su procesamiento en cuestión de segundos. Eso evita que los datos registrados se pierdan si se produce un error en el front-end o en el servidor de la aplicación. Kinesis Data Streams permite la admisión acelerada de los datos, ya que no es necesario acumular lotes de datos en los servidores antes de enviarlos.

Métricas e informes en tiempo real

Puede utilizar los datos recopilados en Kinesis Data Streams para el análisis y la elaboración de informes sencillos en tiempo real. Por ejemplo, su aplicación de procesamiento de datos puede utilizar las métricas y los análisis de los registros de sistemas y aplicaciones a medida que entran los datos del streaming, en lugar de esperar a que lleguen lotes completos de datos.

Análisis de datos en tiempo real

Así se combina la eficacia del procesamiento paralelo con el valor de los datos en tiempo real. Por ejemplo, procese secuencias de clics de sitios web en tiempo real y, a continuación, analice el compromiso de usabilidad del sitio mediante varias aplicaciones diferentes de Kinesis Data Streams ejecutadas en paralelo.

Procesamiento de secuencias complejas

Puede crear gráficos acíclicos dirigidos (DAGs) de aplicaciones y flujos de datos de Kinesis Data Streams. Por lo general, esto implica colocar datos de varias aplicaciones de Kinesis Data Streams en otro flujo para su procesamiento posterior por una aplicación de Kinesis Data Streams diferente.

Ventajas de usar Kinesis Data Streams

Aunque puede utilizar Kinesis Data Streams para resolver diversos problemas de flujo de datos, un uso común es la agregación de datos en tiempo real seguida de la carga de los datos agregados en un almacén de datos o clúster MapReduce.

Los datos se colocan en flujos de datos de Kinesis, lo que garantiza su durabilidad y elasticidad. El intervalo entre el momento en que se coloca un registro en la transmisión y el momento en que se puede recuperar (put-to-get retraso) suele ser inferior a 1 segundo. En otras palabras, una aplicación de flujos de datos de Kinesis puede empezar a consumir los datos del flujo casi inmediatamente después de agregarlos. El aspecto de servicio administrado de Kinesis Data Streams elimina la carga operativa de crear y ejecuta una canalización de admisión de datos. Puede crear aplicaciones de flujo de tipo MapReduce. La elasticidad de Kinesis Data Streams le permite escalar el flujo hacia arriba o hacia abajo, de modo que nunca pierda registros de datos antes de su vencimiento.

Varias aplicaciones de Kinesis Data Streams pueden consumir datos de un flujo, de forma que varias acciones, como el archivado y el procesamiento, puedan tener lugar de forma simultánea e independiente. Por ejemplo, dos aplicaciones pueden leer datos de la misma secuencia. La primera aplicación calcula agregados en ejecución y actualiza una tabla de Amazon DynamoDB, y la segunda aplicación comprime y archiva los datos en un almacén de datos como Amazon Simple Storage Service (Amazon S3). A continuación, un panel lee la tabla de DynamoDB con los agregados en ejecución para obtener informes. up-to-the-minute

Kinesis Client Library permite el consumo tolerante a fallos de datos de flujos y proporciona soporte de escalado para aplicaciones de Kinesis Data Streams.

Servicios relacionados

Para obtener información sobre el uso de EMR clústeres de Amazon para leer y procesar directamente las transmisiones de datos de Kinesis, consulte Kinesis Connector.