Amazon Kinesis Data Analytics para aplicaciones SQL: cómo funciona

Una aplicación es el recurso principal de Amazon Kinesis Data Analytics que puede crear en su cuenta. Puede crear y administrar aplicaciones mediante la API de Kinesis Data AnalyticsAWS Management Console o la API de Kinesis. Kinesis Data Analytics proporciona operaciones de API para administrar las aplicaciones. Para ver la lista de operaciones de la API, consulte Acciones.

Las aplicaciones de Kinesis Data Analytics de Kinesis Data Analytics de Kinesis Data Analytics de Kinesis Data Analytics de Kinesis Data Analytics en tiempo real. Debe escribir el código de la aplicación con SQL para procesar los datos de streaming entrantes y producir la salida. A continuación, Kinesis Data Analytics escribe la salida en un destino configurado. El siguiente diagrama ilustra la arquitectura de una aplicación típica.

Cada aplicación tiene un nombre, una descripción, un identificador de versión y un estado. Amazon Kinesis Data Analytics asigna un identificador de versión al crear una aplicación por primera vez. Se actualiza este ID de versión cuando actualiza la configuración de cualquier aplicación. Por ejemplo, si agrega una configuración de entrada, agrega o elimina una fuente de datos de referencia, agrega o elimina una configuración de salida o actualiza el código de la aplicación, Kinesis Data Analytics actualiza el ID de la versión actual de la aplicación. Kinesis Data Analytics también mantiene las marcas de tiempo en las que se creó una aplicación y se actualizó por última vez.

Además de estas propiedades básicas, cada aplicación se compone de lo siguiente:

• Entrada: la fuente de transmisión de la aplicación. Puede seleccionar una secuencia de datos de Kinesis Data Firehose como el origen de streaming. En la configuración de entrada, debe asignar el origen de streaming a una secuencia de entrada en la aplicación. La secuencia en la aplicación se asemeja a una tabla que se actualiza constantemente, en la que puede realizar operaciones SELECT e INSERT SQL. En su código de aplicación, puede crear transmisiones en la aplicación adicionales para almacenar los resultados intermedios de la consulta.

   

  Si lo desea, puede dividir un único origen de streaming en varias secuencias de entrada en la aplicación para mejorar el rendimiento. Para obtener más información, consulte Límites y Configuración de entrada de la aplicación.

   

  Amazon Kinesis Data Analytics proporciona una columna con marca de tiempo en cada transmisión de aplicaciones llamadaMarcas temporales y la comuna ROWTIME. Puede utilizar esta columna en las consultas en ventana basadas en el tiempo. Para obtener más información, consulte Consultas en ventana.

   

  Si lo desea, puede configurar un origen de datos de referencia para enriquecer la secuencia de datos de entrada en la aplicación. Se produce una tabla de referencia en la aplicación. Debe almacenar los datos de referencia como un objeto en el bucket S3. Cuando se inicia la aplicación, Amazon Kinesis Data Analytics lee el destino Amazon S3 y crea una tabla dentro de la aplicación. Para obtener más información, consulte Configuración de entrada de la aplicación.

   

• Código de aplicación: serie de sentencias SQL que procesan la entrada y producen la salida. Puede escribir instrucciones de SQL en a secuencias en la aplicación y con tablas de referencia. También puede escribir consultas JOIN para combinar datos de ambos orígenes.

   

  Para obtener información sobre los elementos del lenguaje SQL compatibles con Kinesis Data Analytics, consulte Amazon Kinesis Data Analytics SQL Reference.

   

  En su forma más sencilla, el código de la aplicación puede ser una única instrucción SQL que selecciona de una entrada de streaming e introduce los resultados en una salida de streaming. También puede ser una serie de instrucciones SQL en las que la salida de una alimenta la salida de la siguiente instrucción SQL. Además, puede escribir el código de aplicación para dividir una secuencia de entrada en varias secuencias. A continuación, puede aplicar consultas adicionales para procesar estas secuencias. Para obtener más información, consulte Código de la aplicación.

   

• Salida: en el código de la aplicación, los resultados de las consultas van a las secuencias de la aplicación. En el código de la aplicación, puede crear una o más secuencias en la aplicación adicionales para conservar resultados intermedios. Además, como opción, puede configurar la salida de la aplicación para que se envíen datos de secuencias en la aplicación, que mantengan la salida de la aplicación (se conocen también como reproducciones de salida en la aplicación), para destinos externos. Los destino externos pueden ser un destino de entrega de Kinesis Data Firehose. Tenga en cuenta lo siguiente en relación con estos destinos:

  • Puede configurar un flujo de entrega de Kinesis Data Firehose para escribir los resultados en Amazon S3, Amazon Redshift o Amazon OpenSearch Service (OpenSearch Service).

     

  • También puede escribir la salida de la aplicación en un destino personalizado en lugar de en Amazon S3 o Amazon Redshift. Para ello, especifique una secuencia de datos de Kinesis como el destino en la destino de salida. A continuación, configuraAWS Lambda para sondear la transmisión e invocar la función Lambda. El código de la función Lambda recibe los datos del flujo como entrada. En el código de la función Lambda, puede escribir los datos entrantes en su destino personalizado. Para obtener más información, consulte UsoAWS Lambda con Amazon Kinesis Data Analytics.

  Para obtener más información, consulte Configuración de salida de la aplicación.

Además, tenga en cuenta lo siguiente:

• Amazon Kinesis Data Analytics necesita permisos para leer registros de una fuente de transmisión y escribir los resultados de la aplicación en los destinos externos. Las funciones de IAM se utilizan para conceder estos permisos.

   

• Kinesis Data Analytics proporciona automáticamente un flujo de errores en la aplicación para cada aplicación. Si la aplicación tiene problemas al procesar determinados registros (por ejemplo, por un retraso o porque no coincide el tipo), ese registro se escribe en la secuencia de errores. Puede configurar la salida de la aplicación para que Kinesis Data Analytics conserve los datos del flujo de errores en un destino externo para su posterior evaluación. Para obtener más información, consulte Control de errores.

   

• Amazon Kinesis Data Analytics garantiza que los registros de salida de la aplicación se escriban en el destino configurado. Utiliza "al menos un" modelo de entrega y procesamiento, incluso si se produce una interrupción de la aplicación. Para obtener más información, consulte Modelo de entrega para conservar la salida de las aplicaciones en destinos externos.

• Configuración de entrada de la aplicación
• Código de la aplicación
• Configuración de salida de la aplicación
• Control de errores
• Escalado automático de aplicaciones para incrementar el desempeño
• Uso del etiquetado