Amazon Managed Service para Apache Flink Amazon (Amazon MSF) se denominaba anteriormente Amazon Kinesis Data Analytics para Apache Flink.
Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Introducción a Amazon Managed Service para Apache Flink (API de tabla)
En esta sección presenta una introducción a los conceptos fundamentales de Managed Service para Apache Flink y la implementación de una aplicación en Jafa mediante la API de tabla y SQL. Muestra cómo cambiar entre diferentes aplicaciones APIs dentro de la misma aplicación y describe las opciones disponibles para crear y probar sus aplicaciones. También proporciona instrucciones para instalar las herramientas necesarias para completar los tutoriales de esta guía y crear su primera aplicación.
Temas
Revisión de los componentes de la aplicación de Managed Service para Apache Flink
nota
El servicio gestionado para Apache Flink es compatible con todos los lenguajes Apache Flink APIs
Para procesar los datos, su aplicación de Managed Service para Apache Flink utiliza una aplicación Python que procesa las entradas y produce las salidas mediante el tiempo de ejecución de Apache Flink.
Una aplicación de Apache Flink típica tiene los siguientes componentes:
-
Propiedades de tiempo de ejecución: se pueden usar las propiedades de tiempo de ejecución para transferir los parámetros de configuración a su aplicación sin modificar ni volver a publicar el código.
-
Fuentes: la aplicación consume datos de una o más fuentes. Una fuente utiliza un conector
para leer datos de un sistema externo, como un flujo de datos de Kinesis o un tema de Amazon MSK. Para el desarrollo o las pruebas, también se puede hacer que las fuentes generen datos de prueba al azar. Para obtener más información, consulte Agregación de orígenes de datos de transmisión a Managed Service para Apache Flink. Con SQL o la API de tablas, las fuentes se definen como tablas de fuentes. -
Transformaciones: la aplicación procesa los datos mediante una o más transformaciones que pueden filtrar, enriquecer o agregar datos. Cuando se utiliza SQL o la API de tablas, las transformaciones se definen como consultas sobre tablas o vistas.
-
Receptores: la aplicación envía datos a sistemas externos a través de receptores. Un recepción utiliza un conector
para enviar datos a un sistema externo, como un flujo de datos de Kinesis, un tema de Amazon MSK, un bucket de Amazon S3 o una base de datos relacional. También se puede utilizar un conector especial para imprimir la salida únicamente con fines de desarrollo. Cuando se utiliza SQL o la API de tablas, los receptores se definen como tablas de receptor en las que se insertan los resultados. Para obtener más información, consulte Escritura de datos mediante receptores en Managed Service para Apache Flink.
La aplicación requiere algunas dependencias externas, como los conectores Flink que utiliza la aplicación o, posiblemente, una biblioteca de Java. Para ejecutarla en Amazon Managed Service para Apache Flink, debe empaquetar la aplicación junto con las dependencias en un fat-JAR y subirla a un bucket de Amazon S3. Luego debe crear la aplicación de Managed Service para Apache Flink. Pase la ubicación del paquete de códigos, junto con otros parámetros de configuración del tiempo de ejecución. Este tutorial muestra cómo usar Apache Maven para empaquetar la aplicación y cómo ejecutarla de manera local en el IDE que elija.
Cumplimiento de los requisitos previos obligatorios
Antes de iniciar este tutorial, complete los dos primeros pasos de Comience a utilizar Amazon Managed Service para Apache Flink (DataStream API):
Para empezar, consulte Creación de una aplicación de .
Siguiente paso
