Introducción a Amazon Managed Service para Apache Flink () DataStream API

En esta sección, se presentan los conceptos fundamentales del servicio gestionado para Apache Flink y la implementación de una aplicación en Java mediante el. DataStream API Describe las opciones disponibles para crear y probar sus aplicaciones. También proporciona instrucciones para instalar las herramientas necesarias para completar los tutoriales de esta guía y crear su primera aplicación.

Temas

• Revise los componentes de la aplicación Managed Service for Apache Flink
• Cumpla con los requisitos previos para completar los ejercicios
• Configure una AWS cuenta y cree un usuario administrador
• Configure el AWS Command Line Interface (AWS CLI)
• Cree y ejecute un servicio gestionado para la aplicación Apache Flink
• Limpie los recursos AWS
• Explore recursos adicionales

Revise los componentes de la aplicación Managed Service for Apache Flink

nota

Amazon Managed Service for Apache Flink es compatible con todos los Apache Flink APIs y, potencialmente, con todos los JVM idiomas. Para obtener más información, consulte Flink's. APIs

Dependiendo de API lo que elija, la estructura de la aplicación y la implementación son ligeramente diferentes. Este tutorial de introducción cubre la implementación de las aplicaciones que DataStream API utilizan Java.

Para procesar los datos, su aplicación Managed Service for Apache Flink utiliza una aplicación Java que procesa las entradas y produce las salidas mediante el tiempo de ejecución de Apache Flink.

Una aplicación típica de servicio gestionado para Apache Flink tiene los siguientes componentes:

• Propiedades de tiempo de ejecución: puede usar las propiedades de tiempo de ejecución para pasar los parámetros de configuración a su aplicación y cambiarlos sin modificar ni volver a publicar el código.

• Fuentes: la aplicación consume datos de una o más fuentes. Una fuente utiliza un conector para leer datos de un sistema externo, como una transmisión de datos de Kinesis o un bucket de Kafka. Para obtener más información, consulte Orígenes.

• Operadores: la aplicación procesa los datos mediante uno o más operadores. Un operador puede transformar, enriquecer o agregar datos. Para obtener más información, consulte DataStream Operadores de API.

• Sumideros: la aplicación envía los datos a fuentes externas a través de los sumideros. Un receptor utiliza un conector v para enviar datos a una transmisión de datos de Kinesis, un tema de Kafka, Amazon S3 o una base de datos relacional. También puede utilizar un conector especial para imprimir la salida únicamente con fines de desarrollo. Para obtener más información, consulte Receptores.

La aplicación requiere algunas dependencias externas, como los conectores Flink que utiliza la aplicación o, posiblemente, una biblioteca Java. Para ejecutarse en Amazon Managed Service for Apache Flink, la aplicación debe empaquetarse junto con las dependencias en un fat-jar y cargarse en un bucket de Amazon S3. Luego debe crear la aplicación de Managed Service para Apache Flink. Debe pasar la ubicación del paquete de códigos, junto con cualquier otro parámetro de configuración del tiempo de ejecución.

Este tutorial muestra cómo usar Apache Maven para empaquetar la aplicación y cómo ejecutarla localmente en el IDE lugar que prefiera.

Cumpla con los requisitos previos para completar los ejercicios

Para completar los pasos de esta guía, debe disponer de lo siguiente:

• Cliente Git. Instala el cliente Git, si aún no lo has hecho.

• Kit de desarrollo de Java (JDK) versión 11. Instale un Java JDK 11 y configure la variable de JAVA_HOME entorno para que apunte a su ubicación de JDK instalación. Si no tienes un JDK 11, puedes usar Amazon Coretto 11 o cualquier otro estándar JDK de tu elección.

  • Para comprobar que lo ha JDK instalado correctamente, ejecute el siguiente comando. El resultado será diferente si utilizas un dispositivo que no JDK sea Amazon Corretto. Asegúrese de que la versión sea 11.x.

    $ java --version
    
    openjdk 11.0.23 2024-04-16 LTS
    OpenJDK Runtime Environment Corretto-11.0.23.9.1 (build 11.0.23+9-LTS)
    OpenJDK 64-Bit Server VM Corretto-11.0.23.9.1 (build 11.0.23+9-LTS, mixed mode)

• Apache Maven. Instale Apache Maven si aún no lo ha hecho. Para obtener información sobre cómo instalarlo, consulte Instalación de Apache Maven.

  • Para probar la instalación de Apache Maven, introduzca lo siguiente:

  $ mvn -version

• IDEpara el desarrollo local. Le recomendamos que utilice un entorno de desarrollo como Eclipse, Java, Neon o IDEAIntelliJ para desarrollar y compilar la aplicación.

  • Para probar la instalación de Apache Maven, introduzca lo siguiente:

  $ mvn -version

Para empezar, vaya a Configure una AWS cuenta y cree un usuario administrador.