Commencer à utiliser Amazon Managed Service pour Apache Flink () DataStream API

Cette section présente les concepts fondamentaux du service géré pour Apache Flink et de l'implémentation d'une application en Java à l'aide du DataStream API. Elle décrit les options disponibles pour créer et tester vos applications. Elle fournit également des instructions pour installer les outils nécessaires pour suivre les didacticiels de ce guide et pour créer votre première application.

Rubriques

• Passez en revue les composants de l'application Managed Service for Apache Flink
• Remplir les conditions préalables pour terminer les exercices
• Configuration d'un AWS compte et création d'un utilisateur administrateur
• Configurez le AWS Command Line Interface (AWS CLI)
• Création et exécution d'un service géré pour l'application Apache Flink
• Nettoyer les AWS ressources
• Découvrez des ressources supplémentaires

Passez en revue les composants de l'application Managed Service for Apache Flink

Note

Amazon Managed Service pour Apache Flink prend en charge tous les Apache Flink APIs et potentiellement toutes les JVM langues. Pour plus d'informations, consultez Flink's. APIs

En fonction de API votre choix, la structure de l'application et son implémentation sont légèrement différentes. Ce didacticiel de mise en route couvre la mise en œuvre des applications utilisant le DataStream API en Java.

Pour traiter les données, votre application Managed Service for Apache Flink utilise une application Java qui traite les entrées et produit des sorties à l'aide du moteur d'exécution Apache Flink.

Un service géré typique pour une application Apache Flink comprend les composants suivants :

• Propriétés d'exécution : vous pouvez utiliser les propriétés d'exécution pour transmettre des paramètres de configuration à votre application afin de les modifier sans modifier ni republier le code.

• Sources : l'application consomme des données provenant d'une ou de plusieurs sources. Une source utilise un connecteur pour lire les données d'un système externe, tel qu'un flux de données Kinesis ou un bucket Kafka. Pour plus d’informations, consultez Sources.

• Opérateurs : l’application traite les données à l’aide d’un ou de plusieurs opérateurs. Un opérateur peut transformer, enrichir ou agréger des données. Pour plus d’informations, consultez DataStream Opérateurs d'API.

• Récepteurs : l'application envoie des données à des sources externes via des récepteurs. Un récepteur utilise un connecteur v pour envoyer des données vers un flux de données Kinesis, une rubrique Kafka, Amazon S3 ou une base de données relationnelle. Vous pouvez également utiliser un connecteur spécial pour imprimer la sortie à des fins de développement uniquement. Pour plus d’informations, consultez Récepteurs.

Votre application nécessite certaines dépendances externes, telles que les connecteurs Flink qu'elle utilise, ou éventuellement une bibliothèque Java. Pour être exécutée dans Amazon Managed Service pour Apache Flink, l'application doit être empaquetée avec ses dépendances dans un fat-jar et téléchargée dans un compartiment Amazon S3. Vous créez ensuite une application de service géré pour Apache Flink. Vous transmettez l'emplacement du package de code, ainsi que tout autre paramètre de configuration d'exécution.

Ce didacticiel explique comment utiliser Apache Maven pour empaqueter l'application et comment exécuter l'application localement dans le fichier IDE de votre choix.

Remplir les conditions préalables pour terminer les exercices

Pour exécuter la procédure indiquée dans ce guide, vous devez disposer des éléments suivants :

• Client Git. Installez le client Git, si ce n'est pas déjà fait.

• Kit de développement Java (JDK) version 11. Installez un Java JDK 11 et définissez la variable d'JAVA_HOMEenvironnement pour qu'elle pointe vers votre emplacement d'JDKinstallation. Si vous n'avez pas de JDK 11, vous pouvez utiliser Amazon Coretto 11 ou tout autre standard JDK de votre choix.

  • Pour vérifier que vous l'avez correctement JDK installé, exécutez la commande suivante. Le résultat sera différent si vous utilisez un JDK autre appareil qu'Amazon Corretto. Assurez-vous que la version est 11.x.

    $ java --version
    
    openjdk 11.0.23 2024-04-16 LTS
    OpenJDK Runtime Environment Corretto-11.0.23.9.1 (build 11.0.23+9-LTS)
    OpenJDK 64-Bit Server VM Corretto-11.0.23.9.1 (build 11.0.23+9-LTS, mixed mode)

• Apache Maven. Installez Apache Maven si ce n'est pas déjà fait. Pour savoir comment l'installer, consultez la section Installation d'Apache Maven.

  • Pour tester votre installation Apache Maven, saisissez les informations suivantes :

  $ mvn -version

• IDEpour le développement local. Nous vous recommandons d'utiliser un environnement de développement tel qu'Eclipse, Java Neon ou IDEAIntelliJ pour développer et compiler votre application.

  • Pour tester votre installation Apache Maven, saisissez les informations suivantes :

  $ mvn -version

Pour démarrer, accédez à Configuration d'un AWS compte et création d'un utilisateur administrateur.