Tutoriel : Analyser les données boursières en temps réel à l'aide d'Amazon Managed Service pour Apache Flink - Amazon Kinesis Data Streams

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Tutoriel : Analyser les données boursières en temps réel à l'aide d'Amazon Managed Service pour Apache Flink

Pour ce tutoriel, le scénario implique d'ingérer des opérations boursières dans un flux de données et d'écrire une application Amazon Managed Service for Apache Flink simple qui effectue des calculs sur le flux. Vous apprendrez à envoyer un flux d'enregistrements vers Kinesis Data Streams et à implémenter une application qui consomme et traite les enregistrements en temps quasi réel.

Avec Amazon Managed Service pour Apache Flink, vous pouvez utiliser Java ou Scala pour traiter et analyser les données de streaming. Le service vous permet de créer et d'exécuter du code Java ou Scala sur des sources de streaming pour effectuer des analyses de séries chronologiques, alimenter des tableaux de bord en temps réel et créer des métriques en temps réel.

Vous pouvez créer des applications Flink dans Managed Service for Apache Flink en utilisant des bibliothèques open-source basées sur Apache Flink. Apache Flink est un framework et un moteur populaires permettant de traiter des flux de données.

Important

Une fois que vous avez créé deux flux de données et une application, votre compte est soumis à des frais minimes pour l'utilisation de Kinesis Data Streams et du Managed Service for Apache Flink, car ils ne sont pas éligibles au niveau gratuit. AWS Lorsque vous aurez terminé d'utiliser cette application, supprimez vos AWS ressources pour ne plus être facturée.

Le code n'accède pas aux données boursières réelles, mais simule le flux des opérations boursières. Pour cela, il utilise un générateur de transactions boursières aléatoires. Si vous avez accès à un flux en temps réel d'opérations boursières, tirer des statistiques pratiques et adéquates de ce flux peut vous intéresser. Par exemple, vous pouvez effectuer une analyse par fenêtre glissante pour déterminer l'action la plus couramment achetée au cours des 5 dernières minutes. Vous souhaiterez peut-être aussi recevoir une notification chaque fois qu'il y a un ordre de vente qui est trop grand (c'est-à-dire qui contient trop d'actions). Vous pouvez étendre le code illustré dans cette série pour fournir cette fonctionnalité.

Les exemples présentés utilisent la région USA Ouest (Oregon), mais ils fonctionnent dans toutes les régions AWS qui prennent en charge Managed Service for Apache Flink.

Conditions préalables pour terminer les exercices

Pour exécuter la procédure indiquée dans ce guide, vous devez disposer des éléments suivants :

  • Kit de développement Java (JDK) version 8. Définissez la variable d'JAVA_HOMEenvironnement pour qu'elle pointe vers l'emplacement de votre JDK installation.

  • Nous vous recommandons d’utiliser un environnement de développement (par exemple Eclipse Java Neon ou IntelliJ Idea) pour développer et compiler votre application.

  • Client Git. Installez le client Git si vous ne l’avez pas déjà fait.

  • Apache Maven Compiler Plugin. Maven doit être installé dans votre chemin de travail. Pour tester votre installation Apache Maven, saisissez les informations suivantes :

    $ mvn -version

Pour démarrer, accédez à Étape 1 : configurer un AWS compte et créer un utilisateur administrateur.