Tutorial: Analysieren von Wertpapierdaten in Echtzeit mit Managed Service für Apache Flink - Amazon-Kinesis-Data-Streams
Voraussetzungen

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Tutorial: Analysieren von Wertpapierdaten in Echtzeit mit Managed Service für Apache Flink

Im Szenario dieses Tutorials werden Wertpapierdaten in einen Datenstrom geschrieben. Zudem wird eine einfache Amazon Managed Service für Apache Flink-Anwendung erstellt, die Berechnungen mit dem Stream durchführt. Sie erfahren, wie Sie einen Stream mit Datensätzen an Kinesis Data Streams senden und eine Anwendung implementieren, die die Datensätze nahezu in Echtzeit konsumiert und verarbeitet.

Mit Managed Service für Apache Flink für Flink-Anwendungen können Sie Java oder Scala verwenden, um Streaming-Daten zu verarbeiten und zu analysieren. Der Service ermöglicht die Erstellung und Ausführung von Java- oder Scala-Code für Streaming-Quellen zum Durchführen von Zeitreihenanalysen, Füllen von Echtzeit-Dashboards und Erstellen von Echtzeitmetriken.

Sie können Flink-Anwendungen in Managed Service für Apache Flink mithilfe von Open-Source-Bibliotheken erstellen, die auf Apache Flink basieren. Apache Flink ist ein beliebtes Framework und eine verteilte Engine zum Verarbeiten von Datenströmen.

Wichtig

Nachdem Sie zwei Datenstreams und eine Anwendung erstellt haben, fallen für Ihr Konto geringe Gebühren für Kinesis Data Streams und Managed Service für die Nutzung von Apache Flink an, da diese nicht für das AWS kostenlose Kontingent in Frage kommen. Wenn Sie mit dieser Anwendung fertig sind, löschen Sie Ihre AWS Ressourcen, damit keine Gebühren mehr anfallen.

Der Code greift nicht auf tatsächliche Wertpapierdaten zu, sondern simuliert nur deren Strom. Dazu werden zufällige Wertpapierdaten erzeugt. Wenn Sie Zugriff auf einen Echtzeit-Stream von Wertpapierdaten haben, möchten Sie vermutlich nützliche, zeitnahe Statistiken aus den Stream-Daten erzeugen. Sie können beispielsweise eine Zeitfensteranalyse durchführen, um festzustellen, welche Aktie in den letzten 5 Minuten am häufigsten erworben wurde. Oder Sie möchten im Falle eines zu großen Verkaufsauftrags (d. h. zu viele Anteile) benachrichtigt werden. Der Code in diesem Tutorial kann erweitert werden, um solche Funktionen bereitzustellen.

Bei den gezeigten Beispielen wird die Region USA West (Oregon) verwendet. Sie funktionieren aber auch für alle anderen AWS -Regionen, die Managed Service für Apache Flink unterstützen.

Aufgaben

Voraussetzungen für das Fertigstellen der Übungen

Zur Durchführung der Schritte in dieser Anleitung benötigen Sie Folgendes:

  • Java Development Kit (JDK), Version 8. Legen Sie die JAVA_HOME Umgebungsvariable so fest, dass sie auf Ihren JDK-Installationsspeicherort weist.

  • Wir empfehlen die Verwendung einer Entwicklungsumgebung (wie Eclipse Java Neon oder IntelliJ Idea), um Ihre Anwendung zu entwickeln und zu kompilieren.

  • Git-Client. Installieren Sie den Git-Client, wenn Sie dies noch nicht getan haben.

  • Apache Maven-Compiler-Plugin. Maven muss sich in Ihrem Arbeitspfad befinden. Zum Testen Ihrer Apache Maven-Installation geben Sie Folgendes ein:

    $ mvn -version

Um zu beginnen, gehen Sie zu Schritt 1: Richten Sie ein AWS Konto ein und erstellen Sie einen Administratorbenutzer.