Erste Schritte mit Amazon Managed Service für Apache Flink (DataStreamAPI)

In diesem Abschnitt werden Ihnen die grundlegenden Konzepte von Managed Service für Apache Flink und die DataStream API vorgestellt. Es werden die verfügbaren Optionen für die Erstellung und das Testen von Anwendungen beschrieben. Er enthält auch Anweisungen zur Installation der Tools, die Sie benötigen, um die Tutorials in diesem Handbuch abzuschließen und Ihre erste Anwendung zu erstellen.

Themen

• Sehen Sie sich die Komponenten der Anwendung Managed Service für Apache Flink an
• Erfüllen Sie die Voraussetzungen für das Abschließen der Übungen
• Schritt 1: Richten Sie ein AWS Konto ein und erstellen Sie einen Administratorbenutzer
• Schritt 2: Richten Sie das AWS Command Line Interface () ein AWS CLI
• Schritt 3: Erstellen Sie eine Managed Service für Apache Flink-Anwendung und führen Sie sie aus
• Schritt 4: AWS Ressourcen bereinigen
• Schritt 5: Verwenden Sie Ressourcen, um die nächsten Schritte abzuschließen

Sehen Sie sich die Komponenten der Anwendung Managed Service für Apache Flink an

Zur Verarbeitung von Daten verwendet Ihre Managed Service für Apache Flink-Anwendung eine Java/Apache Maven- oder Scala-Anwendung, die mithilfe der Apache Flink-Laufzeit Eingaben verarbeitet und Ausgaben erzeugt.

Eine Anwendung Managed Service für Apache Flink besteht aus folgenden Komponenten:

• Runtime-Eigenschaften: Sie können Runtime-Eigenschaften verwenden, um Ihre Anwendung zu konfigurieren, ohne Ihren Anwendungscode neu kompilieren zu müssen.

• Quelle: Die Anwendung verwendet Daten mithilfe einer Quelle. Ein Quell-Connector liest Daten aus einem Kinesis Data Stream, einem Amazon S3-Bucket usw. Weitere Informationen finden Sie unter Quellen.

• Operatoren: Die Anwendung verarbeitet Daten mithilfe eines oder mehrerer Operatoren. Ein Operator kann Daten transformieren, anreichern oder aggregieren. Weitere Informationen finden Sie unter DataStream API-Betreiber.

• Senke: Die Anwendung erzeugt Daten für externe Quellen mithilfe von Senken. Ein Sink-Connector schreibt Daten in einen Kinesis-Datenstream, einen Firehose-Stream, einen Amazon S3 S3-Bucket usw. Weitere Informationen finden Sie unter Senken.

Nachdem Sie Ihren Anwendungscode erstellt, kompiliert und verpackt haben, laden Sie das Codepaket in einen Amazon Simple Storage Service (Amazon S3)-Bucket hoch. Anschließend erstellen Sie eine Managed Service für Apache Flink-Anwendung. Sie übergeben den Speicherort des Codepakets, einen Kinesis Data Stream als Streaming-Datenquelle und in der Regel einen Streaming- oder Dateispeicherort, der die verarbeiteten Daten der Anwendung empfängt.

Erfüllen Sie die Voraussetzungen für das Abschließen der Übungen

Zur Durchführung der Schritte in dieser Anleitung benötigen Sie Folgendes:

• Java Development Kit (JDK) version 11. Legen Sie die JAVA_HOME Umgebungsvariable so fest, dass sie auf Ihren JDK-Installationsspeicherort weist.

• Wir empfehlen die Verwendung einer Entwicklungsumgebung (wie Eclipse Java Neon oder IntelliJ Idea), um Ihre Anwendung zu entwickeln und zu kompilieren.

• Git-Client. Installieren Sie den Git-Client, wenn Sie dies noch nicht getan haben.

• Apache Maven-Compiler-Plugin. Maven muss sich in Ihrem Arbeitspfad befinden. Zum Testen Ihrer Apache Maven-Installation geben Sie Folgendes ein:

  $ mvn -version

Um zu beginnen, gehen Sie zu Schritt 1: Richten Sie ein AWS Konto ein und erstellen Sie einen Administratorbenutzer.