Amazon Managed Service for Apache Flink (DataStream API) の使用を開始する

このセクションでは、Apache Flink 用 Managed Service の基本概念と、DataStream API を使用した Java でのアプリケーションの実装について説明します。アプリケーションの作成とテストに使用できるオプションについて説明します。また、このガイドのチュートリアルを完了し、初めてアプリケーションを作成するのに必要なツールのインストール方法についても説明します。

トピック

• Managed Service for Apache Flink アプリケーションのコンポーネントを確認する

• 演習を完了するための前提条件を満たす

• AWS アカウントをセットアップし、管理者ユーザーを作成する

• AWS Command Line Interface （AWS CLI) のセットアップ

• Apache Flink アプリケーション用 Managed Serviceを作成して実行する

• AWS リソースのクリーンアップ

• その他のリソースを調べる

Managed Service for Apache Flink アプリケーションのコンポーネントを確認する

注記

Amazon Managed Service for Apache Flink は、すべての Apache Flink APIs と、場合によってはすべての JVM 言語をサポートしています。詳細については、「Flink の APIs」を参照してください。

選択した API に応じて、アプリケーションの構造と実装は若干異なります。この入門チュートリアルでは、Java の DataStream API を使用したアプリケーションの実装について説明します。

データを処理するために、Managed Service for Apache Flink アプリケーションは、入力を処理し、Apache Flink ランタイムを使用して出力を生成する Java アプリケーションを使用します。

一般的な Managed Service for Apache Flink アプリケーションには、次のコンポーネントがあります。

• ランタイムプロパティ： ランタイムプロパティを使用して設定パラメータをアプリケーションに渡し、コードを変更および再発行することなく変更することができます。

• ソース： アプリケーションは 1 つ以上のソースからのデータを消費します。ソースはコネクタを使用して、Kinesis データストリームや Kafka バケットなどの外部システムからデータを読み込みます。詳細については、「ストリーミングデータソースを追加する」を参照してください。

• 「オペレータ:」アプリケーションは 1 つ以上の「オペレータ」を使用してデータを処理します。オペレータはデータを変換、強化、または集約できます。詳細については、「演算子」を参照してください。

• シンク： アプリケーションはシンクを介して外部ソースにデータを送信します。シンクはコネクタ v を使用して、Kinesis データストリーム、Kafka トピック、Amazon S3、またはリレーショナルデータベースにデータを送信します。また、特別なコネクタを使用して、開発のみを目的として出力を印刷することもできます。詳細については、「シンクを使用したデータの書き込み」を参照してください。

アプリケーションには、アプリケーションが使用する Flink コネクタや Java ライブラリなど、いくつかの外部依存関係が必要です。Amazon Managed Service for Apache Flink で を実行するには、アプリケーションを依存関係とともに fat-jar にパッケージ化し、Amazon S3 バケットにアップロードする必要があります。次に、Apache Flink アプリケーション用 Managed Serviceを作成します。コードパッケージの場所を、他のランタイム設定パラメータとともに渡します。

このチュートリアルでは、Apache Maven を使用してアプリケーションをパッケージ化する方法と、選択した IDE でアプリケーションをローカルで実行する方法について説明します。

演習を完了するための前提条件を満たす

このガイドの手順を完了するには、以下が必要です。

• Git クライアント。まだインストールしていない場合は、Git クライアントをインストールします。

• Java Development Kit (JDK) バージョン 11。 Java JDK 11 をインストールし、JDK のインストール場所を指すように JAVA_HOME環境変数を設定します。JDK 11 がない場合は、Amazon Coretto 11 または他の任意の標準 JDK を使用できます。

  • JDK が正しくインストールされていることを確認するには、次のコマンドを実行します。Amazon Corretto 以外の JDK を使用している場合、出力は異なります。バージョンが 11.x であることを確認します。

    $ java --version
    
    openjdk 11.0.23 2024-04-16 LTS
    OpenJDK Runtime Environment Corretto-11.0.23.9.1 (build 11.0.23+9-LTS)
    OpenJDK 64-Bit Server VM Corretto-11.0.23.9.1 (build 11.0.23+9-LTS, mixed mode)

• Apache Maven。まだインストールしていない場合は、Apache Maven をインストールします。インストール方法については、「Apache Maven のインストール」を参照してください。

  • Apache Maven のインストールをテストするには、次のように入力します。

  $ mvn -version

• ローカル開発用の IDE。Eclipse Java Neon や IntelliJ IDEA などの開発環境を使用して、アプリケーションを開発およびコンパイルすることをお勧めします。

  • Apache Maven のインストールをテストするには、次のように入力します。

  $ mvn -version

開始するには、AWS アカウントをセットアップし、管理者ユーザーを作成するに進みます。