Managed Service for Apache Flink の Python の例 - Managed Service for Apache Flink

Amazon Managed Service for Apache Flink は、以前は Amazon Kinesis Data Analytics for Apache Flink と呼ばれていました。

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Managed Service for Apache Flink の Python の例

次の例は、Python で記述されたアプリケーションを作成する方法を示しています。

注記

ほとんどの例は、ローカル、開発マシン、IDE任意の 、Amazon Managed Service for Apache Flink の両方で実行されるように設計されています。これらは、アプリケーションパラメータを渡すために使用できるシンプルなメカニズムと、両方の環境でアプリケーションを変更せずに実行するように依存関係を正しく設定する方法を示しています。

プロジェクトの依存関係

ほとんどの PyFlink 例では、Flink コネクタなど、JARファイルとして 1 つ以上の依存関係が必要です。これらの依存関係は、Amazon Managed Service for Apache Flink にデプロイするときに、アプリケーションと共にパッケージ化する必要があります。

次の例には、開発とテストのためにアプリケーションをローカルで実行し、必要な依存関係を正しくパッケージ化できるツールが既に含まれています。このツールでは、Java JDK11と Apache Maven を使用する必要があります。具体的な手順については、各例READMEに含まれる「」を参照してください。

この例では、Python コードにSQL埋め込まれた を使用する PyFlink アプリケーションの基本構造を示しています。このプロジェクトでは、コネクタなどのJAR依存関係を含む PyFlink アプリケーションのスケルトンも提供します。README このセクションでは、開発のために Python アプリケーションをローカルで実行する方法に関する詳細なガイダンスを提供します。この例では、この例の Kinesis SQL コネクタという単一のJAR依存関係をアプリケーションに含める方法も示しています PyFlink。

コード例: GettingStarted

この例では、Python の依存関係を最も一般的な方法で PyFlink アプリケーションに追加する方法を示します。このメソッドは、Boto3 などの単純な依存関係や、 などの C ライブラリを含む複雑な依存関係に対して機能します PyArrow。

コード例: PythonDependencies

この例では、Python アプリケーションにSQL埋め込まれた の 4 種類のウィンドウ集約を示しています。

  1. 処理時間に基づくスライディングウィンドウ

  2. イベント時間に基づくスライディングウィンドウ

  3. 処理時間に基づくタンブリングウィンドウ

  4. イベント時間に基づくタンブリングウィンドウ

コード例: ウィンドウ処理

この例では、Python アプリケーションにSQL埋め込まれた を使用して、出力をJSONファイルとして Amazon S3 に書き込む方法を示します。S3 シンクが Amazon S3 にファイルを書き込んでローテーションするには、チェックポイントを有効にする必要があります。

コード例: S3Sink

この例では、ユーザー定義関数を定義し、Python で実装して、Python アプリケーションで実行されるSQLコードで使用する方法を示します。

コード例: UDF

この例では、 を使用して Amazon Data Firehose にデータを送信する方法を示しますSQL。

コード例: FirehoseSink