Python の例 - Managed Service for Apache Flink

Amazon Managed Service for Apache Flink は、以前は Amazon Kinesis Data Analytics for Apache Flink と呼ばれていました。

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Python の例

次の例は、Python で記述されたアプリケーションを作成する方法を示しています。

注記

ほとんどの例は、ローカル、開発マシン、選択した IDE、Amazon Managed Service for Apache Flink の両方で実行されるように設計されています。これらは、アプリケーションパラメータを渡すために使用できるシンプルなメカニズムと、両方の環境でアプリケーションを変更せずに実行するために依存関係を正しく設定する方法を示しています。

プロジェクトの依存関係

ほとんどの PyFlink 例では、Flink コネクタや Python サードパーティーライブラリなど、JAR ファイル形式の 1 つ以上の依存関係が必要です。これらの依存関係はサンプルリポジトリには含まれていません。アプリケーションをパッキングする前に、それらをマシンにダウンロードする必要があります。依存関係の詳細については、「README: Packaging」を参照してください。

必要なコネクタの正しいバージョンをダウンロードするためのリンクについては、Flink のドキュメントを参照してください。使用している Flink バージョンの依存関係を常に使用します。以下は、Flink 1.18 で頻繁に使用されるコネクタの依存関係です。

次の例には、依存関係を設定するために必要なコードが既に含まれています。

この例では、 Table API と SQL を使用した PyFlink アプリケーションの基本構造を示します。また、 PyFlink アプリケーションに単一の JAR 依存関係を含める方法も示します。この場合、Kinesis SQL コネクタが含まれています。

コード例: GettingStarted

これら 2 つの例は、 Table API を使用したイベント時のタンブリングウィンドウとスライディングウィンドウの実装を示しています。この例は、イベントタイムウィンドウに使用されるソーステーブルでウォーターマークを定義する方法も示しています。どちらの例にも、Kinesis SQL コネクタの JAR 依存関係が含まれています。

コード例:

この例では、出力を JSON ファイルとして Amazon S3 に書き込む方法を示します。Amazon S3 にファイルを書き込んでローテーションするには、Amazon S3シンクのチェックポイントを有効にする必要があります。

コード例: StreamingFileSink