Amazon Managed Service for Apache Flink 1.19

Managed Service for Apache Flink が Apache Flink バージョン 1.19.1 をサポートするようになりました。このセクションでは、Apache Flink 1.19.1 の Managed Service for Apache Flink サポートで導入された主な新機能と変更点について説明します。

注記

以前にサポートされているバージョンの Apache Flink を使用していて、既存のアプリケーションを Apache Flink 1.19.1 にアップグレードする場合は、インプレース Apache Flink バージョンアップグレードを使用してアップグレードできます。詳細については、「Apache Flink のインプレースバージョンアップグレードを使用する」を参照してください。インプレースバージョンアップグレードでは、スナップショット、ログ、メトリクス、タグ、Flink 設定など、Apache Flink バージョンARN全体で 1 つの に対してアプリケーションのトレーサビリティを維持します。

サポートされている機能

Apache Flink 1.19.1 では、名前付きパラメータAPI、カスタムソース並列処理、さまざまな Flink 演算子TTLsのさまざまな状態など、 SQL が改善されています。

サポートされている機能と関連ドキュメント

サポートされている機能	説明	Apache Flink ドキュメントリファレンス
SQL API: SQL Hint TTLsを使用した異なる状態の設定のサポート	ユーザーは、ストリームの通常の結合とグループ集約TTLで状態を設定できるようになりました。	FLIP-373: SQL Hint TTLsを使用して異なる状態を設定する
SQL API: 関数と呼び出し手順の名前付きパラメータをサポート	ユーザーは、パラメータの順序に依存するのではなく、名前付きパラメータを関数で使用できるようになりました。	FLIP-378: 関数と呼び出し手順の名前付きパラメータをサポート
SQL API: SQLソースの並列処理の設定	ユーザーは、SQLソースの並列処理を指定できるようになりました。	FLIP-367: テーブル/SQLソースの並列処理の設定をサポート
SQL API: セッションウィンドウのサポート TVF	ユーザーはセッションウィンドウのテーブルバリュー関数を使用できるようになりました。	FLINK-24024: セッションウィンドウのサポート TVF
SQL API: ウィンドウTVF集約が変更ログ入力をサポート	ユーザーは、変更ログ入力でウィンドウ集約を実行できるようになりました。	FLINK-20281: ウィンドウ集約が変更ログストリーム入力をサポート
Python 3.11 のサポート	Flink は Python 3.11 をサポートするようになりました。Python 3.10 と比較して 10～60% 高速です。詳細については、Python 3.11 の最新情報を参照してください。	FLINK-33030: Python 3.11 サポートの追加
TwoPhaseCommitting シンクのメトリクスを提供する	ユーザーは、2 つのフェーズのコミットシンクでコミッターのステータスに関する統計を表示できます。	FLIP-371: でのコミット作成の初期化コンテキストを提供する TwoPhaseCommittingSink
ジョブの再起動とチェックポイントのための Trace Reporter	ユーザーは、チェックポイントの期間と啓蒙傾向に関するトレースをモニタリングできるようになりました。Amazon Managed Service for Apache Flink では、Slf4j トレースレポーターをデフォルトで有効にしているため、ユーザーはアプリケーション CloudWatch ログを介してチェックポイントとジョブのトレースをモニタリングできます。	FLIP-384: チェックポイント TraceReporter トレースと復旧トレースの紹介と作成に使用する

注記

サポートケース を送信することで、次の機能をオプトインできます。

オプトイン機能と関連ドキュメント

オプトイン機能	説明	Apache Flink ドキュメントリファレンス
ソースがバックログを処理しているときに、チェックポイント間隔を大きくするサポート	これはオプトイン機能です。ユーザーは特定のジョブ要件に合わせて設定を調整する必要があるためです。	FLIP-309: ソースがバックログを処理しているときに、より長いチェックポイント間隔を使用するサポート
System.out と System.err を Java ログにリダイレクトする	これはオプトイン機能です。Amazon Managed Service for Apache Flink では、本番環境でのベストプラクティスはネイティブ Java ロガーを使用することであるため、デフォルトの動作は System.out と System.err からの出力を無視することです。	FLIP-390: システム出力とエラーをサポートしてリダイレクトLOGまたは破棄する

Apache Flink 1.19.1 リリースドキュメントについては、「Apache Flink ドキュメント v1.19.1」を参照してください。

Amazon Managed Service for Apache Flink 1.19.1 の変更点

デフォルトで有効になっている Trace Reporter のログ記録

Apache Flink 1.19.1 では、チェックポイントとリカバリのトレースが導入され、ユーザーはチェックポイントとジョブのリカバリの問題をより適切にデバッグできるようになりました。Amazon Managed Service for Apache Flink では、これらのトレースは CloudWatch ログストリームにログインされるため、ユーザーはジョブの初期化に費やされた時間を分解し、チェックポイントの履歴サイズを記録できます。

デフォルトの再起動戦略が指数遅延になりました

Apache Flink 1.19.1 では、指数遅延再起動戦略が大幅に改善されています。Flink 1.19.1 以降の Amazon Managed Service for Apache Flink では、Flink ジョブはデフォルトで指数遅延再起動戦略を使用します。つまり、ユーザージョブは一時的なエラーから迅速に復旧しますが、ジョブの再起動が続く場合、外部システムに過負荷をかけません。

バックポートされたバグ修正

Amazon Managed Service for Apache Flink のバックポートは、重大な問題に対して Flink コミュニティから修正されます。つまり、ランタイムは Apache Flink 1.19.1 リリースとは異なります。以下は、バックポートしたバグ修正のリストです。

バックポートされたバグ修正

Apache Flink JIRA リンク	説明
FLINK-35531	この修正は、 への書き込みが遅くなる 1.17.0 で導入されたパフォーマンスの回帰に対処しますHDFS。
FLINK-35157	この修正は、透かしアライメントを持つソースがサブタスクを終了した場合のスタック Flink ジョブの問題に対処します。
FLINK-34252	この修正は、ウォーターマーク生成でウォーターIDLEマークの状態が誤って発生する問題に対応します。
FLINK-34252	この修正は、システムコールを減らすことで、ウォーターマーク生成中のパフォーマンスの回帰に対処します。
FLINK-33936	この修正は、表 のミニバッチ集約中に重複するレコードの問題に対応しますAPI。
FLINK-35498	この修正は、テーブル で名前付きパラメータを定義するときに引数名の競合が発生する問題に対処しますAPIUDFs。
FLINK-33192	この修正では、タイマーの不適切なクリーンアップによるウィンドウオペレーターの状態メモリリークの問題に対処します。
FLINK-35069	この修正は、Flink ジョブがウィンドウの最後にタイマーをトリガーするのをスタックしたときの問題に対処します。
FLINK-35832	この修正は、 が誤った結果をIFNULL返す場合の問題に対処します。
FLINK-35886	この修正は、バックプレッシャーされたタスクがアイドルと見なされる場合の問題に対処します。

コンポーネント

コンポーネント	Version
Java	11 (推奨)
Python	3.11
Kinesis Data Analytics Flink Runtime (aws-kinesisanalytics-runtime）	1.2.0
Connector	使用可能なコネクタの詳細については、「Apache Flink コネクタ」を参照してください。
「Apache Beam （Beamアプリケーションのみ）」	Flink 1.19 には互換性のある Apache Flink Runner はありません。詳細については、「Flink バージョン互換性」を参照してください。

既知の問題

Apache ビーム

現在、Apache Beam には Flink 1.19 用の互換性のある Apache Flink Runner はありません。詳細については、「Flink バージョン互換性」を参照してください。

Amazon Managed Service for Apache Flink Studio

Studio は、Apache Zeppelin ノートブックを使用して、Apache Flink ストリーム処理アプリケーションの開発、デバッグ、実行のための単一インターフェイスの開発エクスペリエンスを提供します。Flink 1.19 のサポートを有効にするには、Zeppelin の Flink Interpreter のアップグレードが必要です。この作業は Zeppelin コミュニティでスケジュールされており、完了したらこれらのメモを更新します。Amazon Managed Service for Apache Flink Studio では、引き続き Flink 1.15 を使用できます。詳細については、「Studio ノートブックの作成」を参照してください。