Amazon Managed Service for Apache Flink 1.19 - Managed Service for Apache Flink
サポートされている機能 Amazon Managed Service for Apache Flink 1.19.1 の変更点 コンポーネント既知の問題

Amazon Managed Service for Apache Flink (Amazon MSF) は、以前は Amazon Kinesis Data Analytics for Apache Flink と呼ばれていました。

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Amazon Managed Service for Apache Flink 1.19

Managed Service for Apache Flink が Apache Flink バージョン 1.19.1 をサポートするようになりました。このセクションでは、Apache Flink 1.19.1 の Managed Service for Apache Flink サポートで導入された主な新機能と変更点について説明します。

注記

以前にサポートされているバージョンの Apache Flink を使用していて、既存のアプリケーションを Apache Flink 1.19.1 にアップグレードする場合は、インプレース Apache Flink バージョンアップグレードを使用してアップグレードできます。詳細については、「Apache Flink のインプレースバージョンアップグレードを使用する」を参照してください。インプレースバージョンアップグレードでは、スナップショット、ログ、メトリクス、タグ、Flink 設定など、Apache Flink バージョン全体で単一の ARN に対するアプリケーションのトレーサビリティを維持します。

Apache Flink 1.19.1 では、名前付きパラメータ、カスタムソース並列処理、さまざまな Flink 演算子のさまざまな状態 TTLs など、SQL API の改善が導入されています。

サポートされている機能および関連ドキュメント
サポートされている機能 説明 Apache Flink ドキュメントリファレンス
SQL API: SQL Hint を使用した異なるステート TTLsの設定をサポート ユーザーは、ストリームの通常の結合とグループ集計で状態 TTL を設定できるようになりました。 FLIP-373: SQL Hint を使用した異なる状態 TTLsの設定
SQL API: 関数と呼び出しプロシージャの名前付きパラメータのサポート ユーザーは、パラメータの順序に依存するのではなく、名前付きパラメータを関数で使用できるようになりました。 FLIP-378: 関数と呼び出しプロシージャの名前付きパラメータのサポート
SQL API: SQL ソースの並列処理の設定 ユーザーは SQL ソースの並列処理を指定できるようになりました。 FLIP-367: Table/SQL ソースの並列処理の設定をサポート
SQL API: セッションウィンドウ TVF のサポート ユーザーはセッションウィンドウ Table-Valued 関数を使用できるようになりました。 FLINK-24024: セッションウィンドウ TVF のサポート
SQL API: ウィンドウ TVF 集約が変更ログ入力をサポート ユーザーは、変更ログ入力でウィンドウ集約を実行できるようになりました。 FLINK-20281: ウィンドウ集約が変更ログストリーム入力をサポート

Python 3.11 のサポート

 Flink は Python 3.11 をサポートするようになりました。Python 3.10 と比較して 10～60% 高速です。詳細については、「Python 3.11 の最新情報」を参照してください。 FLINK-33030: Python 3.11 サポートの追加
TwoPhaseCommitting シンクのメトリクスを提供する ユーザーは、2 つのフェーズのコミットシンクでコミッターのステータスに関する統計を表示できます。 FLIP-371: TwoPhaseCommittingSink でのコミット作成の初期化コンテキストを提供する

ジョブの再起動とチェックポイントのためのトレースレポーター

 ユーザーはチェックポイントの期間と勇敢な傾向に関するトレースをモニタリングできるようになりました。Amazon Managed Service for Apache Flink では、デフォルトで Slf4j トレースレポーターが有効になっているため、ユーザーはアプリケーションの CloudWatch Logs を通じてチェックポイントとジョブのトレースをモニタリングできます。 FLIP-384: TraceReporter を導入し、それを使用してチェックポイントトレースと復旧トレースを作成する
注記

サポートケースを送信することで、次の機能をオプトインできます。

オプトイン機能と関連ドキュメント
オプトイン機能 説明 Apache Flink ドキュメントリファレンス
ソースがバックログを処理しているときにチェックポイント間隔を大きくするサポート ユーザーは特定のジョブ要件に合わせて設定を調整する必要があるため、これはオプトイン機能です。 FLIP-309: ソースがバックログを処理しているときにチェックポイント間隔を大きくするサポート
System.out と System.err を Java ログにリダイレクトする これはオプトイン機能です。Amazon Managed Service for Apache Flink では、本番環境でのベストプラクティスはネイティブ Java ロガーを使用することであるため、デフォルトの動作は System.out および System.err からの出力を無視することです。 FLIP-390: システム出力とエラーをサポートして LOG にリダイレクトするか、破棄する

Apache Flink 1.19.1 リリースドキュメントについては、「Apache Flink ドキュメント v1.19.1」を参照してください。

デフォルトで有効になっている Trace Reporter のログ記録

Apache Flink 1.19.1 では、チェックポイントとリカバリのトレースが導入され、ユーザーはチェックポイントとジョブのリカバリの問題をより適切にデバッグできるようになりました。Amazon Managed Service for Apache Flink では、これらのトレースは CloudWatch ログストリームにログインされるため、ユーザーはジョブの初期化に費やされた時間を分割し、チェックポイントの履歴サイズを記録できます。

デフォルトの再起動戦略が指数遅延になりました

Apache Flink 1.19.1 では、指数遅延再起動戦略が大幅に改善されています。Flink 1.19.1 以降の Amazon Managed Service for Apache Flink では、Flink ジョブはデフォルトで指数遅延再起動戦略を使用します。つまり、ユーザージョブは一時的なエラーから迅速に回復しますが、ジョブの再起動が続く場合、外部システムを過負荷にすることはありません。

バックポートされたバグ修正

Amazon Managed Service for Apache Flink バックポートは、Flink コミュニティからの重大な問題を修正します。つまり、ランタイムは Apache Flink 1.19.1 リリースとは異なります。以下は、バックポートしたバグ修正のリストです。

バックポートされたバグ修正
Apache Flink JIRA リンク 説明
FLINK-35531 この修正は、HDFS への書き込みが遅くなる 1.17.0 で導入されたパフォーマンスの低下に対処します。
FLINK-35157 この修正は、ウォーターマーク整列のソースがサブタスクを終了した場合に Flink ジョブがスタックする問題に対処します。
FLINK-34252 この修正は、誤った IDLE ウォーターマーク状態になるウォーターマーク生成の問題に対処します。
FLINK-34252 この修正は、システム呼び出しを減らすことで、ウォーターマークの生成中のパフォーマンスの低下に対処します。
FLINK-33936 この修正により、テーブル API でのミニバッチ集約中にレコードが重複する問題が解決されます。
FLINK-35498 この修正は、テーブル API UDFs。
FLINK-33192 この修正は、タイマーの不適切なクリーンアップによるウィンドウオペレーターの状態メモリリークの問題に対処します。
FLINK-35069 この修正は、Flink ジョブがウィンドウの最後にタイマーをトリガーして停止した場合の問題に対処します。
FLINK-35832 この修正は、IFNULL が誤った結果を返す場合の問題に対処します。
FLINK-35886 この修正は、バックプレッシャーされたタスクがアイドル状態と見なされる場合の問題に対処します。
コンポーネント バージョン
Java 11 (推奨)
Python

3.11
Kinesis Data Analytics Flink Runtime (aws-kinesisanalytics-runtime) 1.2.0
Connector 使用可能なコネクタの詳細については、「Apache Flink コネクタ」を参照してください。
「Apache Beam （Beamアプリケーションのみ）」

バージョン 2.61.0 から。詳細については、「Flink バージョンの互換性」を参照してください。

Amazon Managed Service for Apache Flink Studio

Studio は Apache Zeppelin ノートブックを使用して、Apache Flink ストリーム処理アプリケーションの開発、デバッグ、実行のための単一インターフェイスの開発エクスペリエンスを提供します。Flink 1.19 のサポートを有効にするには、Zeppelin の Flink インタープリタのアップグレードが必要です。この作業は Zeppelin コミュニティでスケジュールされており、完了したらこれらのメモを更新します。Amazon Managed Service for Apache Flink Studio で Flink 1.15 を引き続き使用できます。詳細については、「Studio ノートブックの作成」を参照してください。