DynamoDB Streams と Apache Flink

Apache Flink で Amazon DynamoDB Streams レコードを使用できます。Amazon Managed Service for Apache Flink を使用すると、Apache Flink を使用してストリーミングデータをリアルタイムで変換および分析できます。Apache Flink は、リアルタイムデータを処理するためのオープンソースのストリーム処理フレームワークです。Apache Flink 用 Amazon DynamoDB Streams コネクタは、Apache Flink ワークロードの構築と管理を簡素化し、アプリケーションを他の AWS のサービスと統合できるようにします。

Amazon Managed Service for Apache Flink は、ログ分析、クリックストリーム分析、モノのインターネット (IoT)、アドテック、ゲームなどのためのエンドツーエンドのストリーム処理アプリケーションを迅速に構築するのに役立ちます。最も一般的な 4 つのユースケースは、ストリーミングの抽出変換ロード (ETL)、イベント駆動型アプリケーション、応答性の高いリアルタイム分析、データストリームのインタラクティブなクエリです。Amazon DynamoDB Streams から Apache Flink への書き込みの詳細については、「Amazon DynamoDB Connector」を参照してください。

Apache Flink 用の DynamoDB Streams コネクタでの ShardFilter パラメータの使用

Amazon DynamoDB Streams は、DescribeStream API の ShardFilter パラメータをサポートし、シャードのサブセットを検索できます。リクエストで親シャードを指定することで、DynamoDB Streams は直下の子シャードを返します。ShardFilter パラメータを使用すると、親シャードが閉じられた後に子シャードをすばやく検出できるため、ストリーム処理アプリケーションの応答性とコスト効率が向上します。

Amazon Managed Service for Apache Flink は、DynamoDB Streams から読み取る際に ShardFilter パラメータをサポートします。この機能を使用するには、ShardFilter サポートを含む Flink コネクタの特別なバージョンへのアクセスをリクエストする必要があります。開始するには、AWS サポートセンターでサポートケースを開き、これらのバイナリへのアクセスをリクエストします。DynamoDB Streams と Apache Flink を組み合わせて使用する詳細については、「DynamoDB デベロッパーガイド」の「ストリームの読み込みと処理」を参照してください。