Amazon QLDB からのジャーナルデータのストリーミング

重要

サポート終了通知: 既存のお客様は、07/31/2025 のサポート終了まで Amazon QLDB を使用できます。詳細については、「Amazon QLDB 台帳を Amazon Aurora PostgreSQL に移行する」を参照してください。

Amazon QLDB では、イミュータブルトランザクションログ (ジャーナル) をデータストレージに使用します。ジャーナルは、コミット済みデータへの変更をすべて追跡し、完全かつ検証可能な変更履歴を一定の期間にわたって維持します。

ジャーナルへコミットされたドキュメントリビジョンをすべてキャプチャするストリーミングを QLDB で作成し、このデータを Amazon Kinesis Data Streams にほぼリアルタイムで配信できます。QLDB ストリーミングは、台帳のジャーナルから Kinesis データストリームリソースへの連続的なデータのフローです。

その後、Kinesis ストリーミングプラットフォームまたは Kinesis Client Library を使用して、ストリーミングの消費、データレコードの処理、およびデータコンテンツの分析を行います。QLDB ストリーミングは、コントロール、ブロックサマリー、およびリビジョンの詳細という 3 種類のレコードで Kinesis Data Streams にデータを書き込みます。詳細については、「Kinesis での QLDB ストリーミングレコード」を参照してください。

トピック

• 一般的なユースケース

• ストリームの消費

• 配信の保証

• 配信のレイテンシーに関する注意事項

• ストリームの使用開始

• QLDB でのストリーミングの作成と管理

• QLDB でのストリーミングを使用した開発

• Kinesis での QLDB ストリーミングレコード

• QLDB のストリーミング許可

• QLDB のジャーナルストリーミングの一般的なエラー

一般的なユースケース

ストリーミングを使用すると、ジャーナルデータを他のサービスと統合しながら、検証可能な信頼できる唯一の情報源として QLDB を使用できます。QLDB ジャーナルストリーミングでサポートされている一般的ユースケースの一部を以下に示します。

• イベント駆動型アーキテクチャ - デカップリングされたコンポーネントを使用して、イベント駆動型アーキテクチャスタイルでアプリケーションを構築します。例えば、銀行は AWS Lambda 関数を使用して、アカウント残高がしきい値を下回ったときに顧客に警告する通知システムを実装できます。このようなシステムでは、口座残高は QLDB 台帳に維持され、残高の変更はジャーナルに記録されます。 AWS Lambda 関数は、ジャーナルにコミットされ、Kinesis データストリームに送信される残高更新イベントを消費すると、通知ロジックをトリガーできます。

• リアルタイム分析 - イベントデータに対してリアルタイム分析を実行する Kinesis コンシューマーアプリケーションを構築します。この機能により、ほぼリアルタイムでインサイトを取得し、変化するビジネス環境に迅速に対応できます。たとえば、e コマースウェブサイトでは、商品の販売データを分析し、販売が制限に達するとすぐに割引商品の広告を停止できます。

• 履歴分析 - 履歴イベントデータを再生することで、Amazon QLDB のジャーナル指向アーキテクチャを活用します。QLDB ストリーミングを過去の任意の時点から開始するように選択し、その時点以降のすべてのリビジョンが Kinesis Data Streams に配信されるようにできます。この機能を使用すると、履歴データの分析ジョブを実行する Kinesis コンシューマーアプリケーションを構築できます。例えば、e コマースウェブサイトでは、必要に応じてアドホック分析を実行し、これまで取得されていなかった過去の販売メトリクスを生成できます。

• 目的別データベースへのレプリケーション - QLDB ジャーナルストリーミングを使用して、QLDB 台帳を他の目的別データストアに接続します。例えば、Kinesis ストリーミングデータプラットフォームを使用して Amazon OpenSearch Service と統合し、QLDB ドキュメントの全文検索機能を提供できます。また、カスタム Kinesis コンシューマーアプリケーションを構築して、異なるマテリアライズドビューを提供する他の目的別データベースにジャーナルデータをレプリケートすることもできます。たとえば、リレーショナルデータの場合は Amazon Aurora、グラフベースのデータの場合は Amazon Neptune にレプリケートします。

ストリームの消費

データレコードの大量のストリーミングの連続的な消費、処理、分析には、Kinesis Data Streams を使用します。Kinesis Data Streams に加えて、Kinesis ストリーミングデータプラットフォームには Amazon Data Firehose と Amazon Managed Service for Apache Flink が含まれています。このプラットフォームを使用して、Amazon OpenSearch Service、Amazon Redshift、Amazon S3、Splunk などのサービスにデータレコードを直接送信できます。詳細については、「Amazon Kinesis Data Streams デベロッパーガイド」の「Amazon Kinesis Data Streams コンシューマー」を参照してください。

Kinesis Client Library (KCL) を使用して、カスタムな方法でデータレコードを処理するストリーミングコンシューマーアプリケーションを構築することもできます。KCL は、低レベルの Kinesis Data Streams API の上で役に立つ抽象化を提供することによりコーディングを簡素化します。KCL の詳細については、「Amazon Kinesis Data Streams デベロッパーガイド」の「Using the Kinesis Client Library」を参照してください。

配信の保証

QLDB ストリーミングでは、少なくとも 1 回の配信を保証しています。QLDB ストリーミングで生成された各データレコードは、Kinesis Data Streams に少なくとも 1 回配信されます。同じレコードが Kinesis データストリームに複数回表示されることがあります。したがって、ユースケースで必要な場合は、コンシューマーアプリケーションレイヤーに重複除外ロジックが必要です。

また、注文の保証はありません。状況によっては、QLDB ブロックとリビジョンが Kinesis データストリーム内で誤った順序で生成されることがあります。詳細については、「重複レコードと順序が正しくないレコードの処理」を参照してください。

配信のレイテンシーに関する注意事項

QLDB ストリームは通常、ほぼリアルタイムで Kinesis データデータストリーム に更新を配信します。ただし、次のシナリオでは、新しくコミットされた QLDB データが Kinesis データストリームに出力されるまでに、さらにレイテンシーが発生する可能性があります。

• Kinesis は、Kinesis データストリームのプロビジョニングに応じて、QLDB からストリーミングされるデータをスロットルすることができます。例えば、単一の Kinesis データストリームに書き込む QLDB ストリームが複数あり、QLDB のリクエストレートが Kinesis ストリームリソースの容量を超えた場合にこれが発生する可能性があります。Kinesis のスロットリングは、オンデマンドプロビジョニングを使用している場合、スループットが 15 分未満で前回のピークの 2 倍以上に増加した場合にも発生する可能性があります。

  この超過スループットは、Kinesis メトリクス WriteProvisionedThroughputExceeded を監視することで測定できます。詳細と可能な解決策については、「Kinesis データストリームのスロットリングエラーのトラブルシューティング方法」を参照してください。

• QLDB ストリームでは、開始日時が過去のもので、終了日時がない無期限のストリームを作成できます。設計上、QLDB は、指定された開始日時に先行データがすべて正常に配信された後にのみ、新しくコミットされたデータを Kinesis データストリームに送信し始めます。このシナリオでさらにレイテンシーが発生する場合は、先行データが配信されるのを待つか、ストリームをより遅い開始日時から開始する必要があるかもしれません。

ストリームの使用開始

Kinesis Data Streams へのジャーナルデータのストリーミングを開始するために必要な手順の概要を次に示します。

1. Kinesis Data Streams リソースを作成します。詳細については、「Amazon Kinesis Data Streams デベロッパーガイド」の「データストリームの作成および更新」を参照してください。

2. QLDB が Kinesis データストリームの書き込み許可を引き受けることができる IAM ロールを作成します。手順については、QLDB のストリーミング許可 を参照してください。

3. QLDB ジャーナルストリーミングを作成します。手順については、QLDB でのストリーミングの作成と管理 を参照してください。

4. 前のセクション「ストリームの消費」で説明したように、Kinesis データストリームを消費します。Kinesis Client Library または の使用方法を示すコード例については AWS Lambda、「」を参照してくださいQLDB でのストリーミングを使用した開発。