Amazon QLDB からのジャーナルデータのストリーミング - Amazon Quantum Ledger Database (Amazon QLDB)

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Amazon QLDB からのジャーナルデータのストリーミング

Amazon QLDB では、イミュータブルトランザクションログ (ジャーナル) をデータストレージに使用します。ジャーナルは、コミット済みデータへの変更をすべて追跡し、完全かつ検証可能な変更履歴を一定の期間にわたって維持します。

ジャーナルへコミットされたドキュメントリビジョンをすべてキャプチャするストリーミングを QLDB で作成し、このデータを Amazon Kinesis Data Streams にほぼリアルタイムで配信できます。QLDB ストリーミングは、台帳のジャーナルから Kinesis データストリームリソースへの連続的なデータのフローです。

その後、Kinesis ストリーミングプラットフォームまたは Kinesis Client Library を使用して、ストリーミングの消費、データレコードの処理、およびデータコンテンツの分析を行います。QLDB ストリーミングは、コントロール、ブロックサマリー、およびリビジョンの詳細という 3 種類のレコードで Kinesis Data Streams にデータを書き込みます。詳細については、「Kinesis での QLDB ストリーミングレコード」を参照してください。

一般的なユースケース

ストリーミングを使用すると、ジャーナルデータを他のサービスと統合しながら、検証可能な信頼できる唯一の情報源として QLDB を使用できます。QLDB ジャーナルストリーミングでサポートされている一般的ユースケースの一部を以下に示します。

  • イベント駆動型アーキテクチャ - デカップリングされたコンポーネントを使用して、イベント駆動型アーキテクチャスタイルでアプリケーションを構築します。たとえば、銀行は AWS Lambda 関数を使用して、口座残高がしきい値を下回ったときに顧客に警告する通知システムを実装できます。このようなシステムでは、口座残高は QLDB 台帳に維持され、残高の変更はジャーナルに記録されます。この AWS Lambda 関数は、ジャーナルにコミットされて Kinesis データストリームに送信される残高更新イベントを消費したときに、通知ロジックをトリガーできます。

  • リアルタイム分析 - イベントデータに対してリアルタイム分析を実行する Kinesis コンシューマーアプリケーションを構築します。この機能により、ほぼリアルタイムでインサイトを取得し、変化するビジネス環境に迅速に対応できます。たとえば、e コマースウェブサイトでは、商品の販売データを分析し、販売が制限に達するとすぐに割引商品の広告を停止できます。

  • 履歴分析 - 履歴イベントデータを再生することで、Amazon QLDB のジャーナル指向アーキテクチャを活用します。QLDB ストリーミングを過去の任意の時点から開始するように選択し、その時点以降のすべてのリビジョンが Kinesis Data Streams に配信されるようにできます。この機能を使用すると、履歴データの分析ジョブを実行する Kinesis コンシューマーアプリケーションを構築できます。たとえば、e コマースウェブサイトでは、アドホック分析を実行して、以前に取得されなかった過去の販売メトリクスを生成できます。

  • 目的別データベースへのレプリケーション - QLDB ジャーナルストリーミングを使用して、QLDB 台帳を他の目的別データストアに接続します。たとえば、Kinesis ストリーミングデータプラットフォームを使用して Amazon と統合します OpenSearch Service。QLDB ドキュメントの全文検索機能を提供できます。また、カスタム Kinesis コンシューマーアプリケーションを構築して、異なるマテリアライズドビューを提供する他の目的別データベースにジャーナルデータをレプリケートすることもできます。たとえば、リレーショナルデータの場合は Amazon Aurora、グラフベースのデータの場合は Amazon Neptune にレプリケートします。

ストリームの消費

データレコードの大量のストリーミングの連続的な消費、処理、分析には、Kinesis Data Streams を使用します。Kinesis Data Streams に加えて、Kinesis ストリーミングデータプラットフォームには Amazon Kinesis Data FirehoseAmazon Kinesis Data Analytics があります。このプラットフォームを使用して、Amazon などのサービスに直接データレコードを送信できます。 OpenSearch Service、Amazon Redshift、Amazon Simple Storage Service (Amazon S3)、または Splunk。詳細については、「Amazon Kinesis Data Streams デベロッパーガイド」の「Amazon Kinesis Data Streams コンシューマー」を参照してください。

Kinesis Client Library (KCL) を使用して、カスタムな方法でデータレコードを処理するストリーミングコンシューマーアプリケーションを構築することもできます。KCL は、低レベルの Kinesis Data Streams API の上で役に立つ抽象化を提供することによりコーディングを簡素化します。KCL の詳細については、「Amazon Kinesis Data Streams デベロッパーガイド」の「Kinesis Client Library を使用したコンシューマーの開発」を参照してください。

配信の保証

QLDB ストリームはat-least-once配信の保証。QLDB ストリーミングで生成された各データレコードは、Kinesis Data Streams に少なくとも 1 回配信されます。同じレコードが Kinesis データストリームに複数回表示されることがあります。したがって、ユースケースで必要な場合は、コンシューマーアプリケーションレイヤーに重複除外ロジックが必要です。

また、注文の保証はありません。状況によっては、QLDB ブロックとリビジョンが Kinesis データストリーム内で誤った順序で生成されることがあります。詳細については、「の重複排除 out-of-order記録」を参照してください。

配信遅延に関する考慮事項

QLDB ストリームは通常、Kinesis Data Streams にほぼリアルタイムで更新を配信します。ただし、次のシナリオでは、新しくコミットされた QLDB データが Kinesis データストリームに送信される前に、追加のレイテンシーが発生する可能性があります。

  • Kinesis は、Kinesis Data Streams のプロビジョニングに応じて、QLDB からストリーミングされるデータを調整できます。たとえば、単一の Kinesis データストリームに書き込む複数の QLDB ストリームがあり、QLDB のリクエストレートが Kinesis ストリームリソースの容量を超える場合に発生することがあります。Kinesis のスロットリングは、15 分未満でスループットが前のピークの 2 倍以上に増加した場合に、オンデマンドプロビジョニングを使用する場合にも発生する可能性があります。

    この超過スループットは、Kinesis メトリクスを監視することで測定できます。WriteProvisionedThroughputExceeded。詳細と考えられる解決策については、「」を参照してください。Kinesis Data Streams のスロットリングエラーのトラブルシューティング方法を教えてください。

  • QLDB ストリームでは、無期限のストリームを開始日時過去に、そしてなし終了日時。設計上、QLDB は、指定された開始日時からのすべての以前のデータが正常に配信された後にのみ、新しくコミットされたデータを Kinesis Data Streams に出力し始めます。このシナリオで追加のレイテンシが生じる場合は、前のデータが配信されるのを待つか、または後の開始日時からストリームを開始する必要があります。

ストリームの使用開始

Kinesis Data Streams へのジャーナルデータのストリーミングを開始するために必要な手順の概要を次に示します。

  1. Kinesis Data Streams リソースを作成します。詳細については、「Amazon Kinesis Data Streams デベロッパーガイド」の「データストリームの作成および更新」を参照してください。

  2. QLDB が Kinesis データストリームの書き込み許可を引き受けることができる IAM ロールを作成します。手順については、「QLDB のストリーミング許可」を参照してください。

  3. QLDB ジャーナルストリーミングを作成します。手順については、「QLDB でのストリーミングの作成と管理」を参照してください。

  4. 前のセクション「ストリームの消費」で説明したように、Kinesis データストリームを消費します。Kinesis Client Library または AWS Lambda の使用方法を示すコード例については、「QLDB でのストリーミングを使用した開発」を参照してください。