Amazon Kinesis Data Firehose とは何ですか?

Amazon Kinesis Data Firehose は、Amazon Simple Storage Service (Amazon S3)、Amazon Redshift、Amazon OpenSearch Service、Splunk、およびカスタム HTTP エンドポイントまたは Datadog、Dynatrace、LogicMonitor、MongoDB、New Relic、Sumo Logic などのサードパーティーサービスプロバイダーが所有する HTTP エンドポイントなどの送信先へのストリーミングデータのリアルタイム配信のためのフルマネージドサービスです。Kinesis Data Firehose は、Kinesis ストリーミングデータプラットフォームの一部で、Kinesis Data Streams、Kinesis Video Streams、およびAmazon Kinesis Data Analytics と併せて使用されます。Kinesis Data Firehose を使用すると、アプリケーションを記述したり、リソースを管理したりする必要はありません。Kinesis Data Firehose にデータを送信するデータプロデューサーを作成すると、それにより、指定した送信先にデータが自動配信されます。データを配信前に変換するように、Kinesis Data Firehose を設定することもできます。

AWS ビッグデータソリューションの詳細については、「AWS でのビッグデータ」を参照してください。AWS ストリーミングデータソリューションの詳細については、「ストリーミングデータとは?」を参照してください。

注記

データがプロデューサー、ストリーミングストレージ、コンシューマー、および送信先を通過する AWS CloudFormation テンプレートを提供する最新の Amazon MSK 用の AWS ストリーミングデータソリューションに注目します。

主要なコンセプト

Kinesis Data Firehose の使用を開始すると、以下の概念を理解することができます。

Kinesis Data Firehose の配信ストリーム

Kinesis Data Firehose の基礎となるエンティティ。Kinesis Data Firehose 配信ストリームを作成し、それにデータを送信することで Kinesis Data Firehose を使用します。詳細については、「Amazon Kinesis Data Firehose 配信ストリームの作成」および「Amazon Kinesis Data Firehose 配信ストリームへのデータの送信」を参照してください。

record

データプロデューサーが Kinesis Data Firehose 配信ストリームに送信する、関心のあるデータ。レコードのサイズは最大 1000 KB です。

データプロデューサー

プロデューサーは Kinesis Data Firehose 配信ストリームにレコードを送信します。たとえば、配信ストリームにログデータを送信するウェブサーバーはデータプロデューサーです。Kinesis Data Firehose 配信ストリームが自動的に既存のKinesis データストリームからデータを読み取り、送信先にロードするよう設定することもできます。詳細については、「Amazon Kinesis Data Firehose 配信ストリームへのデータの送信」を参照してください。

バッファサイズおよびバッファの間隔

Kinesis Data Firehose は特定の期間、受信するストリーミングデータを特定のサイズにバッファしてから、送信先に配信します。Buffer Size は MB 単位で、Buffer Interval は秒単位です。

データフロー

Amazon S3 の送信先の場合、ストリーミングデータは S3 バケットに配信されます。データ変換が有効な場合は、オプションで、送信元データを別の Amazon S3 バケットにバックアップすることもできます。

Amazon Redshift の送信先の場合、ストリーミングデータは S3 バケットに配信されます。次に Kinesis Data Firehose は、Amazon Redshift COPY コマンドを発行して、S3 バケットから Amazon Redshift クラスターにデータをロードします。データ変換が有効な場合は、オプションで、送信元データを別の Amazon S3 バケットにバックアップすることもできます。

OpenSearch Service の送信先の場合、ストリーミングデータは OpenSearch Service クラスターに配信され、オプションで、配信と同時に S3 バケットにバックアップすることもできます。

Splunk の送信先を使用する場合、ストリーミングデータは Splunk に配信され、オプションで、配信と同時に S3 バケットにバックアップすることもできます。