Amazon Kinesis Data Firehose とは何ですか?

Amazon Kinesis Data Firehose は、リアルタイム配信用の完全マネージド型サービスです。ストリーミングデータAmazon Simple Storage Service (Amazon S3)、Amazon Redshift、Amazon OpenSearch Service (Amazon ES)、Splunk などの送信先と、サポートされているサードパーティーのサービスプロバイダーが所有するカスタム HTTP エンドポイントまたは HTTP エンドポイントを使用できます。これには、Datadog、Dynatrace、LogicMonitor、MongoDB、New Relic、および Sumo Logic が含まれます。Kinesis Data Firehose は、Kinesis ストリーミングデータプラットフォームの一部です。Kinesis Data Streams,Kinesis ビデオストリーム, およびAmazon Kinesis Data Analytics。Kinesis Data Firehose を使用すると、アプリケーションを記述したり、リソースを管理したりする必要はありません。Kinesis Data Firehose にデータを送信するようデータプロデューサーを設定すると、指定した送信先にデータが自動的に配信されます。データを配信前に変換するように、Kinesis Data Firehose を設定することもできます。

の詳細AWSビッグデータソリューションの詳細については、上のビッグデータAWS。の詳細AWSストリーミングデータソリューションの詳細については、ストリーミングデータとは何ですか？

注記

最新の AWSAmazon MSK のストリーミングデータソリューションを提供するAWS生産者、ストリーミングストレージ、消費者、および宛先を経由するデータが流れる CloudFormation テンプレート。

主要なコンセプト

Kinesis Data Firehose の使用を開始すると、以下の概念を理解することができます。

Kinesis Data Firehose の配信ストリーム

Kinesis Data Firehose 基礎となるエンティティ。Kinesis Data Firehose 配信ストリームを作成し、データを送信するには、Kinesis Data Firehose 配信ストリームを使用します。詳細については、「Amazon Kinesis Data Firehose 配信ストリームの作成」および「Amazon Kinesis Data Firehose 配信ストリームへのデータの送信」を参照してください。

record

データプロデューサーが Kinesis Data Firehose 配信ストリームに送信する、目的のデータ。レコードのサイズは最大 1000 KB です。

データプロデューサー

プロデューサーは、Kinesis Data Firehose 配信ストリームにレコードを送信します。たとえば、配信ストリームにログデータを送信するウェブサーバーはデータプロデューサーです。Kinesis Data Firehose 配信ストリームが自動的に既存の Kinesis データストリームからデータを読み取り、送信先にロードするよう設定することもできます。詳細については、「Amazon Kinesis Data Firehose 配信ストリームへのデータの送信」を参照してください。

バッファサイズおよびバッファの間隔

Kinesis Data Firehose は、特定の期間、受信するストリーミングデータを特定のサイズにバッファしてから、送信先に配信します。Buffer SizeはMBで、Buffer Intervalは秒単位です。

データフロー

Amazon S3 の送信先の場合、ストリーミングデータは S3 バケットに配信されます。データ変換が有効な場合は、オプションで、送信元データを別の Amazon S3 バケットにバックアップすることもできます。

Amazon Redshift の送信先の場合、ストリーミングデータは、最初に S3 バケットに配信されます。その後、Kinesis Data Firehose が Amazon Redshift を発行しますCOPYコマンドを使用して、S3 バケットから Amazon Redshift クラスターにデータをロードします。データ変換が有効な場合は、オプションで、送信元データを別の Amazon S3 バケットにバックアップすることもできます。

Amazon ES の送信先の場合、ストリーミングデータは Amazon ES クラスターに配信され、オプションで、配信と同時に S3 バケットにバックアップすることもできます。

Splunk の送信先を使用する場合、ストリーミングデータは Splunk に配信され、オプションで、配信と同時に S3 バケットにバックアップすることもできます。