Amazon Kinesis Data Firehose とは何ですか?

Amazon Kinesis Data Firehose は、リアルタイム配信用の完全マネージド型サービスです。ストリーミングデータAmazon S3)、Amazon Redshift、Amazon Elasticsearch Service (Amazon ES)、Splunk などの送信先と、Data adog、Dynatrace、LogicMonitor、MongoDB、New Relic、およびSumo LogicLogicLogicLogic など、サポートされているサードパーティーのサービスプロバイダーが所有するカスタム HTTP エンドポイントまたは HTTP エンドポイントを使用できます。Kinesis Data Firehose は、Kinesis ストリーミングデータプラットフォームの一部です。Kinesis Data Streams、Kinesis Video Streams, およびAmazon Kinesis Data Analytics。Kinesis Data Firehose を使用すると、アプリケーションを記述したり、リソースを管理したりする必要はありません。Kinesis Data Firehose にデータを送信するようデータプロデューサーを設定すると、指定した送信先にデータが自動的に配信されます。データを配信前に変換するように、Kinesis Data Firehose を設定することもできます。

AWS ビッグデータソリューションの詳細については、「AWS でのビッグデータ」を参照してください。AWS ストリーミングデータソリューションの詳細については、「ストリーミングデータとは?」を参照してください。

注記

最新のを書き留めます。Amazon MSK 向けの AWS ストリーミングデータソリューションは、生産者、ストリーミングストレージ、消費者、および宛先を経由するデータが流れる AWS CloudFormation テンプレートを提供します。

主要なコンセプト

Kinesis Data Firehose の使用を開始すると、以下の概念を理解することができます。

Kinesis Data Firehose 配信ストリーム

Kinesis Data Firehose 基礎となるエンティティ。Kinesis Data Firehose を使用するには、Kinesis Data Firehose 配信ストリームを作成し、そのストリームにデータを送信します。詳細については、「Amazon Kinesis Data Firehose 配信ストリームの作成」および「Amazon Kinesis Data Firehose 配信ストリームへのデータの送信」を参照してください。

record

データプロデューサーが Kinesis Data Firehose 配信ストリームに送信する、目的のデータ。レコードのサイズは最大 1000 KB です。

データプロデューサー

プロデューサーは、Kinesis Data Firehose 配信ストリームにレコードを送信します。たとえば、配信ストリームにログデータを送信するウェブサーバーはデータプロデューサーです。Kinesis Data Firehose 配信ストリームが自動的に既存の Kinesis Data Firehose 配信ストリームからデータを読み取り、送信先にロードするよう設定することもできます。詳細については、「Amazon Kinesis Data Firehose 配信ストリームへのデータの送信」を参照してください。

バッファサイズおよびバッファの間隔

Kinesis Data Firehose は、特定の期間、受信するストリーミングデータを特定のサイズにバッファしてから、送信先に配信します。Buffer SizeはMBで、Buffer Intervalは秒単位で表示されます。

データフロー

Amazon S3 の送信先の場合、ストリーミングデータは S3 バケットに配信されます。データ変換が有効な場合は、オプションで、送信元データを別の Amazon S3 バケットにバックアップすることもできます。

Amazon Redshift の送信先の場合、ストリーミングデータは S3 バケットに配信されます。Kinesis Data Firehose が Amazon Redshift を発行します。COPYコマンドを使用して、S3 バケットから Amazon Redshift クラスターにデータをロードします。データ変換が有効な場合は、オプションで、送信元データを別の Amazon S3 バケットにバックアップすることもできます。

Amazon ES の送信先の場合、ストリーミングデータは Amazon ES クラスターに配信され、オプションで、配信と同時に S3 バケットにバックアップすることもできます。

Splunk の送信先を使用する場合、ストリーミングデータは Splunk に配信され、オプションで、配信と同時に S3 バケットにバックアップすることもできます。