Amazon Data Firehose とは

Amazon Data Firehose は、Amazon Simple Storage Service (Amazon S3)、Amazon Redshift、Amazon OpenSearch Service、Amazon OpenSearch Serverless、Splunk、Apache Iceberg Tables、および Datadog、Dynatrace、 LogicMonitorMongoDB、New Relic、Coralogix、Elastic など、サポートされているサードパーティーサービスプロバイダーが所有するカスタムHTTPエンドポイントまたはHTTPエンドポイントにリアルタイムストリーミングデータを配信するためのフルマネージドサービスです。Amazon Data Firehose では、アプリケーションを記述したり、リソースを管理したりする必要はありません。Amazon Data Firehose にデータを送信するようにデータプロデューサーを設定すると、指定した送信先にデータが自動的に配信されます。データを配信する前に変換するように Amazon Data Firehose を設定することもできます。

AWS ビッグデータソリューションの詳細については、「 のビッグデータ AWS」を参照してください。 AWS ストリーミングデータソリューションの詳細については、「ストリーミングデータとは?」を参照してください。

注記

プロデューサー、AWS ストリーミングストレージ、コンシューマー、送信先を流れるデータフローテンプレートを提供する Amazon の最新のストリーミングデータソリューションMSKに注意してください。 AWS CloudFormation

主要な概念を学ぶ

Amazon Data Firehose の使用を開始すると、次の概念を理解しておくとメリットが得られます。

Firehose ストリーム

Amazon Data Firehose の基盤となるエンティティ。Amazon Data Firehose を使用するには、Firehose ストリームを作成し、そのストリームにデータを送信します。詳細については、「Firehose ストリームを作成する」および「Firehose ストリームへのデータの送信」を参照してください。

record

データプロデューサーが Firehose ストリームに送信する対象のデータ。レコードのサイズは最大 1000 KB です。

データプロデューサー

プロデューサーは Firehose ストリームにレコードを送信します。例えば、Firehose ストリームにログデータを送信するウェブサーバーはデータプロデューサーです。既存の Kinesis データストリームからデータを自動的に読み取り、送信先にロードするように Firehose ストリームを設定することもできます。詳細については、「Firehose ストリームへのデータの送信」を参照してください。

バッファサイズおよびバッファの間隔

Amazon Data Firehose は、受信ストリーミングデータを特定のサイズまたは一定期間バッファしてから送信先に配信します。 Buffer Sizeは でMBs、 は秒単位Buffer Intervalです。

Amazon Data Firehose のデータフローを理解する

Amazon S3 の送信先の場合、ストリーミングデータは S3 バケットに配信されます。データ変換が有効な場合は、オプションで、送信元データを別の Amazon S3 バケットにバックアップすることもできます。

Amazon Redshift の送信先の場合、ストリーミングデータは S3 バケットに配信されます。次に、Amazon Data Firehose は Amazon Redshift COPY コマンドを発行して、S3 バケットから Amazon Redshift クラスターにデータをロードします。データ変換が有効な場合は、オプションで、送信元データを別の Amazon S3 バケットにバックアップすることもできます。

OpenSearch サービス送信先の場合、ストリーミングデータはサービスクラスターに OpenSearch配信され、オプションで S3 バケットに同時にバックアップできます。

Splunk の送信先を使用する場合、ストリーミングデータは Splunk に配信され、オプションで、配信と同時に S3 バケットにバックアップすることもできます。