Amazon Kinesis Data Firehose とは。

Amazon Kinesis Data Firehose は、リアルタイムの ストリーミング データ などの目的地へ Amazon Simple Storage Service (Amazon S3)、 Amazon Redshift、 Amazon Elasticsearch Service (Amazon ES)、Splunk、およびDatadog、MongoDB、New Relicなどのサポート対象のサードパーティサービスプロバイダーが所有するカスタムHTTPエンドポイントまたはHTTPエンドポイント。 Kinesis Data Firehose は、 Kinesis ストリーミング・データ・プラットフォーム、 Kinesis Data Streams、 Kinesis ビデオストリーム、および Amazon Kinesis Data Analytics. Kinesis Data Firehose を使用すると、アプリケーションを記述したり、リソースを管理したりする必要はありません。Kinesis Data Firehose にデータを送信するようデータプロデューサーを設定すると、指定した送信先にデータが自動的に配信されます。データを配信前に変換するように、Kinesis Data Firehose を設定することもできます。

AWS ビッグデータソリューションの詳細については、「AWS でのビッグデータ」を参照してください。AWS ストリーミングデータソリューションの詳細については、「ストリーミングデータとは?」を参照してください。

主要なコンセプト

Kinesis Data Firehose の使用を開始すると、以下の概念を理解することができます。

Kinesis Data Firehose 配信ストリーム

Kinesis Data Firehose の基盤となるエンティティ。Kinesis Data Firehose を使用するには、Kinesis Data Firehose 配信ストリームを作成し、それに対してデータを送信します。詳細については、「Amazon Kinesis Data Firehose 配信ストリームの作成」および「Amazon Kinesis Data Firehose 配信ストリームへのデータの送信」を参照してください。

record

データプロデューサーが Kinesis Data Firehose 配信ストリームに送信する、目的のデータ。レコードのサイズは最大 1000 KB です。

データプロデューサー

プロデューサーは Kinesis Data Firehose 配信ストリームにレコードを送信します。たとえば、配信ストリームにログデータを送信するウェブサーバーはデータプロデューサーです。Kinesis Data Firehose 配信ストリームが自動的に既存の Kinesis からデータを読み取り、送信先にロードするよう設定することもできます。詳細については、「Amazon Kinesis Data Firehose 配信ストリームへのデータの送信」を参照してください。

バッファサイズおよびバッファの間隔

Kinesis Data Firehose は特定の期間、受信するストリーミングデータを特定のサイズにバッファしてから、送信先に配信します。Buffer Size は MB 単位であり、 Buffer Interval は秒単位です。

データフロー

Amazon S3 の送信先の場合、ストリーミングデータは S3 バケットに配信されます。データ変換が有効な場合は、オプションで、送信元データを別の Amazon S3 バケットにバックアップすることもできます。

Amazon Redshift の送信先の場合、ストリーミングデータは最初に S3 バケットに配信されます。Kinesis Data Firehose は次に Amazon Redshift COPY コマンドを発行して、S3 バケットから Amazon Redshift クラスターにデータをロードします。データ変換が有効な場合は、オプションで、送信元データを別の Amazon S3 バケットにバックアップすることもできます。

Amazon ES の送信先の場合、ストリーミングデータは Amazon ES クラスターに配信され、オプションで、配信と同時に S3 バケットにバックアップすることもできます。

Splunk の送信先を使用する場合、ストリーミングデータは Splunk に配信され、オプションで、配信と同時に S3 バケットにバックアップすることもできます。