Amazon Kinesis Data Firehose
開発者ガイド

Amazon Kinesis Data Firehose の制限

Amazon Kinesis Data Firehose には以下の制限があります。

  • デフォルトでは、各アカウントで持つことができる Kinesis Data Firehose 配信ストリームは、リージョンごとに最大 50 個です。この制限を超えた場合、CreateDeliveryStream を呼び出すと、 LimitExceededException 例外が発生します。この制限は、Amazon Kinesis Data Firehose の制限フォームを使用して増やすことができます。

  • [Direct PUT] がデータソースとして設定されている場合、各 Kinesis Data Firehose 配信ストリームには以下の制限があります。

    • 米国東部(バージニア北部)、米国西部 (オレゴン)、欧州 (アイルランド) の場合: 5,000 レコード/秒、2,000 トランザクション/秒、5 MiB/秒。

    • EU (パリ)、アジアパシフィック (ムンバイ)、米国東部 (オハイオ)、欧州 (フランクフルト)、南米 (サンパウロ)、アジアパシフィック (香港)、アジアパシフィック (ソウル)、欧州 (ロンドン)、アジアパシフィック (東京)、米国西部 (北カリフォルニア)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、AWS GovCloud (US-West)、AWS GovCloud (米国東部)、欧州 (ストックホルム)、カナダ (中部) の場合: 1,000 レコード/秒、1,000 トランザクション/秒、1 MiB/秒。

    Amazon Kinesis Data Firehose の制限フォーム を使用して制限の引き上げリクエストを送信できます。これにより、3 つの制限は比例的に調整されます。たとえば、米国東部(バージニア北部)、米国西部 (オレゴン)、または欧州 (アイルランド) のスループット制限を 10 MiB/秒に引き上げると、その他 2 つの制限は 4,000 トランザクション/秒と 10,000 レコード/秒に上がります。

    重要

    引き上げた制限が実行中のトラフィックよりもはるかに高い場合、送信先への配信バッチは小さくなります。そのため、非効率になり、結果として配信サービスのコストが高くなる場合があります。現在の実行中のトラフィックと一致するように制限を引き上げてください。トラフィックが増加した場合は、さらに制限を引き上げてください。

    注記

    データソースとして Kinesis Data Streams が設定されている場合、この制限は適用されず、Kinesis Data Firehose のスケールアップとスケールダウンは制限なしで行われます。

  • 各 Kinesis Data Firehose 配信ストリームは、配信先が使用できない場合に、最大 24 時間データレコードを保存します。

  • base64 エンコーディングの前に Kinesis Data Firehose に送信されるレコードの最大サイズは、1,000 KiB です。

  • PutRecordBatch オペレーションは、呼び出しごとに 500 レコードまたは 4 MiB のどちらか小さい方を受け取ることができます。この制限は変更できません。

  • 次のオペレーションは 1 秒あたり最大 5 つのトランザクションを提供できます: CreateDeliveryStreamDeleteDeliveryStreamDescribeDeliveryStreamListDeliveryStreamsUpdateDestinationTagDeliveryStreamUntagDeliveryStreamListTagsForDeliveryStreamStartDeliveryStreamEncryptionStopDeliveryStreamEncryption

  • Amazon S3 配信の場合、バッファサイズのヒントの範囲は、1 MiB ~ 128 MiB です。Amazon Elasticsearch Service (Amazon ES) 配信の場合、範囲は 1 MiB ~ 100 MiB です。AWS Lambda の処理では、BufferSizeInMBs プロセッサパラメータを使用して、バッファリングヒントを 1 MiB~3 MiB に設定できます。サイズのしきい値は、圧縮前のバッファに適用されます。これらのオプションはヒントとして扱われます。別の値が最適であれば、Kinesis Data Firehose がその値を使用することがあります。

  • バッファの間隔のヒントの範囲は、60~900 秒です。

  • Kinesis Data Firehose から Amazon Redshift への配信では、パブリックアクセス可能な Amazon Redshift クラスターのみがサポートされます。

  • 再試行の期間の範囲は、Amazon Redshift および Amazon ES への配信で 0 ~ 7,200 秒です。

  • Kinesis Data Firehose は Elasticsearch 1.5、2.3、5.1、5.3、5.5、5.6 と、すべての 6. * バージョンおよび 7.* バージョンをサポートしています。

  • Kinesis Data Firehose は Virtual Private Cloud (VPC) 内の Elasticsearch ドメインへの配信をサポートしていません。

  • 送信先が Amazon S3、Amazon Redshift、または Amazon ES である場合、Kinesis Data Firehose ではシャードあたり最大 5 回の未完了の Lambda 呼び出しが許可されます。Splunk の場合、この制限はシャードあたり 10 回の未完了の Lambda 呼び出しとなります。