メニュー
Amazon Kinesis Firehose
開発者ガイド

Amazon Kinesis Data Firehose の制限

Amazon Kinesis Data Firehose には以下の制限があります。

  • デフォルトでは、各アカウントで持つことができるKinesis データ配信ストリームは、リージョンごとに最大 50 個です。この制限を超えた場合、CreateDeliveryStream を呼び出すと、LimitExceededException 例外が発生します。この制限は、Amazon Kinesis Data Firehose の制限フォームを使用して増やすことができます。

  • [Direct PUT] がデータソースとして設定されている場合、各 Kinesis データ配信ストリーム には以下の制限があります。

    • 米国東部(バージニア北部)、米国西部 (オレゴン)、および 欧州 (アイルランド) の場合: 5,000 レコード/秒、2,000 トランザクション/秒、5 MiB/秒になります。

    • 米国東部 (オハイオ)、米国西部 (北カリフォルニア)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アジアパシフィック (東京)、および 欧州 (フランクフルト) の場合: 1,000 レコード/秒、1,000 トランザクション/秒、1 MiB/秒になります。

    Amazon Kinesis Data Firehose の制限フォーム を使用して制限の引き上げリクエストを送信できます。これにより、3 つの制限は比例的に調整されます。たとえば、米国東部(バージニア北部)、米国西部 (オレゴン)、または 欧州 (アイルランド) のスループット制限を 10 MiB/秒に引き上げると、その他 2 つの制限は 4,000 トランザクション/秒と 10,000 レコード/秒に上がります。

    重要

    引き上げた制限が実行中のトラフィックよりもはるかに高い場合は、送信先への配信バッチが非常に小さくなり、非効率です。また、結果として配信サービスのコストが高くなります。現在の実行中のトラフィックと一致するように制限を引き上げてください。トラフィックが増加した場合は、さらに制限を引き上げてください。

    注記

    データソースとして Kinesis Data Streams が設定されている場合、この制限は適用されず、Kinesis Data Firehose のスケールアップとスケールダウンは制限なしで行われます。

  • 各Kinesis データ配信ストリームは、配信先が使用できない場合に、最大 24 時間データレコードを保存します。

  • base64 エンコーディングの前に Kinesis Data Firehose に送信されるレコードの最大サイズは、1,000 KiB です。

  • PutRecordBatch オペレーションは、呼び出しごとに 500 レコードまたは 4 MiB のどちらか小さい方を受け取ることができます。この制限は変更できません。

  • 次のオペレーションは 1 秒あたり最大 5 つのトランザクションを提供できます: CreateDeliveryStreamDeleteDeliveryStreamDescribeDeliveryStreamListDeliveryStreams、および UpdateDestination

  • バッファサイズのヒントの範囲は、Amazon S3 の配信では 1 MiB ~ 128 MiB で、Amazon Elasticsearch Service (Amazon ES) の配信では 1 MiB ~ 100 MiB です。AWS Lambda の処理では、BufferSizeInMBs プロセッサパラメータを使用して、バッファリングヒントを 1 MiB ~ 3 MiB に設定できます。サイズのしきい値は、圧縮前のバッファに適用されます。これらのオプションはヒントとして扱われるため、別の値が最適であれば、Kinesis Data Firehose がその値を使用することがあります。

  • バッファの間隔のヒントの範囲は、60~900 秒です。

  • Kinesis Data Firehose から Amazon Redshift の配信では、パブリックにアクセス可能な Amazon Redshift クラスターのみがサポートされます。

  • 再試行の期間の範囲は、Amazon Redshift および Amazon ES の配信で 0~7200 秒です。

  • Kinesis Data Firehose では Elasticsearch バージョン 1.5、2.3、5.1、5.3、5.5、6.0、および 6.2 がサポートされています。