Amazon Kinesis Data Firehose のクォータ - Amazon Kinesis Data Firehose

Amazon Kinesis Data Firehose のクォータ

Amazon Kinesis Data Firehose には、以下のクォータがあります。

  • デフォルトでは、各アカウントで持つことができる Kinesis Data Firehose 配信ストリームは、リージョンごとに最大 50 個です。この数字を超えた場合、CreateDeliveryStream を呼び出すと、LimitExceededException 例外が発生します。このクォータを引き上げるには、リージョンで利用可能であればサービスクォータを使用します。サービスクォータ の使用の詳細については、「クォータ引き上げのリクエスト」を参照してください。リージョンでサービスクォータを利用できない場合は、Amazon Kinesis Data Firehose の制限フォームを使用して引き上げをリクエストできます。

  • [Direct PUT] がデータソースとして設定されている場合、各 Kinesis Data Firehose 配信ストリーム は PutRecord リクエストおよび PutRecordBatch リクエストに対して次の結合クォータを提供します。

    • 米国東部(バージニア北部)、米国西部 (オレゴン)、および 欧州 (アイルランド) の場合: 5,000 レコード/秒、2,000 リクエスト/秒、5 MiB/秒。

    • 米国東部 (オハイオ)、米国西部 (北カリフォルニア)、AWS GovCloud (米国東部)、AWS GovCloud (US-West)、アジアパシフィック (香港)、アジアパシフィック (ムンバイ)、アジアパシフィック (ソウル)、アジアパシフィック (シンガポール)、アジアパシフィック (シドニー)、アジアパシフィック (東京)、カナダ (中部)、欧州 (フランクフルト)、欧州 (ロンドン)、欧州 (パリ)、欧州 (ストックホルム)、中東 (バーレーン)、および 南米 (サンパウロ) の場合: 1,000 レコード/秒、1,000 リクエスト/秒、1 MiB/秒。

    クォータの引き上げを要求するには、Amazon Kinesis Data Firehose の制限フォーム を使用します。3 つのクォータは比例してスケールされます。たとえば、米国東部(バージニア北部)、米国西部 (オレゴン)、または欧州 (アイルランド) のスループットクォータを 10 MiB/秒に引き上げると、その他 2 つのクォータは 4,000 リクエスト/秒と 10,000 レコード/秒に上がります。

    重要

    引き上げたクォータが実行中のトラフィックよりもはるかに高い場合、送信先への配信バッチは小さくなります。そのため、非効率になり、結果として配信サービスのコストが高くなる場合があります。現在の実行中のトラフィックと一致するようにクォータを引き上げてください。トラフィックが増加した場合は、さらにクォータを引き上げてください。

    注記

    データソースとして Kinesis Data Streams が設定されている場合、このクォータは適用されず、Kinesis Data Firehose のスケールアップとスケールダウンは制限なしで行われます。

  • 各 Kinesis Data Firehose 配信ストリームは、配信先が使用できない場合に、最大 24 時間データレコードを保存します。

  • base64 エンコーディングの前に Kinesis Data Firehose に送信されるレコードの最大サイズは、1,000 KiB です。

  • PutRecordBatch オペレーションは、呼び出しごとに 500 レコードまたは 4 MiB のどちらか小さい方を受け取ることができます。このクォータは変更できません。

  • 次のオペレーションは 1 秒あたり最大 5 つの呼び出しを提供できます: CreateDeliveryStreamDeleteDeliveryStreamDescribeDeliveryStreamListDeliveryStreamsUpdateDestinationTagDeliveryStreamUntagDeliveryStreamListTagsForDeliveryStreamStartDeliveryStreamEncryptionStopDeliveryStreamEncryption

  • Amazon S3 配信の場合、バッファサイズのヒントの範囲は、1 MiB ~ 128 MiB です。Amazon Elasticsearch Service (Amazon ES) 配信の場合、範囲は 1 MiB ~ 100 MiB です。AWS Lambda の処理では、BufferSizeInMBs プロセッサパラメータを使用して、バッファリングヒントを 1 MiB~3 MiB に設定できます。サイズのしきい値は、圧縮前のバッファに適用されます。これらのオプションはヒントとして扱われます。別の値が最適であれば、Kinesis Data Firehose がその値を使用することがあります。

  • バッファの間隔のヒントの範囲は、60~900 秒です。

  • Kinesis Data Firehose から Amazon Redshift への配信では、パブリックアクセス可能な Amazon Redshift クラスターのみがサポートされます。

  • 再試行の期間の範囲は、Amazon Redshift および Amazon ES への配信で 0 ~ 7,200 秒です。

  • Kinesis Data Firehose は Elasticsearch 1.5、2.3、5.1、5.3、5.5、5.6 と、すべての 6. * バージョンおよび 7.* バージョンをサポートしています。

  • 送信先が Amazon S3、Amazon Redshift、または Amazon ES である場合、Kinesis Data Firehose ではシャードあたり最大 5 回の未完了の Lambda 呼び出しが許可されます。Splunk の場合、このクォータはシャードあたり 10 回の未完了の Lambda 呼び出しとなります。

  • CMK のタイプとして CUSTOMER_MANAGED_CMK を使用し、最大 500 個の配信ストリームを暗号化できます。