Amazon Data Firehose クォータ

Amazon Data Firehose には次のクォータがあります。

• Amazon を Firehose ストリームのソースMSKとして使用する場合、各 Firehose ストリームのデフォルトのクォータは、パーティションあたり 10 MB/秒の読み取りスループットと 10MB の最大レコードサイズです。サービスクォータの引き上げを使用して、パーティションあたりの読み取りスループットのデフォルトクォータである 10 MB/秒の引き上げをリクエストできます。

• Amazon を Firehose ストリームのソースMSKとして使用する場合、 の場合、最大レコードサイズは 6Mb です。 AWS Lambda は有効になっており、Lambda が無効になっている場合は最大 10Mb のレコードサイズです。 AWS Lambda は受信レコードを 6 MB に制限し、Amazon Data Firehose は 6Mb を超えるレコードをエラー S3 バケットに転送します。Lambda が無効になっている場合、Firehose は受信レコードを 10 MB に制限します。Amazon Data Firehose が 10MB を超えるレコードサイズMSKを Amazon から受け取った場合、Amazon Data Firehose はこのレコードを S3 エラーバケットに配信し、Cloudwatch メトリクスをアカウントに出力します。の詳細については、「」を参照してください。 AWS Lambda の制限については、https://docs.aws.amazon.com/lambda/「 latest/dg/gettingstarted-limits.html」を参照してください。

• Firehose ストリームの動的パーティショニングが有効になっている場合、その Firehose ストリーム用に作成できるアクティブなパーティションは 500 個というデフォルトのクォータがあります。アクティブパーティション数は、配信バッファ内のアクティブパーティションの総数です。例えば、動的パーティショニングクエリが 1 秒あたり 3 つのパーティションを構築し、60 秒ごとに配信をトリガーするバッファのヒント設定がある場合、平均して 180 のアクティブパーティションが作成されます。データがパーティションに配信されると、そのパーティションはそれ以降はアクティブではなくなります。Amazon Data Firehose の制限フォームを使用して、特定の Firehose ストリームごとに最大 5000 個のアクティブなパーティションのクォータの引き上げをリクエストできます。さらに多くのパーティションが必要な場合は、Firehose ストリームをさらに作成し、アクティブなパーティションをそれらに分散できます。

• Firehose ストリームの動的パーティショニングが有効になっている場合、アクティブなパーティションごとに 1 GB/秒の最大スループットがサポートされます。

• 各アカウントには、リージョンあたりの Firehose ストリーム数に対して次のクォータがあります。

  • 米国東部 (バージニア北部）、米国東部 (オハイオ）、米国西部 (オレゴン）、欧州 (アイルランド）、アジアパシフィック (東京): 5,000 Firehose ストリーム

  • 欧州 (フランクフルト）、欧州 (ロンドン）、アジアパシフィック (シンガポール）、アジアパシフィック (シドニー）、アジアパシフィック (ソウル）、アジアパシフィック (ムンバイ）、 AWS GovCloud （米国西部）、カナダ (西部）、カナダ (中部): 2,000 Firehose ストリーム

  • 欧州 (パリ）、欧州 (ミラノ）、欧州 (ストックホルム）、アジアパシフィック (香港）、アジアパシフィック (大阪）、南米 (サンパウロ）、中国 (寧夏）、中国 (北京）、中東 (バーレーン）、 AWS GovCloud （米国東部）、アフリカ (ケープタウン): 500 Firehose ストリーム

  • 欧州 (チューリッヒ）、欧州 (スペイン）、アジアパシフィック (ハイデラバード）、アジアパシフィック (ジャカルタ）、アジアパシフィック (メルボルンUAE）、中東 ()、イスラエル (テルアビブ）、カナダ西部 (カルガリー）、カナダ (中部）、アジアパシフィック (マレーシア): 100 Firehose ストリーム

  • この数を超えると、 を呼び出すとLimitExceededException例外CreateDeliveryStreamが発生します。このクォータを引き上げるには、リージョンで利用可能であればService Quotas を使用します。Service Quotas の使用の詳細については、「クォータ引き上げのリクエスト」を参照してください。Service Quotas がお客様のリージョンで利用できない場合は、Amazon Data Firehose の制限フォームを使用して引き上げをリクエストできます。

• Direct PUT がデータソースとして設定されている場合、各 Firehose ストリームは、 PutRecordおよび PutRecordBatchリクエストに対して次の組み合わせクォータを提供します。

  • 米国東部 (バージニア北部)、米国西部 (オレゴン)、欧州 (アイルランド) の場合: 50 万レコード/秒、2,000 リクエスト/秒、5 MiB/秒になります。

  • 米国東部 (オハイオ）、米国西部 (北カリフォルニア）、 AWS GovCloud （米国東部）、 AWS GovCloud （米国西部）、アジアパシフィック (香港）、アジアパシフィック (ムンバイ）、アジアパシフィック (ソウル）、アジアパシフィック (シンガポール）、中国 (北京）、中国 (寧夏）、アジアパシフィック (シドニー）、アジアパシフィック (東京）、カナダ (中部）、カナダ西部 (カルガリー）、欧州 (フランクフルト）、欧州 (ロンドン）、欧州 (パリ）、欧州 (ストックホルム）、中東 (バーレーン）、南米 (サンパウロ）、アフリカ (ケープタウン）、アジアパシフィック (マレーシア）、欧州 (ミラノ）、100,00 レコード/秒、1,000 リクエスト/秒、1 MiB /秒。

  クォータの引き上げをリクエストするには、Amazon Data Firehose の制限フォーム を使用します。3 つのクォータは比例してスケールされます。たとえば米国東部 (バージニア北部)、米国西部 (オレゴン)、または欧州 (アイルランド) のスループットクォータを 10 MiB/秒に引き上げると、その他 2 つのクォータは 4,000 リクエスト/秒と 1000,000 レコード/秒に引き上がります。

  重要

  引き上げたクォータが実行中のトラフィックよりもはるかに高い場合、送信先への配信バッチは小さくなります。そのため、非効率になり、結果として配信サービスのコストが高くなる場合があります。現在の実行中のトラフィックと一致するようにクォータを引き上げてください。トラフィックが増加した場合は、さらにクォータを引き上げてください。

  重要

  データレコードが小さくなると、コストが高くなる可能性があることに注意してください。Firehose の取り込み料金は、サービスに送信するデータレコードの数に、最も近い 5KB (5,120 バイト) に切り上げられた各レコードのサイズを掛けたものです。したがって、同じ量の受信データ (バイト) では、受信レコードの数が多い場合、発生するコストが高くなります。たとえば、受信データ量の合計が 5MiB の場合、5,000 レコードを超えるデータの送信は、1,000 レコードを使用して同じ量のデータを送信する場合と比べて、コストが高くなります。詳細については、「」の「Amazon Data Firehose」を参照してください。 AWS 計算ツール 。

  注記

  Kinesis Data Streams がデータソースとして設定されている場合、このクォータは適用されません。Amazon Data Firehose は制限なしでスケールアップおよびスケールダウンします。

• 各 Firehose ストリームは、配信先が利用できない場合、および送信元が の場合に、最大 24 時間データレコードを保存します DirectPut。ソースが Kinesis Data Streams (KDS) で、送信先が使用できない場合、データはKDS設定に基づいて保持されます。

• base64 エンコードの前に Amazon Data Firehose に送信されるレコードの最大サイズは 1,000 KiB です。

• PutRecordBatch オペレーションには、呼び出しごとに最大 500 レコード、または呼び出しごとに 4 MiB のいずれか小さい方かかる場合があります。このクォータは変更できません。

• 以下の各オペレーションは、1 秒あたり最大 5 回の呼び出しを提供できますが、これはハード制限です。

  • CreateDeliveryStream

  • DeleteDeliveryStream

  • DescribeDeliveryStream

  • ListDeliveryStreams

  • UpdateDestination

  • TagDeliveryStream

  • UntagDeliveryStream

  • ListTagsForDeliveryStream

  • StartDeliveryStreamEncryption

  • StopDeliveryStreamEncryption

• バッファの間隔のヒントの範囲は、60～900 秒です。

• Amazon Data Firehose から Amazon Redshift への配信では、パブリックにアクセス可能な Amazon Redshift クラスターのみがサポートされます。

• Amazon Redshift および OpenSearch サービス配信の再試行期間の範囲は 0 秒から 7,200 秒です。

• Firehose は、Elasticsearch バージョン 1.5、2.3、5.1、5.3、5.5、5.6、およびすべての 6.* および 7.* バージョンと Amazon OpenSearch Service 2.x から 2.11 までをサポートしています。

• 送信先が Amazon S3、Amazon Redshift、または OpenSearch Service の場合、Amazon Data Firehose はシャードごとに最大 5 つの未処理の Lambda 呼び出しを許可します。Splunk の場合、このクォータはシャードあたり 10 回の未完了の Lambda 呼び出しとなります。

• タイプ CUSTOMER_MANAGED_CMK CMKの を使用して、最大 500 の Firehose ストリームを暗号化できます。