Amazon Data Firehose クォータ

Amazon Data Firehose には以下のクォータがあります。

• Amazon MSK を Firehose ストリームのソースとして使用すると、各 Firehose ストリームのデフォルトのクォータは、パーティションあたり 10 MB/秒の読み取りスループット、最大レコードサイズは 10MB です。Service Quotas の引き上げを使用して、パーティションあたり 10 MB/秒の読み取りスループットのデフォルトクォータの引き上げをリクエストできます。

• Amazon MSK を Firehose ストリームのソースとして使用すると、 AWS Lambda が有効になっている場合は最大レコードサイズが 6Mb、Lambda が無効になっている場合は最大レコードサイズが 10Mb になります。 AWS Lambda は受信レコードを 6 MB に制限し、Amazon Data Firehose は 6Mb を超えるレコードをエラー S3 バケットに転送します。Lambda が無効になっている場合、Firehose は受信レコードを 10 MB に制限します。Amazon Data Firehose が 10MB を超えるレコードサイズを Amazon MSK から受け取った場合、Amazon Data Firehose はこのレコードを S3 エラーバケットに配信し、Cloudwatch メトリクスをアカウントに出力します。 AWS Lambda の制限の詳細については、https://docs.aws.amazon.com/lambda/latest/dg/gettingstarted-limits.html を参照してください。

• 配信ストリームで動的パーティショニングが有効になっている場合、その配信ストリームに対して作成できるアクティブパーティションのデフォルトクォータは 500 です。アクティブパーティション数は、配信バッファ内のアクティブパーティションの総数です。例えば、動的パーティショニングクエリが 1 秒あたり 3 つのパーティションを構築し、60 秒ごとに配信をトリガーするバッファのヒント設定がある場合、平均して 180 のアクティブパーティションが作成されます。データがパーティションに配信されると、そのパーティションはそれ以降はアクティブではなくなります。Amazon Data Firehose の制限フォームを使用して、特定の配信ストリームごとに最大 5000 個のアクティブパーティションへのこのクォータの引き上げをリクエストできます。さらにパーティションが必要な場合は、配信ストリームをさらに作成することでアクティブパーティションをそれらに分散させることができます。

• 配信ストリームで動的パーティショニングが有効になっている場合、アクティブパーティションごとに 1 GB/秒の最大スループットがサポートされます。

• 各 アカウントには、リージョンあたりの Firehose 配信ストリームの数について、次のクォータがあります。

  • 米国東部 (バージニア北部)、米国東部 (オハイオ)、米国西部 (オレゴン)、欧州 (アイルランド)、アジアパシフィック (東京): 5,000 配信ストリーム

  • 欧州 (フランクフルト）、欧州 (ロンドン）、アジアパシフィック (シンガポール）、アジアパシフィック (シドニー）、アジアパシフィック (ソウル）、アジアパシフィック (ムンバイ） AWS GovCloud 、（米国西部）、カナダ (西部）、カナダ (中部): 2,000 配信ストリーム

  • 欧州 (パリ）、欧州 (ミラノ）、欧州 (ストックホルム）、アジアパシフィック (香港）、アジアパシフィック (大阪）、南米 (サンパウロ）、中国 (寧夏）、中国 (北京）、中東 (バーレーン） AWS GovCloud 、 (米国東部）、アフリカ (ケープタウン): 500 配信ストリーム

  • 欧州 (チューリッヒ）、欧州 (スペイン）、アジアパシフィック (ハイデラバード）、アジアパシフィック (ジャカルタ）、アジアパシフィック (メルボルン）、中東 (アラブ首長国連邦）、イスラエル (テルアビブ）、カナダ西部 (カルガリー）、カナダ (中部): 100 配信ストリーム

  • この数字を超えた場合、CreateDeliveryStream を呼び出すと、LimitExceededException 例外が発生します。このクォータを引き上げるには、リージョンで利用可能であればService Quotas を使用します。Service Quotas の使用の詳細については、「クォータ引き上げのリクエスト」を参照してください。リージョンで Service Quotas を使用できない場合は、Amazon Data Firehose の制限フォームを使用して引き上げをリクエストできます。

• ダイレクト PUT がデータソースとして設定されている場合、各 Firehose ストリームは PutRecordおよび PutRecordBatchリクエストに対して次の合計クォータを提供します。

  • 米国東部 (バージニア北部)、米国西部 (オレゴン)、欧州 (アイルランド) の場合: 50 万レコード/秒、2,000 リクエスト/秒、5 MiB/秒になります。

  • 米国東部 (オハイオ) の場合は、 米国西部 (北カリフォルニア）、 AWS GovCloud （米国東部）、 AWS GovCloud （米国西部）、 アジアパシフィック (香港）、 アジアパシフィック (ムンバイ）、 アジアパシフィック (ソウル） アジアパシフィック (シンガポール）、 中国 (北京）、 中国 (寧夏）、 アジアパシフィック (シドニー）、 アジアパシフィック (東京） カナダ (中部）、 カナダ西部 (カルガリー）、 欧州 (フランクフルト）、 欧州 (ロンドン）、 欧州 (パリ）、 欧州 (ストックホルム）、 中東 (バーレーン）、 南米 (サンパウロ）、 アフリカ (ケープタウン）、 および欧州 (ミラノ): 100、000 レコード/秒、 1、000 リクエスト/秒、 および 1 MiB/秒。

  クォータの引き上げをリクエストするには、Amazon Data Firehose の制限フォーム を使用します。3 つのクォータは比例してスケールされます。たとえば米国東部 (バージニア北部)、米国西部 (オレゴン)、または欧州 (アイルランド) のスループットクォータを 10 MiB/秒に引き上げると、その他 2 つのクォータは 4,000 リクエスト/秒と 1000,000 レコード/秒に引き上がります。

  重要

  引き上げたクォータが実行中のトラフィックよりもはるかに高い場合、送信先への配信バッチは小さくなります。そのため、非効率になり、結果として配信サービスのコストが高くなる場合があります。現在の実行中のトラフィックと一致するようにクォータを引き上げてください。トラフィックが増加した場合は、さらにクォータを引き上げてください。

  重要

  データレコードが小さくなると、コストが高くなる可能性があることに注意してください。Firehose の取り込み料金は、サービスに送信するデータレコードの数、最も近い 5KB (5,120 バイト) に切り上げられた各レコードのサイズに基づいています。したがって、同じ量の受信データ (バイト) では、受信レコードの数が多い場合、発生するコストが高くなります。たとえば、受信データ量の合計が 5MiB の場合、5,000 レコードを超えるデータの送信は、1,000 レコードを使用して同じ量のデータを送信する場合と比べて、コストが高くなります。詳細については、AWS 「 計算ツール」の「Amazon Data Firehose」を参照してください。

  注記

  Kinesis Data Streams をデータソースとして設定すると、このクォータは適用されません。Amazon Data Firehose は制限なしでスケールアップおよびスケールダウンします。

• 各 Firehose ストリームは、配信先が使用できない場合、および送信元が の場合、データレコードを最大 24 時間保存します DirectPut。ソースが Kinesis Data Streams (KDS) で、送信先が使用できない場合、データは KDS の設定に基づいて保持されます。

• Amazon Data Firehose に送信されるレコードの最大サイズは、base64 エンコードの前に 1,000 KiB です。

• PutRecordBatch オペレーションは、呼び出しごとに 500 レコードまたは 4 MiB のどちらか小さい方を受け取ることができます。このクォータは変更できません。

• 次のオペレーションは 1 秒あたり最大 5 つの呼び出しを提供できます (これはハード制限です): CreateDeliveryStream、DeleteDeliveryStream、DescribeDeliveryStream、ListDeliveryStreams、UpdateDestination、TagDeliveryStream、UntagDeliveryStream、ListTagsForDeliveryStream、StartDeliveryStreamEncryption、StopDeliveryStreamEncryption。

• バッファの間隔のヒントの範囲は、60～900 秒です。

• Amazon Data Firehose から Amazon Redshift への配信では、パブリックにアクセス可能な Amazon Redshift クラスターのみがサポートされます。

• Amazon Redshift と OpenSearch サービス配信の再試行期間の範囲は 0 秒から 7,200 秒です。

• Firehose は、Elasticsearch バージョン 1.5、2.3、5.1、5.3、5.5、5.6、および 6.* と 7.* のすべてのバージョンと 2.11 までの Amazon OpenSearch Service 2.x をサポートしています。

• 送信先が Amazon S3、Amazon Redshift、または OpenSearch サービスの場合、Amazon Data Firehose はシャードごとに最大 5 つの未処理の Lambda 呼び出しを許可します。Splunk の場合、このクォータはシャードあたり 10 回の未完了の Lambda 呼び出しとなります。

• CMK のタイプとして CUSTOMER_MANAGED_CMK を使用し、最大 500 個の配信ストリームを暗号化できます。