Amazon Kinesis Data Firehose のクォータ - Amazon Kinesis Data Firehose

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Amazon Kinesis Data Firehose のクォータ

Amazon Kinesis Data Firehose には、次のクォータがあります。

  • 配信ストリームで動的パーティショニングが有効な場合、その配信ストリームに対して作成できるアクティブパーティションは 500 個に制限されます。Amazon Kinesis Data Firehose の制限フォームを使用して、このクォータの引き上げをリクエストできます。

  • メトリック動的パーティション化配信ストリームが有効の場合、アクティブパーティションごとに 40 MB /秒の最大スループットがサポートされます。これはハード制限です。

  • デフォルトでは、各アカウントで持つことができる Kinesis Data Firehose 配信ストリームは、リージョンごとに最大 50 個です。この数字を超えた場合、CreateDeliveryStream を呼び出すと、LimitExceededException 例外が発生します。このクォータを引き上げるには、リージョンで利用可能であればService Quotas を使用します。Service Quotas の使用の詳細については、「クォータ引き上げのリクエスト」を参照してください。リージョンで Service Quotas が使用できない場合は、「Amazon Kinesis Data Firehose の制限フォーム」を使用して引き上げをリクエストすることができます。

  • メトリック直接PUTがデータソースとして設定されている場合、各 Kinesis Data Firehose 配信ストリームは、次の結合クォータを提供します。PutRecordそしてPutRecordBatchリクエスト:

    • 米国東部 (バージニア北部)、米国西部 (オレゴン)、欧州 (アイルランド) の場合: 50 万レコード/秒、2,000 リクエスト/秒、5 MiB/秒になります。

    • 米国東部 (オハイオ)、米国西部 (北カリフォルニア) の場合AWS GovCloud米国東部)、AWS GovCloud(米国西部)、アジアパシフィック(香港)、アジアパシフィック(ムンバイ)、アジアパシフィック(ソウル)、アジアパシフィック(シンガポール)、アジアパシフィック(シドニー)、アジアパシフィック(東京)、カナダ(中部)、ヨーロッパ(フランクフルト)、ヨーロッパ(ロンドン)、ヨーロッパ(パリ)、ヨーロッパ(ストックホルム)、中東(バーレーン)、南米(サンパウロ)、アフリカ(ケープタウン)、およびヨーロッパ (ミラノ): 10万レコード/秒、1,000 リクエスト/秒、1 MiB/秒。

    クォータの引き上げをリクエストするには、「Amazon Kinesis Data Firehose の制限フォーム]を使用します。3 つのクォータは比例してスケールされます。たとえば米国東部 (バージニア北部)、米国西部 (オレゴン)、または欧州 (アイルランド) のスループットクォータを 10 MiB/秒に引き上げると、その他 2 つのクォータは 4,000 リクエスト/秒と 1000,000 レコード/秒に引き上がります。

    重要

    引き上げたクォータが実行中のトラフィックよりもはるかに高い場合、送信先への配信バッチは小さくなります。そのため、非効率になり、結果として配信サービスのコストが高くなる場合があります。現在の実行中のトラフィックと一致するようにクォータを引き上げてください。トラフィックが増加した場合は、さらにクォータを引き上げてください。

    重要

    データレコードが小さくなると、コストが高くなる可能性があることに注意してください。Kinesis Data Firehose の取り込み料金は、サービスに送信するデータレコードの数、すなわち各レコードのサイズが最も近い 5KB(5120 バイト)に切り上げられた回数に基づきます。したがって、同じ量の受信データ (バイト) では、受信レコードの数が多い場合、発生するコストが高くなります。たとえば、受信データ量の合計が 5MiB の場合、5,000 レコードを超えるデータの送信は、1,000 レコードを使用して同じ量のデータを送信する場合と比べて、コストが高くなります。詳細については、AWS 見積りツールの「Kinesis Data Firehose」を参照してください。

    注記

    データソースとして Kinesis Data Streams が設定されている場合、このクォータは適用されず、Kinesis Data Firehose のスケールアップとスケールダウンは制限なしで行われます。

  • 各 Kinesis Data Firehose 配信ストリームは、配信先が使用できない場合や、送信元がDirectPut。ソースが Kinesis Data Streams (KDS) で、送信先が使用できない場合、データは KDS の設定に基づいて保持されます。

  • base64-encoding の前に Kinesis Data Firehose に送信されるレコードの最大サイズは、1,000 KiB です。

  • -PutRecordBatchオペレーションは、呼び出しごとに 500 レコードまたは 4 MiB のどちらか小さい方を受け取ることができます。このクォータは変更できません。

  • 次のオペレーションは 1 秒あたり最大 5 つの呼び出しを提供できます (これはハード制限です): CreateDeliveryStreamDeleteDeliveryStreamDescribeDeliveryStreamListDeliveryStreamsUpdateDestinationTagDeliveryStreamUntagDeliveryStreamListTagsForDeliveryStreamStartDeliveryStreamEncryptionStopDeliveryStreamEncryption

  • Amazon S3 配信の場合、バッファサイズのヒントの範囲は、1 MiB~128 MiB です。Amazon の場合OpenSearchサービス (OpenSearchサービス) 配信、範囲は 1 MiB ~ 100 MiB です。AWS Lambda の処理では、BufferSizeInMBs プロセッサパラメータを使用して、バッファリングヒントを 1 MiB~3 MiB に設定できます。サイズのしきい値は、圧縮前のバッファに適用されます。これらのオプションはヒントとして扱われます。Kinesis Data Firehose は、最適な場合には異なる値を使用することを選択する場合があります。

  • バッファの間隔のヒントの範囲は、60~900 秒です。

  • Kinesis Data Firehose から Amazon Redshift への配信では、パブリックアクセス可能な Amazon Redshift クラスターのみがサポートされます。

  • 再試行期間の範囲は、Amazon Redshift で 0~7,200 秒です。OpenSearchサービス配信。

  • Kinesis Data Firehose は Elasticsearch バージョン 1.5、2.3、5.1、5.3、5.5、5.6 と、すべての 6. * バージョンおよび 7.* バージョンおよび Amazon をサポートしています。OpenSearchサービス1.x 以降。

  • 送信先が Amazon S3、Amazon Redshift、またはOpenSearchサービス Kinesis Data Firehose では、シャードごとに最大 5 回の未処理の Lambda 呼び出しが許可されます。Splunk の場合、このクォータはシャードあたり 10 回の未完了の Lambda 呼び出しとなります。

  • CMK のタイプとして CUSTOMER_MANAGED_CMK を使用し、最大 500 個の配信ストリームを暗号化できます。