亚马逊 Data Firehose 配额 - Amazon Data Firehose

亚马逊 Data Firehose 以前被称为亚马逊 Kinesis Data Firehose

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

亚马逊 Data Firehose 配额

Amazon Data Firehose 的配额如下。

  • 以亚马逊 MSK 作为 Firehose 流的来源,每个 Firehose 流的默认配额为每个分区的读取吞吐量 10 MB/秒,最大记录大小为 10MB。您可以使用增加服务配额来请求增加每个分区读取吞吐量 10 MB/秒的默认配额。

  • 以亚马逊 MSK 作为 Firehose 直播的来源,如果启用 AWS Lambda,则最大记录大小为 6Mb;如果禁用 Lambda,则最大记录大小为 10Mb。 AWS Lambda 将其传入记录上限为 6 MB,Amazon Data Firehose 将超过 6Mb 的记录转发到错误 S3 存储桶。如果禁用 Lambda,Firehose 会将其传入记录限制为 10 MB。如果 Amazon Data Firehose 从亚马逊 MSK 收到的记录大小大于 10MB,则亚马逊数据 Firehose 会将此记录传送到 S3 错误存储桶,并向你的账户发出 Cloudwatch 指标。有关 AWS Lambda 限制的更多信息,请参阅:https://docs.aws.amazon.com/lambda/latest/dg/gettingstarted-limits.html。

  • 在传输流上启用动态分区后,可以为该传输流创建 500 个活动分区的默认配额。活动分区计数是传输缓冲区内活动分区的总数。例如,如果动态分区查询每秒构造 3 个分区,并且您有一个缓冲区提示配置,每 60 秒触发一次传输,那么平均您将拥有 180 个活动分区。在分区中传输数据后,该分区将不再处于活动状态。您可以使用 Amazon Data Firehose 限制表单申请将此配额增加到每个给定传输流 5000 个活动分区。如果您需要更多分区,则可以创建更多传输流,并在这些传输流之间分配活动分区。

  • 在传输流上启用动态分区后,每个活动分区支持的最大吞吐量为每秒 1GB。

  • 每个账号在每个区域的 Firehose 直播数量上将有以下配额:

    • 美国东部(弗吉尼亚州北部)、美国东部(俄亥俄州)、美国西部(俄勒冈州)、欧洲地区(爱尔兰)、亚太地区(东京):5,000 个传输流

    • 欧洲(法兰克福)、欧洲(伦敦)、亚太地区(新加坡)、亚太地区(悉尼)、亚太地区(首尔)、亚太地区(孟买)、 AWS GovCloud (美国西部)、加拿大(西部)、加拿大(中部):2,000 个传送流

    • 欧洲(巴黎)、欧洲(米兰)、欧洲(斯德哥尔摩)、亚太地区(香港)、亚太地区(大阪)、南美洲(圣保罗)、中国(宁夏)、中国(北京)、中东(巴林)、 AWS GovCloud (美国东部)、非洲(开普敦):500 个传送流

    • 欧洲(苏黎世)、欧洲(西班牙)、亚太地区(海得拉巴)、亚太地区(雅加达)、亚太地区(墨尔本)、中东(阿联酋)、以色列(特拉维夫)、加拿大西部(卡尔加里)、加拿大(中部):100 个传送流

    • 如果超出此数字,调用 CreateDeliveryStream 会导致 LimitExceededException 异常。要提升此配额,可以使用 Service Quotas(如果该服务在您的区域可用)。有关使用服务限额的信息,请参阅请求增加配额。如果您所在的地区没有服务配额,您可以使用 Amazon Data Firehose 限制表单申请增加配额。

  • 将 D irect PUT 配置为数据源时,每个 Firehose 流为PutRecordPutRecordBatch请求提供以下组合配额:

    • 对于美国东部(弗吉尼亚州北部)、美国西部(俄勒冈州)和欧洲地区(爱尔兰):500,000 条记录/秒,2,000 个请求/秒,5MiB/秒。

    • 适用于美国东部(俄亥俄州)、美国西部(加利福尼亚北部)、 AWS GovCloud (美国东部)、 AWS GovCloud (美国西部)、亚太地区(香港)、亚太地区(孟买)、亚太地区(首尔)、亚太地区(新加坡)、中国(北京)、中国(宁夏)、亚太地区(悉尼)、亚太地区(东京)、加拿大(中部)、加拿大西部(卡尔加里)、欧洲(法兰克福)、欧洲(伦敦)、欧洲(巴黎))、欧洲(斯德哥尔摩)、中东(巴林)、南美洲(圣保罗)、非洲(开普敦)和欧洲(米兰):100,000 条记录/秒、1,000 次请求/秒、1 MiB/秒。

    要申请增加配额,请使用 Amazon Data Firehose 限制表单。这三个配额成比例扩展。例如,如果将美国东部(弗吉尼亚州北部)、美国西部(俄勒冈州)或欧洲地区(爱尔兰)的吞吐量配额增加到 10MiB/秒,其他两个配额将分别增加到 4,000 个请求/秒和 1,000,000 条记录/秒。

    重要

    如果增加的配额远高于运行的流量,这会导致传输到目标的批次很少。从而造成效率低下,并导致目标服务的成本高昂。请确保仅为满足当前运行的流量而增加配额,并在流量增加时进一步提高配额。

    重要

    请注意,数据记录越少,成本越高。Firehose 摄取定价基于您发送到服务的数据记录数量,乘以每条记录的大小,四舍五入到最接近的 5KB(5120 字节)。因此,在输入数据量(字节)相同的情况下,如果输入记录的数量越多,产生的成本就会越高。例如,如果传入的总数据量为 5MiB,则与使用 1,000 条记录发送相同数量的数据相比,发送超过 5,000 条记录的 5MiB 数据的成本更高。有关更多信息,请参阅计算器中的 Amazon Data Firehose。AWS

    注意

    将 Kinesis Data Streams 配置为数据源时,此配额不适用,Amazon Data Firehose 可以不受限制地向上和向下扩展。

  • 每个 Firehose 流最多可存储 24 小时的数据记录,以防传送目的地不可用且源不可用。 DirectPut如果源是 Kinesis Data Streams(KDS),且目标位置不可用,则数据将根据您的 KDS 配置保留。

  • 在 base64 编码之前,发送到 Amazon Data Firehose 的记录的最大大小为 1,000 KiB。

  • PutRecordBatch 操作每次调用可处理 500 条记录或 4 MB,以较小者为准。无法更改此配额。

  • 以下操作每秒最多可以提供 5 次调用(硬性限制):CreateDeliveryStreamDeleteDeliveryStreamDescribeDeliveryStreamListDeliveryStreamsUpdateDestinationTagDeliveryStreamUntagDeliveryStreamListTagsForDeliveryStreamStartDeliveryStreamEncryptionStopDeliveryStreamEncryption

  • 缓冲间隔提示范围:60 秒 - 900 秒。

  • 要从亚马逊 Data Firehose 传输到亚马逊 Redshift,仅支持可公开访问的亚马逊 Redshift 集群。

  • Amazon Red OpenSearch shift 和服务交付的重试持续时间范围从 0 秒到 7,200 秒不等。

  • Firehose 支持 Elasticsearch 版本 1.5、2.3、5.1、5.3、5.5、5.6,以及所有 6.* 和 7.* 版本以及 2.11 之前的亚马逊 OpenSearch 服务 2.x。

  • 当目标为亚马逊 S3、亚马逊 Redshift 或 OpenSearch 服务时,Amazon Data Firehose 允许每个分片最多 5 次未完成的 Lambda 调用。对于 Splunk,配额为每个分片 10 次未完成的 Lambda 调用。

  • 您可以使用 CUSTOMER_MANAGED_CMK 类型的 CMK 加密多达 500 个传输流。