亚马逊MSK配额 - Amazon Managed Streaming for Apache Kafka

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

亚马逊MSK配额

您的 AWS 账户有默认的 Amazon 配额MSK。除非另有说明,否则每个账户的每个配额在您的账户中都是针对特定区域的。 AWS

亚马逊MSK配额

  • 每个账户最多 90 个经纪人。每个 ZooKeeper 模式集群 30 个代理。每个KRaft模式集群 60 个代理。要申请更高的配额,请前往 S ervice Quotas 控制台

  • 每个代理的最低存储空间为 1GiB。

  • 每个代理的最高存储空间为 16384GiB。

  • 在任何给定时间,使用的集群每个代理最多IAM访问控制可以有 3000 个TCP连接。要增加此限制,您可以使用 Kafka listener.name.client_iam.max.connectionskafka-configs.sh工具调整 AlterConfig API或listener.name.client_iam_public.max.connections配置属性。值得注意的是,将任一属性增加到较高的值都可能导致不可用。

  • 对TCP连接的限制。启用连接速率突发后,MSK允许每秒 100 个连接。唯一的例外是 kafka.t3.small 实例类型,在启用连接速率突发的情况下,允许每秒 4 个连接。未启用连接速率突发的较旧集群将在群集修补时自动启用该功能。

    要处理连接失败时的重试,可以在客户端设置 reconnect.backoff.ms 配置参数。例如,如果您希望客户端在 1 秒钟后重试连接,请将 reconnect.backoff.ms 设置为 1000。有关更多信息,请参阅 Apache Kafka 文档中的 reconnect.backoff.ms

  • 每个账户具有最多 100 项配置。要通过服务配额申请提高限额,请前往服务配额控制台

  • 每个配置最多 50 个版本。

  • 要更新MSK集群的配置或 Apache Kafka 版本,请首先确保每个代理的分区数低于中所述的限制。 调整集群的大小:每个代理的分区数量

MSK复制器配额

MSK无服务器配额

注意

如果您在配额限制方面遇到任何问题,请前往 S ervice Quotas 控制台

除非另有说明,否则限制按每个集群计算。
维度 限额 限额违规结果

最大入口吞吐量

200 MBps

减速,响应中提供节流持续时间

最大出口吞吐量 400 MBps

减速,响应中提供节流持续时间

最长保留期 无限制 不适用

最大客户端连接数

3000 连接关闭
最大连接尝试次数 每秒 100 个 连接关闭

最大消息大小

8 MB 请求失败,并显示 ErrorCode为:INVALID_ REQUEST
最大请求速率 每秒 15000 个 减速,响应中提供节流持续时间

主题管理APIs请求率的最大速率

每秒 2 个 减速,响应中提供节流持续时间

每次请求的最大获取字节数

55MB

请求失败,并显示 ErrorCode为:INVALID_ REQUEST

最大使用器组数

500 JoinGroup 请求失败
最大分区数(领导者) 非压缩主题为 2400。压缩主题为 120。要申请配额调整,请前往 AWS 控制台 Support Center 并创建支持案例 请求失败,并显示 ErrorCode为:INVALID_ REQUEST
分区创建和删除的最大速率 250(5 分钟) 请求失败,并 ErrorCode显示:THROUGHPUT_ QUOTA _ EXCEEDED

每个分区的最大入口吞吐量

5 MBps 减速,响应中提供节流持续时间

每个分区的最大出口吞吐量

10 MBps 减速,响应中提供节流持续时间

最大分区大小(压缩主题)

250GB 请求失败,并 ErrorCode显示:THROUGHPUT_ QUOTA _ EXCEEDED
每个无服务器集群的最大客户机VPCs数 5
每个账户的最大无服务器集群数量 10. 要申请调整配额,请前往 S ervice Quotas 控制台

MSKConnect 配额

  • 最高 100 个自定义插件。

  • 最高 100 个工作程序配置。

  • 最多 60 个连接工作线程。如果连接器设置为具有自动扩展容量,则该连接器设置的最大工作线程数为 MSK Connect 用来计算账户配额的数字。

  • 每个连接器最多 10 个工作程序。

要为 MSK Connect 申请更高的配额,请前往 S ervice Quotas 控制台