Amazon MSK 配額 - Amazon Managed Streaming for Apache Kafka

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

Amazon MSK 配額

您的 AWS 帳戶具有 Amazon 的預設配額MSK。除非另有說明,否則每個帳戶的每個配額都是您帳戶中的區域特定。 AWS

Amazon MSK 配額

  • 每個帳戶最多 90 個經紀人。每個 ZooKeeper 模式集群 30 經紀人。KRaft若要要求更高的配額,請前往 Ser vice Quotas 主控台

  • 每個代理程式至少 1 GiB 的儲存空間。

  • 每個代理程式最多 16384 GiB 的儲存空間。

  • 使用的叢集在任何指定時間,每個代理程式最多IAM存取控制可擁有 3000 個TCP連線。若要增加此限制,您可以使用 Kafka listener.name.client_iam.max.connections 或工具調整 AlterConfig API或listener.name.client_iam_public.max.connections組態屬性。kafka-configs.sh請務必注意,將任一屬性值提高可能會導致無法使用。

  • TCP連線限制。啟用連線速率突發時,MSK允許每秒 100 個連線。kafka.t3.small 執行個體類型為例外,允許每秒 4 個連線,且啟用連線速率突增。未啟用連線速率突發的較舊叢集會在修補叢集時自動啟用此功能。

    若要處理失敗連線的重試,您可在用戶端設定 reconnect.backoff.ms 組態參數。例如,若您要讓用戶端在 1 秒後重試連線,請將 reconnect.backoff.ms 設為 1000。如需詳細資訊,請參閱 Apache Kafka 文件中的 reconnect.backoff.ms

  • 每個帳戶最多 100 個組態。若要透過「Service Quotas」要求提高限制,請前往「Service Quotas」主控台

  • 每個組態最多 50 個修訂版本。

  • 若要更新MSK叢集的組態或 Apache Kafka 版本,請先確定每個代理程式的分割區數目不超過中所述的限制。 適當調整叢集大小:每個代理程式的分區數量

MSK複製器配額

  • 每個帳戶最多可容納 15 個MSK複製器。

  • MSK複製器最多只能以排序順序複製 750 個主題。如果您需要複製更多主題,建議您建立個別的複寫器。如果您需要每個複寫器超過 750 個主題的支援,請前往 Service Quotas 主控台。您可以使用 "TopicCount" 測量結果監督複製的主題數目。

  • 每個複製器的最大輸入輸送量為每MSK秒 1GB。透過 Service Quotas 主控台要求更高的配額

  • MSK複製器記錄大小-最大 10MB 的記錄大小 (訊息 .max. 位元組)。透過 Service Quotas 主控台要求更高的配額

MSK無伺服器配額

注意

如果您在服務配額限制方面遇到任何問題,請根據您的使用案例和要求的限制建立支援案例。

除非另有說明,否則限制的適用單位為每個叢集。
維度 配額 配額違反結果

傳入輸送量上限

200 MBps

回應變慢,遭遇限流

傳出輸送量上限 400 MBps

回應變慢,遭遇限流

保留期間上限 無限制 N/A

用戶端連線數上限

3000 連線關閉
連線嘗試次數上限 每秒 100 次 連線關閉

訊息大小上限

8 MB 請求失敗,顯示 ErrorCode:INVALID_ REQUEST
請求速率上限 每秒 15,000 個 回應變慢,遭遇限流

主題管理APIs請求率上限

每秒 2 個 回應變慢,遭遇限流

每個請求的擷取位元組數上限

55 MB

請求失敗,顯示 ErrorCode:INVALID_ REQUEST

取用者群組數上限

500 JoinGroup 請求失敗
最大分割區數目 (引線) 非壓縮主題為 2400 個;壓縮主題為 120 個。若要請求調整服務配額,請根據您的使用案例和要求的限制建立支援案例。 請求失敗,顯示 ErrorCode:INVALID_ REQUEST
分區建立和刪除速率上限 5 分鐘 250 個 請求失敗,顯示 ErrorCode:THROUGHPUT_ QUOTA _ EXCEEDED

每個分區的傳入輸送量上限

5 MBps 回應變慢,遭遇限流

每個分區的傳出輸送量上限

10 MBps 回應變慢,遭遇限流

分區大小上限 (適用於壓縮主題)

250 GB 請求失敗,顯示 ErrorCode:THROUGHPUT_ QUOTA _ EXCEEDED
每個無伺服器叢集的用戶端VPCs數目上限 5
每個帳戶的無伺服器叢集數量上限 10. 若要請求調整服務配額,請根據您的使用案例和要求的限制建立支援案例。

MSKConnect 配額

  • 最高 100 個自訂外掛程式。

  • 最高 100 個工作程序組態。

  • 最高 60 個連線工作程序。如果連接器設定為具有 auto 擴充容量,則連接器設定的最大 Worker 數目為 MSK Connect 用來計算帳戶配額的數目。

  • 每個連接器最多 10 個工作程序。

若要要求更高的 MSK Connect 配額,請前往 Ser vice Quotas 主控台