自動調整規模 - Amazon Managed Streaming for Apache Kafka

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

自動調整規模

若要自動擴充叢集儲存容量以因應增加的使用量,您可以為 Amazon MSK 設定應用程式自動擴展政策。在自動擴展政策中,您可以設定目標磁碟使用率和最大擴展容量。

在對 Amazon MSK 使用自動擴展之前,應考慮以下事項:

  • 重要

    儲存擴展動作只能每六小時執行一次。

    我們建議您根據自己的儲存需求,從適當調整儲存磁碟區的大小開始。如需有關適當調整叢集大小的指引,請參閱適當調整叢集大小:每個叢集的代理程式數量

  • Amazon MSK 不會為因為使用量的降低而減少叢集儲存容量。Amazon MSK 不支援降低儲存磁碟區的大小。如果您需要降低叢集儲存的大小,則必須將現有叢集遷移至儲存容量較小的叢集。如需有關遷移叢集的相關資訊,請參閱遷移

  • Amazon MSK 不支援在亞太區域 (大阪) 和非洲 (開普敦) 區域使用自動縮減功能。

  • 當您將 auto-scaling 政策與叢集建立關聯時,Amazon EC2 Auto Scaling 會自動建立用於目標追蹤的 Amazon CloudWatch 警示。如果您使用 auto-scaling 政策刪除叢集,此 CloudWatch 警示仍會持續存在。若要刪除 CloudWatch 警示,您應該先從叢集移除 auto-scaling 政策,然後再刪除叢集。若要進一步了解目標追蹤,請參閱 Amazon EC2 Auto Scaling User Guide 中的 Target tracking scaling policies for Amazon EC2 Auto Scaling

自動擴展政策詳細資訊

自動擴展政策會為叢集定義下列參數:

  • 儲存使用率目標:Amazon MSK 用來觸發自動擴展操作的儲存使用率閾值。您可以將使用率目標設定為目前儲存容量的 10% 到 80% 之間。建議您將儲存使用率目標設為 50% 到 60% 之間。

  • 儲存容量上限:Amazon MSK 可為代理程式儲存容量設定的擴展上限。您可以將每個代理程式的儲存容量上限設為 16 TiB。如需詳細資訊,請參閱 Amazon MSK 配額

當 Amazon MSK 偵測到 Maximum Disk Utilization 指標等於或大於 Storage Utilization Target 設定值時,它增加的儲存容量等於兩個數字中的較大者:10 GiB 或目前儲存容量的 10%。例如,如果您有 1000 GiB,則該增加容量為 100 GiB。此服務會每分鐘檢查儲存使用率。進一步擴展操作會持續增加儲存容量,增加容量等於兩個數字中的較大者:10 GiB 或目前儲存容量的 10%。

若要判斷是否已發生 auto-scaling 作業,請使用此 ListClusterOperations作業。

為 Amazon MSK 叢集設定自動擴展

您可以使用 Amazon MSK 主控台、Amazon MSK API,或 AWS CloudFormation 為儲存實作自動擴展。 CloudFormation 支持可通過Application Auto Scaling

注意

您無法在建立叢集時實作自動擴展。您必須先建立叢集,然後為叢集建立並啟用自動擴展政策。不過,您可以在 Amazon MSK 服務建立叢集時建立該政策。

使用 AWS Management Console設定自動擴展

  1. 登入 AWS Management Console,然後開啟 Amazon MSK 主控台,網址為 https://console.aws.amazon.com/msk/home?region=us-east-1#/home/

  2. 在叢集清單中選擇叢集。這會帶您前往列出叢集詳細資訊的頁面。

  3. 針對儲存自動擴展區段,選擇設定

  4. 建立自動擴展政策並為其命名。指定儲存使用率目標、儲存容量上限以及目標指標。

  5. 選擇 Save changes

儲存並啟用新政策後,該政策對該叢集會變為作用中狀態。接著,Amazon MSK 會在達到儲存使用率目標時擴充叢集的儲存容量。

使用 CLI 設定自動擴展

  1. 使用命 RegisterScalableTarget令註冊儲存區使用率目標。

  2. 使用命 PutScalingPolicy令建立自動擴充原則。

使用 API 設定自動擴展

  1. 使用 RegisterScalableTargetAPI 註冊儲存使用率目標。

  2. 使用 PutScalingPolicyAPI 建立自動擴充原則。