選擇自動擴展方法

彈性是使用 Amazon EMR 的主要優點之一。有兩種主要選項可自動擴展您的資源：

• 受管擴展

• 自訂擴展政策

透過受管擴展或自訂自動擴展政策，您可以向內擴展和向外擴展節點，以便只使用所需的資源。當您需要更多容量時，擴展用於新增更多資源。擴展會移除未使用的資源，進而產生成本效益。在 Amazon EMR 服務中，Amazon CloudWatch 指標會啟用以監控您的資源，讓您可以擴展叢集。CloudWatch 每 5 分鐘會擷取一次資料點。

每個自動擴展方法都有不同的考量。

Amazon EMR 受管擴展功能

如果您的工作負載符合下列條件，請使用 EMR 受管擴展：

• 需要受管體驗。

• 使用 Amazon EMR 5.330 或更新版本。

• 您需要 1 分鐘的評估頻率。

• 解決方案會使用執行個體機群，在 1 到 5 個執行個體選項之間擁有 。

• 應用程式是以 Apache Spark、Apache Hive 或 Apache Hadoop YARN 為基礎。

自訂自動擴展

如果您的工作負載符合下列條件，請使用自訂自動擴展政策：

• 您必須控制擴展的指標。

• 使用 Amazon EMR 4.0+。

• 不需要高評估頻率。

• 不需要控制連續調整大小之間的冷卻時間。

• 請務必控制擴展時要新增或移除的執行個體數量。

• 解決方案需要自訂擴展動作。例如，您可能想要在一個 5 分鐘的期間內擴展多個節點。或者，您可能想要調整冷卻時間。

• 在執行個體群組中使用不同的即時類型沒有限制。

將自動擴展新增至叢集的提示

• 請注意您將處理的資料量。使用資料大小最大的案例進行預測。

• 正確調整叢集的大小。

• 選擇符合您需求的儲存類型。

• 了解 Amazon EMR 叢集的指標。

• 了解如何判斷擴展叢集的正確指標。

• 決定您是否將使用 Spot 執行個體、統一執行個體群組或執行個體機群。

• 根據資訊和限制，決定您偏好的擴展方法類型、Amazon EMR 受管擴展或自訂自動擴展政策。

• 設定受管擴展或自訂政策。

• 如果您選擇自訂自動擴展政策，請監控 Amazon EMR 指標來調校政策的閾值。