使用叢集擴展 - Amazon EMR

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

使用叢集擴展

您可以自動或手動調整 Amazon EMR 叢集可用的 Amazon EC2 執行個體數量,以回應需求不同的工作負載。若要使用自動擴展,您可以選擇兩個方法進行。您可以啟用 Amazon EMR 受管擴展或建立自訂自動擴展政策。下表說明這兩個選項之間的差異。

Amazon EMR 託管擴展 自訂自動擴展

擴展政策和規則

無任何必要政策。Amazon 透過持續評估叢集指標並做出最佳化的擴展決策來EMR管理自動擴展活動。

您需要定義和管理自動擴展政策和規則,例如可觸發擴展活動、評估期間、冷卻期間等特定條件。

支援 Amazon EMR 版本

Amazon EMR 版本 5.30.0 及更高版本(Amazon 6.0.0 EMR 版除外)

Amazon 4. EMR 0.0 及更高版本

支援的叢集組成

執行個體群組或執行個體機群

限執行個體群組

擴展限制設定

可對整個叢集設定擴展限制。

只能對個別執行個體群組設定擴展限制。

指標評估頻率

每 5 秒至 10 秒一次

更頻繁的指標評估可讓 Amazon EMR 做出更精確的擴展決策。

評估期間的增量限定為五分鐘。

支援的應用程式

只支持YARN應用程序,如星火,Hadoop 的,蜂巢,FLINK。Amazon EMR 受管擴展不支援非基礎的應用程式YARN,例如 Presto 或HBase.

在定義自動擴展規則時,您可以選擇支援哪些應用程式。

考量事項

  • Amazon EMR 叢集始終包含一個或三個主要節點。初始設定叢集之後,只能擴展核心節點和任務節點。無法擴展叢集的主節點數量。

  • 對於執行個體群組,重新設定操作和調整大小操作會連續出現,但不會同時出現。如果在執行個體群組正調整大小時啟動重新設定,則重新設定會在執行個體群組完成正在進行的調整大小後啟動。反之,如果在執行個體群組進行重新設定時啟動調整大小操作,亦是如此。