本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
使用叢集擴展
您可以自動或手動調整 Amazon EMR 叢集可用的 Amazon EC2 執行個體數量,以回應需求不同的工作負載。若要使用自動擴展,您可以選擇兩個方法進行。您可以啟用 Amazon EMR 受管擴展或建立自訂自動擴展政策。下表說明這兩個選項之間的差異。
Amazon EMR 託管擴展 | 自訂自動擴展 | |
---|---|---|
擴展政策和規則 |
無任何必要政策。Amazon 透過持續評估叢集指標並做出最佳化的擴展決策來EMR管理自動擴展活動。 |
您需要定義和管理自動擴展政策和規則,例如可觸發擴展活動、評估期間、冷卻期間等特定條件。 |
支援 Amazon EMR 版本 |
Amazon EMR 版本 5.30.0 及更高版本(Amazon 6.0.0 EMR 版除外) |
Amazon 4. EMR 0.0 及更高版本 |
支援的叢集組成 |
執行個體群組或執行個體機群 |
限執行個體群組 |
擴展限制設定 |
可對整個叢集設定擴展限制。 |
只能對個別執行個體群組設定擴展限制。 |
指標評估頻率 |
每 5 秒至 10 秒一次 更頻繁的指標評估可讓 Amazon EMR 做出更精確的擴展決策。 |
評估期間的增量限定為五分鐘。 |
支援的應用程式 |
只支持YARN應用程序,如星火,Hadoop 的,蜂巢,FLINK。Amazon EMR 受管擴展不支援非基礎的應用程式YARN,例如 Presto 或HBase. |
在定義自動擴展規則時,您可以選擇支援哪些應用程式。 |
考量事項
-
Amazon EMR 叢集始終包含一個或三個主要節點。初始設定叢集之後,只能擴展核心節點和任務節點。無法擴展叢集的主節點數量。
-
對於執行個體群組,重新設定操作和調整大小操作會連續出現,但不會同時出現。如果在執行個體群組正調整大小時啟動重新設定,則重新設定會在執行個體群組完成正在進行的調整大小後啟動。反之,如果在執行個體群組進行重新設定時啟動調整大小操作,亦是如此。