使用 Presto 自動擴展搭配逐漸除役 - Amazon EMR

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

使用 Presto 自動擴展搭配逐漸除役

Amazon EMR5.30.0 版及更新版本包含功能,可用於設定特定擴展動作的寬限期。寬限期間允許 Presto 任務在因縮減規模動作或自動擴展政策請求而導致節點終止之前繼續執行。如需擴展規則的詳細資訊,請參閱 Amazon EMR管理指南 中的了解自動擴展規則。搭配使用 Presto 自動擴展與逐漸除役,可防止在除役的節點上排程新任務,同時可讓執行中任務在達到關機逾時之前完成。正在執行的查詢將在節點解除委任之前完成執行。執行個體機群不支援自動擴展。

您可以控制在收到自動擴展關機請求以後,允許 Presto 任務完成的時間。依預設,Amazon 的關閉逾時EMR為 0 分鐘,這表示 Amazon 會EMR立即終止節點,以及任何在節點上執行的 Presto 任務,如果需要縮減請求。若要為 Amazon 上的 Presto 任務設定較長的逾時EMR,以允許在縮減叢集之前完成執行查詢,請使用presto-config組態分類,以秒或分鐘為單位將graceful-shutdown-timeout參數設定為大於零的值。如需詳細資訊,請參閱設定應用程式

例如,增加 graceful-shutdown-timeout 值至 "30m" 可指定逾時期間為 30 分鐘。關機逾時期間結束後,如果標記為要除役的節點仍在等待查詢工作完成,則此時查詢若是失敗,系統會強制終止此節點。如果查詢任務在五分鐘內完成,標示為停用的節點會在五分鐘內終止,前提是其他YARN應用程式已完成執行。

範例:搭配逐漸除役使用的 Presto 自動擴展組態

graceful-shutdown-timeout 值取代為適合您安裝程式的分鐘數。沒有最大數值。下面範例將逾時值設定為 1800 秒 (30 分鐘)。

[ { "classification": "presto-config", "properties": { "graceful-shutdown-timeout": "1800s" } } ]

限制

PrestoDB Graceful Decommission 不適用於停用HTTP連線的EMR叢集,例如http-server.http.enabled將 設為 時false。不管 http-server.http.enabled 設定為何,Trino 始終不支援逐漸除役。