設定叢集硬體和聯網 - Amazon EMR

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

設定叢集硬體和聯網

建立 Amazon EMR 叢集時的一個重要考量因素是如何設定 Amazon EC2 執行個體和網路選項。本章涵蓋下列選項,並提供這些選項的最佳實務和指導方針

  • 節點類型 — EMR 叢集中的 Amazon EC2 執行個體會組織成節點類型。類型有三種:主節點核心節點任務節點。每個節點類型會執行一組在叢集上安裝的分散式應用程式所定義的角色。例如,在 Hadoop MapReduce 或 Spark 任務期間,核心和任務節點上的元件會處理資料、將輸出傳輸到 Amazon S3HDFS,或將狀態中繼資料提供回主節點。有了單一節點叢集,所有元件會在主節點上執行。如需詳細資訊,請參閱了解節點類型:主節點、核心節點和任務節點

  • EC2執行個體 — 建立叢集時,您可以選擇每種節點類型將在其上EC2執行的 Amazon 執行個體。EC2執行個體類型決定節點的處理和儲存設定檔。您的節點選擇 Amazon EC2 執行個體非常重要,因為它會決定叢集中個別節點類型的效能設定檔。如需詳細資訊,請參閱設定 Amazon EC2 執行個體類型以搭配 Amazon 使用 EMR

  • 網路 — 您可以使用公有子網路、私有子網路或共VPC用子網路將 Amazon EMR 叢集啟動到。您的網路組態決定了客戶和服務如何連接到叢集以執行工作、叢集如何連接至資料存放區以及其他 AWS 資源,以及控制這些連線流量的選項。如需詳細資訊,請參閱在 Amazon 中配VPC置聯網 EMR

  • 執行個體群組 — 主控每個節點類型的EC2執行個體集合稱為執行個體叢集或統一執行個體群組。您可以在建立叢集時選擇執行個體分組組態。此選項確定如何在叢集執行時將節點新增至叢集。此組態適用於所有節點類型。您無法在稍後進行變更。如需詳細資訊,請參閱使用執行個體機群或統一執行個體群組建立叢集

    注意

    執行個體叢集組態僅適用於 Amazon 4.8.0 及更EMR新版本,不包括 5.0.0 和 5.0.3 版本。