互動端點概觀 - Amazon EMR

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

互動端點概觀

互動式端點為 Amazon EMR Studio 等互動式用戶端提供連線到EKS叢集EMR上的 Amazon 以執行互動式工作負載的功能。互動端點由 Jupyter Enterprise Gateway 提供支援,可提供互動式用戶端所需的遠端核心生命週期管理功能。核心是特定於語言的程序,可與以 Jupyter 為基礎的 Amazon EMR Studio 用戶端互動以執行互動式工作負載。

互動端點支援下列核心:

  • Python 3

  • PySpark 在庫伯尼特

  • 帶 Scala 的 Apache Spark

注意

Amazon 的EMR定EKS價適用於互動式端點和核心。如需詳細資訊,請參閱 Amazon EMR 的EKS定價頁面

EMR工作室需要以下實體與 Amazon 連EMR接EKS。

  • EKS虛擬叢集EMR上的 Amazon虛擬叢集是您向 Amazon 註冊的 Kubernetes 命名空間。EMRAmazon EMR 使用虛擬叢集執行任務和託管端點。可使用相同實體叢集來支援多個虛擬叢集。不過,每個虛擬叢集都會對應至 Amazon EKS 叢集上的一個命名空間。虛擬叢集不會建立任何增加帳單或需要在服務之外進行生命週期管理的作用中資源。

  • EKS互動式端點EMR上的 Amazon互動式端點是 EMR Studio 使用者可以連接工作區的HTTPS端點。您只能從EMR工作室存取HTTPS端點,並在 Amazon EKS 叢集的 Amazon 虛擬私有雲端 (AmazonVPC) 的私有子網路中建立端點。

    Python PySpark,和星火斯卡拉內核使用EKS任務執行角色 Amazon EMR 定義的許可來調用其他 AWS 服務。連線到互動端點的所有核心和使用者都會利用您在建立端點時指定的角色。建議您為不同的使用者建立個別的端點,並讓使用者擁有不同的 AWS Identity and Access Management (IAM) 角色。

  • AWS Ap@@ plication Load Balancer 器控制器AWS 應用程式負載平衡器控制器可管理 Amazon EKS Kubernetes 叢集的 Elastic Load Balancing。當您建立 Kubernetes Ingress 資源時,控制器會佈建 Application Load Balancer 器 (ALB)。在 Amazon EKS 群集之外,但在同一個 Amazon 內部ALB公開 Kubernetes 服務,例如交互式端點。VPC當您建立互動式端點時,也會部署 Ingress 資源,透過以ALB供互動式用戶端連線至的方式公開互動式端點。您只需為每個 Amazon EKS 叢集安裝一個 Ap AWS plication Load Balancer 器控制器。

下圖描述了在 Amazon EMR 上EKS的交互式端點架構。Amazon EKS 叢集包含用於執行分析工作負載的運互動式端點。Application Load Balancer 控制器會在 kube-system 命名空間中執行;工作負載和互動端點會在您建立虛擬叢集時指定的命名空間中執行。建立互動式端點時,Amazon EMR EKS 控制平面會在 Amazon EKS 叢集中建立互動式端點部署。此外,負載平衡器控制器會建立應用程式負載平衡器輸 AWS 入的執行個體。應用程式負載平衡器為像 EMR Studio 這樣的用戶端提供外部介面,以連接到 Amazon EMR 叢集並執行互動式工作負載。

互動端點架構圖