EKS 上的 Amazon EMR - Amazon EMR

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

EKS 上的 Amazon EMR

EKS 上的 Amazon EMR 為 Amazon EMR 提供了一個部署選項,允許您在亞馬遜彈性庫伯奈特斯服務 (Amazon EKS) 上運行開源大數據框架。使用此部署選項,您可以專注於運行分析工作負載,同時 Amazon EMR on EKS 構建、配置和管理開源應用程序的容器。

如果您已經使用 Amazon EMR,則現在可以在同一 Amazon EKS 羣集上運行基於 Amazon EMR 的應用程序和其他類型的應用程序。此部署選項還可提高資源利用率並簡化跨多個可用區的基礎架構管理。如果您已在 Amazon EKS 上運行大數據框架,您現在可以使用 Amazon EMR 自動配置和管理,並更快地運行 Apache Spark。

Amazon EMR 可讓您的團隊更有效地協作,並更輕鬆地以符合成本效益的方式來處理相當大量的資料:

  • 您可以在公用資源池上運行應用程序,而無需配置基礎架構。您可以使用Amazon EMR Studio與AWS開發套件或AWS CLI開發、提交和診斷在 EKS 羣集上運行的分析應用程序。您可以使用自我管理的 Apache Airflow 或 Apache Airflow (MWA) 在 Amazon EMR 上執行任務。

  • 基礎架構團隊可以集中管理通用計算平台,將 Amazon EMR 工作負載與其他基於容器的應用程序整合起來。您可以使用常用 Amazon EKS 工具簡化基礎架構管理,並利用共享羣集來處理需要不同版本的開源框架的工作負載。您還可以通過自動化 Kubernetes 羣集管理和操作系統修補來減少運營開銷。使用 Amazon EC2 和AWS Fargate,您可以啟用多個計算資源來滿足性能、運營或財務要求。

下圖顯示 Amazon EMR 的兩種不同部署模式。


   Amazon EMR 部署選項