什麼是 Amazon EMR on EKS? - Amazon EMR

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

什麼是 Amazon EMR on EKS?

Amazon EMR on EKS 為 Amazon EMR 提供了一個部署選項,可讓您在 Amazon Elastic Kubernetes Service (Amazon EKS) 上執行開放原始碼大數據框架。使用此部署選項,您可以專注於執行分析工作負載,同時 Amazon EMR on EKS 可為開放原始碼應用程式建置、設定和管理容器。

如果您已經使用 Amazon EMR,現在可以在相同的 Amazon EKS 叢集上執行 Amazon EMR 型應用程式和其他類型的應用程式。此部署選項還可改善資源使用率,並簡化多個可用區域的基礎設施管理。如果已經在 Amazon EKS 上執行大數據框架,現在就可以使用 Amazon EMR 來自動化佈建和管理,並更快速地執行 Apache Spark。

Amazon EMR on EKS 可讓您的團隊更有效地協作,以更輕鬆且符合成本效益的方式來處理相當大量的資料:

  • 可以在通用資源集區上執行應用程式,而不必佈建基礎設施。可以使用 Amazon EMR Studio 和 AWS SDK 或者 AWS CLI 來開發、提交和診斷在 EKS 叢集上執行的分析應用程式。可以使用自我管理的 Apache Airflow 或 Amazon Managed Workflows for Apache Airflow (MWAA),在 Amazon EMR 上執行排程作業。

  • 基礎設施團隊可以集中管理通用運算平台,將 Amazon EMR 工作負載與其他容器型應用程式合併。可以使用常用的 Amazon EKS 工具簡化基礎設施管理,並利用共用叢集來處理需要不同版本開放原始碼框架的工作負載。也可以透過自動化 Kubernetes 叢集管理和作業系統修補來減少營運成本。使用 Amazon EC2 和 AWS Fargate,可以啟用多個運算資源,以滿足效能、營運或財務需求。

下圖表示 Amazon EMR 的兩種不同部署模型。

Amazon EMR 部署選項