Amazon EMR on EKS 7.1.0 版本 - Amazon EMR

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

Amazon EMR on EKS 7.1.0 版本

此頁面說明EMREKS部署中 Amazon EMR 特有的 Amazon 新功能和更新功能。如需在 Amazon EMR上執行的 Amazon EC2和一般 Amazon EMR 7.1.0 版本的詳細資訊,請參閱 Amazon EMR版本指南 中的 Amazon EMR7.1.0

Amazon EMR on EKS 7.1 版本

下列 Amazon EMR 7.1.0 版本可在 EMR上供 Amazon 使用EKS。選取特定的 emr-7.1.0 XXXX版本,以檢視更多詳細資料,例如相關的容器映像標籤。

Flink releases

當您執行 Flink 應用程式EKS時,下列 Amazon EMR 7.1.0 版本可供 EMR 上的 Amazon 使用。

Spark releases

當您執行 Spark 應用程式EKS時,下列 Amazon EMR 7.1.0 版本可供 EMR 上的 Amazon 使用。

  • emr-7.1.0-latest

  • emr-7.1.0-20240321

  • emr-7.1.0-spark-rapids-latest

  • emr-7.1.0-spark-rapids-20240321

  • emr-7.1.0-java11-latest

  • emr-7.1.0-java11-20240321

  • emr-7.1.0-java8-latest

  • emr-7.1.0-java8-20240321

  • emr-7.1.0-spark-rapids-java8-latest

  • emr-7.1.0-spark-rapids-java8-20240321

  • notebook-spark/emr-7.1.0-latest

  • notebook-spark/emr-7.1.0-20240321

  • notebook-spark/emr-7.1.0-spark-rapids-latest

  • notebook-spark/emr-7.1.0-spark-rapids-20240321

  • notebook-spark/emr-7.1.0-java11-latest

  • notebook-spark/emr-7.1.0-java11-20240321

  • notebook-spark/emr-7.1.0-java8-latest

  • notebook-spark/emr-7.1.0-java8-20240321

  • notebook-spark/emr-7.1.0-spark-rapids-java8-latest

  • notebook-spark/emr-7.1.0-spark-rapids-java8-20240321

  • notebook-python/emr-7.1.0-latest

  • notebook-python/emr-7.1.0-20240321

  • notebook-python/emr-7.1.0-spark-rapids-latest

  • notebook-python/emr-7.1.0-spark-rapids-20240321

  • notebook-python/emr-7.1.0-java11-latest

  • notebook-python/emr-7.1.0-java11-20240321

  • notebook-python/emr-7.1.0-java8-latest

  • notebook-python/emr-7.1.0-java8-20240321

  • notebook-python/emr-7.1.0-spark-rapids-java8-latest

  • notebook-python/emr-7.1.0-spark-rapids-java8-20240321

  • livy/emr-7.1.0-latest

  • livy/emr-7.1.0-20240321

  • livy/emr-7.1.0-java11-latest

  • livy/emr-7.1.0-java11-20240321

  • livy/emr-7.1.0-java8-latest

  • livy/emr-7.1.0-java8-20240321

版本備註

Amazon EMR on 7.1.0 EKS 的版本備註

  • 支援的應用程式 ‐ AWS SDK for Java 2.23.18 and 1.12.656, Apache Spark 3.5.0-amzn-1, Apache Hudi 0.14.1-amzn-0, Apache Iceberg 1.4.3-amzn-0, Delta 3.0.0, Apache Spark RAPIDS 23.10.0-amzn-1, Jupyter Enterprise Gateway 2.6.0, Apache Flink 1.18.1-amzn-0, Flink Operator 1.6.1-amzn-1

  • 支援的元件aws-sagemaker-spark-sdkemr-ddbemr-goodiesemr-s3-selectemrfshadoop-clienthudihudi-sparkicebergspark-kubernetes

  • 支援的組態分類

    搭配 StartJobRun CreateManagedEndpoint 使用APIs:

    分類 描述

    core-site

    變更 core-site.xml Hadoop 檔案中的值。

    emrfs-site

    變更EMRFS設定。

    spark-metrics

    變更 metrics.properties Spark 檔案中的值。

    spark-defaults

    變更 spark-defaults.conf Spark 檔案中的值。

    spark-env

    變更 Spark 環境中的值。

    spark-hive-site

    變更 hive-site.xml Spark 檔案中的值。

    spark-log4j2

    變更 log4j2.properties Spark 檔案中的值。

    emr-job-submitter

    作業提交者 Pod 的組態。

    專門與 CreateManagedEndpoint 搭配使用APIs:

    分類 描述

    jeg-config

    變更 Jupyter Enterprise Gateway jupyter_enterprise_gateway_config.py 檔案中的值。

    jupyter-kernel-overrides

    在 Jupyter 核心規格檔案中變更核心映像的值。

    組態分類可讓您自訂應用程式。這些檔案通常對應於應用程式的組態XML檔案,例如 spark-hive-site.xml。如需詳細資訊,請參閱設定應用程式

值得注意的功能

下列功能包含在 Amazon 的 7.1.0 版本EMR中EKS。

  • Amazon EMR on 的 Apache Livy 支援 EKS – 在 Amazon EMR on release 7.1.0 和更新EKS版本中,您可以在 Amazon EKS叢集上使用 Apache Livy 來建立 Apache Livy REST 介面,以提交 Spark 任務或 Spark 程式碼片段。這樣做可讓您以同步和非同步方式擷取結果,同時仍然利用 Amazon EMR EKS的優勢,例如 Amazon EMR最佳化 Spark 執行期、啟用 SSL的 Livy 端點,以及程式設計設定體驗。