亚马逊EMR在 EKS 6.3.0 版本上 - Amazon EMR

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

亚马逊EMR在 EKS 6.3.0 版本上

以下亚马逊 EMR 6.3.0 版本可在亚马逊EMR上EKS使用。选择特定的 emr-6.3.0 XXXX 版本以查看更多详细信息,例如相关的容器镜像标签。

亚马逊 EMR 6.3.0 版本说明

  • 新功能——从 6.x 版本系列中的亚马逊 EMR 6.3.0 开始,Amazon EMR on EKS 支持 Spark 的 pod 模板功能。您也可以开启亚马逊EMR的 Spark 事件日志轮换功能EKS。有关更多信息,请参阅使用 Pod 模板使用 Spark 事件日志轮替

  • 受支持的应用程序 - Spark 3.1.1-amzn-0、Jupyter Enterprise Gateway(终端节点,公共预览版)。

  • 受支持的组件 – aws-hm-client(Glue 连接器)、aws-sagemaker-spark-sdkemr-s3-selectemrfsemr-ddbhudi-spark

  • 受支持的配置分类:

    分类 描述

    core-site

    更改 Hadoop 的 core-site.xml 文件中的值。

    emrfs-site

    更改EMRFS设置。

    spark-metrics

    更改 Spark 的 metrics.properties 文件中的值。

    spark-defaults

    更改 Spark 的 spark-defaults.conf 文件中的值。

    spark-env

    更改 Spark 环境中的值。

    spark-hive-site

    更改 Spark 的 hive-site.xml 文件中的值。

    spark-log4j

    更改 Spark 的 log4j.properties 文件中的值。

    配置分类允许您自定义应用程序。它们通常对应于应用程序的配置XML文件,例如 spark-hive-site .xml。有关更多信息,请参阅配置应用程序