本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
Amazon EMR 在 EKS 6.13.0 版本上發布
本頁面說明 Amazon EKS 部署時專用EMR的新功能和更新功能。EMR有關 Amazon 在 Amazon 上EMR運行以EC2及有關 Amazon EMR 6.13.0 版本的詳細信息,請參閱 Amazon 發布指南中的 Amazon EMR 6.13.0。EMR
Amazon EMR EKS 6.13 版本
以下 Amazon EMR 6.13.0 版本可用於 Amazon EMR 上。EKS選取特定的 emr-6.13.0 XXXX 版本,以檢視更多詳細資料,例如相關的容器映像標記。
-
emr-6.13.0-spark-rapids-latest
-
emr-6.13.0-spark-rapids-20230814
-
emr-6.13.0-java11-latest
-
emr-6.13.0-java11-20230814
-
emr-6.13.0-java17-latest
-
emr-6.13.0-java17-20230814
-
emr-6.13.0-java17-al2023-latest
-
emr-6.13.0-java17-al2023-20230814
-
emr-6.13.0-spark-rapids-java17-latest
-
emr-6.13.0-spark-rapids-java17-20230814
-
emr-6.13.0-spark-rapids-java17-al2023-latest
-
emr-6.13.0-spark-rapids-java17-al2023-20230814
-
notebook-spark/emr-6.13.0-latest
-
notebook-spark/emr-6.13.0-20230814
-
notebook-spark/emr-6.13.0-spark-rapids-latest
-
notebook-spark/emr-6.13.0-spark-rapids-20230814
-
notebook-spark/emr-6.13.0-java11-latest
-
notebook-spark/emr-6.13.0-java11-20230814
-
notebook-spark/emr-6.13.0-java17-latest
-
notebook-spark/emr-6.13.0-java17-20230814
-
notebook-spark/emr-6.13.0-java17-al2023-latest
-
notebook-spark/emr-6.13.0-java17-al2023-20230814
-
notebook-python/emr-6.13.0-latest
-
notebook-python/emr-6.13.0-20230814
-
notebook-python/emr-6.13.0-spark-rapids-latest
-
notebook-python/emr-6.13.0-spark-rapids-20230814
-
notebook-python/emr-6.13.0-java11-latest
-
notebook-python/emr-6.13.0-java11-20230814
-
notebook-python/emr-6.13.0-java17-latest
-
notebook-python/emr-6.13.0-java17-20230814
-
notebook-python/emr-6.13.0-java17-al2023-latest
-
notebook-python/emr-6.13.0-java17-al2023-20230814
版本備註
Amazon EMR 在 EKS 6.13.0 上的發行公告
-
支持的應用程序‐ AWS SDK for Java 1.12.513, 阿帕奇星火 3.4.1-安贊 0, 阿帕奇胡迪 0.13.1-安贊 0, 阿帕奇冰山 1.3.0-安贊 0, 三角洲 2.4.0, 阿帕奇星火 23.06.0 和 1, 木星企業網關 2.6.0. RAPIDS
-
支援的元件 ‐
aws-sagemaker-spark-sdk
、emr-ddb
、emr-goodies
、emr-s3-select
、emrfs
、hadoop-client
、hudi
、hudi-spark
、iceberg
、spark-kubernetes
。 -
支援的組態分類
與和一起使StartJobRun用 CreateManagedEndpointAPIs:
分類 描述 core-site
變更
core-site.xml
Hadoop 檔案中的值。emrfs-site
變更EMRFS設定。
spark-metrics
變更
metrics.properties
Spark 檔案中的值。spark-defaults
變更
spark-defaults.conf
Spark 檔案中的值。spark-env
變更 Spark 環境中的值。
spark-hive-site
變更
hive-site.xml
Spark 檔案中的值。spark-log4j
變更
log4j2.properties
Spark 檔案中的值。emr-job-submitter
作業提交者 Pod 的組態。
專門用於 CreateManagedEndpointAPIs:
分類 描述 jeg-config
變更 Jupyter Enterprise Gateway
jupyter_enterprise_gateway_config.py
檔案中的值。jupyter-kernel-overrides
在 Jupyter 核心規格檔案中變更核心映像的值。
組態分類可讓您自訂應用程式。這些通常對應於應用程序的配置XML文件,例如
spark-hive-site.xml
。如需詳細資訊,請參閱設定應用程式。
值得注意的功能
Amazon EMR 6.13 版本包含以下功能。EKS
-
Amazon Linux 2023-隨著 Amazon EMR EKS 6.13 及更高版本,你可以推出星火與 AL2 023 作為操作系統與 Java 17 運行時一起。若要執行此操作,請在其名稱中搭配使用發行標籤與
al2023
。例如:emr-6.13.0-java17-al2023-latest
。建議您先驗證並執行效能測試,然後再將生產工作負載移至 AL2 023 和 Java 17。 -
Amazon EMR 上EKS與阿帕奇 Flink(公開預覽)-Amazon EMR 在 6.13 版和更高EKS版本支持阿帕奇 Flink,可在公開預覽。此次啟動後,您可以在同一個 Amazon EKS 叢集上執行 Apache Flink 應用程式以及其他類型的應用程式。這有助於提高資源使用率並簡化基礎設施管理。如果您已經在 Amazon 上執行大數據架構EKS,您現在可以讓 Amazon EMR 自動化佈建和管理。