本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
Amazon EMR 在 EKS 6.10.0 版本上發布
以下 Amazon EMR 6.10.0 版本可用於 Amazon EMR 上。EKS選取特定的 emr-6.10.0 XXXX 版本,以檢視更多詳細資料,例如相關的容器映像標記。
-
電腦 -6.10.0-spark-rapids-latest
-
emr-6.10.0-spark-rapids-20230624
-
emr-6.10.0-spark-rapids-20230220
-
emr-6.10.0-java11-latest
-
emr-6.10.0-java11-20230624
-
emr-6.10.0-java11-20230220
-
notebook-spark/emr-6.10.0-latest
-
notebook-spark/emr-6.10.0-20230624
-
notebook-spark/emr-6.10.0-20230220
-
notebook-python/emr-6.10.0-latest
-
notebook-python/emr-6.10.0-20230624
-
notebook-python/emr-6.10.0-20230220
Amazon EMR 6.10.0 版的發行公告
-
支持的應用程序- AWS SDK for Java 1.12.397,星火 3.3.1-安培 -0,胡迪 0.12.2-安鋅 -0,冰山 1.1.0-安贊 -0,三角洲 2.2.0。
-
支援的元件 ‐
aws-sagemaker-spark-sdk
、emr-ddb
、emr-goodies
、emr-s3-select
、emrfs
、hadoop-client
、hudi
、hudi-spark
、iceberg
、spark-kubernetes
。 -
支援的組態分類:
與和一起使StartJobRun用 CreateManagedEndpointAPIs:
分類 描述 core-site
變更 Hadoop
core-site.xml
檔案中的值。emrfs-site
變更EMRFS設定。
spark-metrics
變更 Spark
metrics.properties
檔案中的值。spark-defaults
變更 Spark
spark-defaults.conf
檔案中的值。spark-env
變更 Spark 環境中的值。
spark-hive-site
變更 Spark
hive-site.xml
檔案中的值。spark-log4j
變更 Spark
log4j.properties
檔案中的值。專門用於 CreateManagedEndpointAPIs:
分類 描述 jeg-config
變更 Jupyter Enterprise Gateway
jupyter_enterprise_gateway_config.py
檔案中的值。jupyter-kernel-overrides
在 Jupyter 核心規格檔案中變更核心映像的值。
組態分類可讓您自訂應用程式。這些通常對應於應用程序的配置XML文件,例如
spark-hive-site.xml
。如需詳細資訊,請參閱設定應用程式。
值得注意的功能
-
星火運算子-使用 EKS 6.10.0 及更高EMR版本的 AmazonEMR,您可以使用 Apache Spark 的 Kubernetes 運算子或 S park 運算子,在您自己的 Amazon 叢集上部署和管理 Spark 應用程式。EKS如需詳細資訊,請參閱使用 Spark Operator 執行 Spark 作業。
-
Java 11-隨著 EKS 6.10 及更高版本的 AmazonEMR,您可以使用 Java 11 運行時啟動星火。為此,將
emr-6.10.0-java11-latest
作為版本標籤進行傳遞。建議您先驗證並執行效能測試,然後再將生產工作負載從 Java 8 映像移至 Java 11 映像。 -
對於阿帕奇星火 Amazon Redshift 集成,Amazon EKS 6.10.0 EMR 上刪除了依賴關係
minimal-json.jar
,並自動將所需的spark-redshift
相關罐子添加到 Spark 的執行程序類路徑:spark-redshift.jar
,和。spark-avro.jar
RedshiftJDBC.jar
變更
-
EMRFSS3 優化的提交者現在默認情況下為實木複合地板和基於文本的格式(包ORC括和)啟用。CSV JSON