Amazon EMR on EKS 6.8.0 版 - Amazon EMR

Amazon EMR on EKS 6.8.0 版

以下 Amazon EMR 6.8.0 版本可用於 Amazon EMR on EKS。選取特定的 emr-6.8.0-XXXX 版本，以檢視更多詳細資訊，例如相關的容器映像標籤。

Amazon EMR on EKS 6.8.0 的版本資訊

  • 支援的應用程式 - AWS SDK for Java 1.12.170、Spark 3.3.0-amzn-0、Hudi 0.11.1-amzn-0、Iceberg 0.14.0-amzn-0。

  • 支援的元件 ‐ aws-sagemaker-spark-sdk、emr-ddb、emr-goodies、emr-s3-select、emrfs、hadoop-client、hudi、hudi-spark、iceberg、spark-kubernetes。

  • 支援的組態分類：

    分類 描述

    core-site

    變更 Hadoop 的 core-site.xml 檔案中的值。

    emrfs-site

    變更 EMRFS 設定。

    spark-metrics

    變更 Spark 中 metrics.properties 檔案的值。

    spark-defaults

    變更 Spark 的 spark-defaults.conf 檔案中的值。

    spark-env

    變更 Spark 環境中的值。

    spark-hive-site

    變更 Spark 的 hive-site.xml 檔案中的值

    spark-log4j

    變更 Spark 中 log4j.properties 檔案的值。

    組態分類可讓您自訂應用程式。這些檔案通常對應於應用程式的組態 XML 檔案，例如 spark-hive-site.xml。如需詳細資訊，請參閱設定應用程式。

值得注意的功能

  • Spark3.3.0 ‐ Amazon EMR on EKS 6.8 包含 Spark 3.3.0，它支援為 Spark 驅動程式執行程式 Pod 使用不同的節點選取器標籤。這些新標籤可讓您在 StartJobRun API 中單獨定義驅動程式和執行程式 Pod 的節點類型，而無需使用 Pod 範本。

    • 驅動程式節點選取器屬性：spark.kubernetes.driver.node.selector.[labelKey]

    • 執行程式節點選取器屬性：spark.kubernetes.executor.node.selector.[labelKey]

  • 增強的作業失敗訊息 - 此版本引入了 spark.stage.extraDetailsOnFetchFailures.enabled 和 spark.stage.extraDetailsOnFetchFailures.maxFailuresToInclude 設定，可追蹤因使用者程式碼造成的作業失敗。當因隨機擷取失敗而中止某個階段時，這些詳細資訊將用於增強驅動程式日誌中顯示的失敗訊息。

    屬性名稱 預設值 意義 自版本

    spark.stage.extraDetailsOnFetchFailures.enabled

    false

    如果設定為 true，此屬性用於在因隨機擷取失敗而中止某個階段時，增強驅動程式日誌中顯示的作業失敗訊息。依預設，會追蹤使用者程式碼造成的最後 5 個任務失敗，並在驅動程式日誌中附加失敗錯誤訊息。

    若需增加要追蹤的使用者例外狀況的任務失敗次數，請參閱 spark.stage.extraDetailsOnFetchFailures.maxFailuresToInclude 組態。

    emr-6.8

    spark.stage.extraDetailsOnFetchFailures.maxFailuresToInclude

    5

    每個階段和每次嘗試要追蹤的任務失敗次數。此屬性用於在因隨機擷取失敗而中止某個階段時，增強驅動程式日誌中顯示的使用者例外狀況的作業失敗訊息。

    只有在 spark.stage.extraDetailsOnFetchFailures.enabled 組態設為 True 時，此屬性才有效。

    emr-6.8

如需詳細資訊，請參閱 Apache Spark 組態文件。

已知問題

  • Amazon EMR on EKS 6.8.0 在使用 Apache Spark 產生的 Parquet 檔案中繼資料中錯誤地填充了建置雜湊。此問題可能會導致從 Amazon EMR on EKS 6.8.0 產生的 Parquet 檔案中剖析中繼資料版本字串的工具失敗。從 Parquet 中繼資料中剖析版本字串並依賴於建置雜湊的客戶應切換到不同的 Amazon EMR 版本並重寫檔案。

已解決的問題

  • PySpark 核心的 Interrupt Kernel 功能 - 透過使用 Interrupt Kernel 功能，可以停止由筆記本中的執行儲存格觸發的正在進行的互動式工作負載。引入了一個修復程式，以便此功能適用於 PySpark 核心。這也可以在開放原始碼中找到，位於處理 PySpark Kubernetes Kernel #1115 中斷的變更。