搭配 Amazon EMR Serverless 使用 Java 17

使用 Amazon EMR 6.11.0 版和更新版本，您可以將 EMR Serverless Spark 任務設定為使用 Java 虛擬機器 (JVM) 的 Java 17 執行期。使用下列其中一種方法來使用 Java 17 設定 Spark。

JAVA_HOME

若要覆寫 EMR Serverless 6.11.0 及更高版本的 JVM 設定，您可以將JAVA_HOME設定提供給其 spark.emr-serverless.driverEnv和spark.executorEnv環境分類。

x86_64

設定所需的屬性，將 Java 17 指定為 Spark 驅動程式和執行器的JAVA_HOME組態：

--conf spark.emr-serverless.driverEnv.JAVA_HOME=/usr/lib/jvm/java-17-amazon-corretto.x86_64/ 
--conf spark.executorEnv.JAVA_HOME=/usr/lib/jvm/java-17-amazon-corretto.x86_64/

arm_64

設定所需的屬性，將 Java 17 指定為 Spark 驅動程式和執行器的JAVA_HOME組態：

--conf spark.emr-serverless.driverEnv.JAVA_HOME=/usr/lib/jvm/java-17-amazon-corretto.aarch64/
--conf spark.executorEnv.JAVA_HOME=/usr/lib/jvm/java-17-amazon-corretto.aarch64/

spark-defaults

或者，您可以在spark-defaults分類中指定 Java 17，以覆寫 EMR Serverless 6.11.0 和更新版本的 JVM 設定。

x86_64

在 spark-defaults分類中指定 Java 17：

{
"applicationConfiguration": [ 
         { 
            "classification": "spark-defaults",
            "properties": { 
               "spark.emr-serverless.driverEnv.JAVA_HOME" : "/usr/lib/jvm/java-17-amazon-corretto.x86_64/",
               "spark.executorEnv.JAVA_HOME": "/usr/lib/jvm/java-17-amazon-corretto.x86_64/" 
            }
         }
      ]
}

arm_64

在 spark-defaults分類中指定 Java 17：

{
"applicationConfiguration": [ 
         { 
            "classification": "spark-defaults",
            "properties": { 
               "spark.emr-serverless.driverEnv.JAVA_HOME" : "/usr/lib/jvm/java-17-amazon-corretto.aarch64/",
               "spark.executorEnv.JAVA_HOME": "/usr/lib/jvm/java-17-amazon-corretto.aarch64/" 
            }
         }
      ]
}