Verwenden von Java 17 mit Amazon EMR Serverless

Mit Amazon EMR-Versionen 6.11.0 und höher konfigurieren Sie EMR Serverless Spark-Jobs so, dass sie die Java 17-Laufzeit für die Java Virtual Machine (JVM) verwenden. Verwenden Sie eine der folgenden Methoden, um Spark mit Java 17 zu konfigurieren.

JAVA_HOME

Um die JVM-Einstellung für EMR Serverless 6.11.0 und höher zu überschreiben, geben Sie die JAVA_HOME Einstellung an ihre und die Umgebungsklassifizierungen an. spark.emr-serverless.driverEnv spark.executorEnv

x86_64

Legen Sie die erforderlichen Eigenschaften fest, um Java 17 als JAVA_HOME Konfiguration für den Spark-Treiber und die Executoren anzugeben:

--conf spark.emr-serverless.driverEnv.JAVA_HOME=/usr/lib/jvm/java-17-amazon-corretto.x86_64/ 
--conf spark.executorEnv.JAVA_HOME=/usr/lib/jvm/java-17-amazon-corretto.x86_64/

arm_64

Stellen Sie die erforderlichen Eigenschaften ein, um Java 17 als JAVA_HOME Konfiguration für den Spark-Treiber und die Executoren anzugeben:

--conf spark.emr-serverless.driverEnv.JAVA_HOME=/usr/lib/jvm/java-17-amazon-corretto.aarch64/
--conf spark.executorEnv.JAVA_HOME=/usr/lib/jvm/java-17-amazon-corretto.aarch64/

spark-defaults

Alternativ können Sie Java 17 in der spark-defaults Klassifizierung angeben, um die JVM-Einstellung für EMR Serverless 6.11.0 und höher zu überschreiben.

x86_64

Geben Sie Java 17 in der Klassifizierung an: spark-defaults

{
"applicationConfiguration": [ 
         { 
            "classification": "spark-defaults",
            "properties": { 
               "spark.emr-serverless.driverEnv.JAVA_HOME" : "/usr/lib/jvm/java-17-amazon-corretto.x86_64/",
               "spark.executorEnv.JAVA_HOME": "/usr/lib/jvm/java-17-amazon-corretto.x86_64/" 
            }
         }
      ]
}

arm_64

Geben Sie Java 17 in der spark-defaults Klassifizierung an:

{
"applicationConfiguration": [ 
         { 
            "classification": "spark-defaults",
            "properties": { 
               "spark.emr-serverless.driverEnv.JAVA_HOME" : "/usr/lib/jvm/java-17-amazon-corretto.aarch64/",
               "spark.executorEnv.JAVA_HOME": "/usr/lib/jvm/java-17-amazon-corretto.aarch64/" 
            }
         }
      ]
}