Uso do Java 17 com o Amazon EMR Sem Servidor

Com as versões 6.11.0 e posteriores do Amazon EMR, configure as tarefas do EMR Serverless Spark para usar o tempo de execução do Java 17 para a Java Virtual Machine (JVM). Use um dos métodos a seguir para configurar o Spark com Java 17.

JAVA_HOME

Para substituir a configuração da JVM para o EMR Serverless 6.11.0 e superior, forneça a configuração às suas classificações e às do ambiente. JAVA_HOME spark.emr-serverless.driverEnv spark.executorEnv

x86_64

Defina as propriedades necessárias para especificar o Java 17 como a configuração JAVA_HOME para o driver e os executores do Spark:

--conf spark.emr-serverless.driverEnv.JAVA_HOME=/usr/lib/jvm/java-17-amazon-corretto.x86_64/ 
--conf spark.executorEnv.JAVA_HOME=/usr/lib/jvm/java-17-amazon-corretto.x86_64/

arm_64

Defina as propriedades necessárias para especificar o Java 17 como a configuração JAVA_HOME para o driver e os executores do Spark:

--conf spark.emr-serverless.driverEnv.JAVA_HOME=/usr/lib/jvm/java-17-amazon-corretto.aarch64/
--conf spark.executorEnv.JAVA_HOME=/usr/lib/jvm/java-17-amazon-corretto.aarch64/

spark-defaults

Como alternativa, você pode especificar o Java 17 na classificação spark-defaults para substituir a configuração da JVM no EMR Sem Servidor 6.11.0 e superior.

x86_64

Especifique Java 17 na classificação spark-defaults:

{
"applicationConfiguration": [ 
         { 
            "classification": "spark-defaults",
            "properties": { 
               "spark.emr-serverless.driverEnv.JAVA_HOME" : "/usr/lib/jvm/java-17-amazon-corretto.x86_64/",
               "spark.executorEnv.JAVA_HOME": "/usr/lib/jvm/java-17-amazon-corretto.x86_64/" 
            }
         }
      ]
}

arm_64

Especifique Java 17 na classificação spark-defaults:

{
"applicationConfiguration": [ 
         { 
            "classification": "spark-defaults",
            "properties": { 
               "spark.emr-serverless.driverEnv.JAVA_HOME" : "/usr/lib/jvm/java-17-amazon-corretto.aarch64/",
               "spark.executorEnv.JAVA_HOME": "/usr/lib/jvm/java-17-amazon-corretto.aarch64/" 
            }
         }
      ]
}