Amazon EMR en las versiones EKS 6.12.0

En esta página se describen las funciones nuevas y actualizadas de Amazon EMR que son específicas de Amazon EMR en el momento de la EKS implementación. Para obtener más información sobre Amazon EMR que se ejecuta en Amazon EC2 y sobre la versión EMR 6.12.0 de Amazon en general, consulta Amazon EMR 6.12.0 en la Guía de versiones de Amazon. EMR

Amazon EMR en las EKS versiones 6.12

Las siguientes versiones de Amazon EMR 6.12.0 están disponibles para Amazon EMR en. EKS Selecciona una XXXX versión específica de emr-6.12.0- para ver más detalles, como la etiqueta de imagen del contenedor correspondiente.

• emr-6.12.0-latest

• emr-6.12.0-20240321

• emr-6.12.0-20230701

• emr-6.12.0- spark-rapids-latest

• emr-6.12.0-spark-rapids-20230701

• emr-6.12.0-java11-latest

• emr-6.12.0-java11-20230701

• emr-6.12.0-java17-latest

• emr-6.12.0-java17-20230701

• emr-6.12.0- spark-rapids-java 17 - más reciente

• emr-6.12.0- spark-rapids-java 17-20230701

• notebook-spark/emr-6.12.0-latest

• notebook-spark/emr-6.12.0-20230701

• cuaderno - spark/emr-6.12.0- spark-rapids-latest

• notebook-spark/emr-6.12.0-spark-rapids-20230701

• notebook-python/emr-6.12.0-latest

• notebook-python/emr-6.12.0-20230701

• cuaderno - python/emr-6.12.0- spark-rapids-latest

• notebook-python/emr-6.12.0-spark-rapids-20230701

Notas de la versión

Notas de publicación de Amazon EMR en la versión EKS 6.12.0

• Aplicaciones compatibles: AWS SDK for Java 1.12.490, Apache Spark 3.4.0-amzn-0, Apache Hudi 0.13.1-amzn-0, Apache Iceberg 1.3.0-amzn-0, Delta 2.4.0, Apache Spark 23.06.0-amzn-0, Jupyter Enterprise Gateway 2.6.0 RAPIDS

• Componentes compatibles: aws-sagemaker-spark-sdk, emr-ddb, emr-goodies, emr-s3-select, emrfs, hadoop-client, hudi, hudi-spark, iceberg, spark-kubernetes.

• Clasificaciones de configuración compatibles

  StartJobRun CreateManagedEndpointAPIsPara usar con y:

  Clasificaciones	Descripciones
  core-site	Cambia los valores en el archivo de Hadoop core-site.xml.
  emrfs-site	Cambiar EMRFS la configuración.
  spark-metrics	Cambia los valores en el archivo de Spark metrics.properties.
  spark-defaults	Cambia los valores en el archivo de Spark spark-defaults.conf.
  spark-env	Cambiar los valores en el entorno de Spark.
  spark-hive-site	Cambia los valores en el archivo de Spark hive-site.xml.
  spark-log4j	Cambia los valores en el archivo de Spark log4j2.properties.
  emr-job-submitter	Configuración del pod de remitente de trabajos.

  Para usar específicamente con CreateManagedEndpointAPIs:

  Clasificaciones	Descripciones
  jeg-config	Cambia los valores en el archivo jupyter_enterprise_gateway_config.py de Jupyter Enterprise Gateway.
  jupyter-kernel-overrides	Cambia el valor de la imagen del kernel en el archivo de especificaciones del kernel de Jupyter.

  Las clasificaciones de configuración le permiten personalizar las aplicaciones. Suelen corresponder a un XML archivo de configuración de la aplicación, comospark-hive-site.xml. Para obtener más información, consulte Configurar aplicaciones.

Características notables

Las siguientes funciones se incluyen en la versión 6.12 de Amazon EMR en adelanteEKS.

• Java 17: con Amazon EMR en la versión EKS 6.12 y versiones posteriores, puedes lanzar Spark con el motor de ejecución de Java 17. Para ello, pase emr-6.12.0-java17-latest como una etiqueta de versión. Le recomendamos que valide y ejecute pruebas de rendimiento antes de trasladar las cargas de trabajo de producción de versiones anteriores de la imagen de Java a la imagen de Java 17.