Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Amazon EMR en las versiones EKS 6.11.0
En esta página se describen las funciones nuevas y actualizadas de Amazon EMR que son específicas de Amazon EMR en el momento de la EKS implementación. Para obtener más información sobre Amazon EMR que se ejecuta en Amazon EC2 y sobre la versión EMR 6.11.0 de Amazon en general, consulta Amazon EMR 6.11.0 en la Guía de versiones de Amazon. EMR
Amazon EMR en las EKS versiones 6.11
Las siguientes versiones de Amazon EMR 6.11.0 están disponibles para Amazon EMR en. EKS Selecciona una XXXX versión específica de emr-6.11.0- para ver más detalles, como la etiqueta de imagen del contenedor correspondiente.
-
emr-6.11.0- spark-rapids-latest
-
emr-6.11.0-spark-rapids-20230509
-
emr-6.11.0-java11-latest
-
emr-6.11.0-java11-20230509
-
notebook-spark/emr-6.11.0-latest
-
notebook-spark/emr-6.11.0-20230509
-
notebook-python/emr-6.11.0-latest
-
notebook-python/emr-6.11.0-20230509
Notas de la versión
Notas de publicación de Amazon EMR en la versión EKS 6.11.0
-
Aplicaciones compatibles: AWS SDK for Java 1.12.446, Apache Spark 3.3.2-amzn-0, Apache Hudi 0.13.0-amzn-0, Apache Iceberg 1.2.0-amzn-0, Delta 2.2.0, Apache Spark 23.02.0-amzn-0, Jupyter Enterprise Gateway 2.6.0 RAPIDS
-
Componentes compatibles:
aws-sagemaker-spark-sdk
,emr-ddb
,emr-goodies
,emr-s3-select
,emrfs
,hadoop-client
,hudi
,hudi-spark
,iceberg
,spark-kubernetes
. -
Clasificaciones de configuración compatibles
StartJobRun CreateManagedEndpointAPIsPara usar con y:
Clasificaciones Descripciones core-site
Cambia los valores en el archivo de Hadoop
core-site.xml
.emrfs-site
Cambiar EMRFS la configuración.
spark-metrics
Cambia los valores en el archivo de Spark
metrics.properties
.spark-defaults
Cambia los valores en el archivo de Spark
spark-defaults.conf
.spark-env
Cambiar los valores en el entorno de Spark.
spark-hive-site
Cambia los valores en el archivo de Spark
hive-site.xml
.spark-log4j
Cambia los valores en el archivo de Spark
log4j.properties
.Para usar específicamente con CreateManagedEndpointAPIs:
Clasificaciones Descripciones jeg-config
Cambia los valores en el archivo
jupyter_enterprise_gateway_config.py
de Jupyter Enterprise Gateway.jupyter-kernel-overrides
Cambia el valor de la imagen del kernel en el archivo de especificaciones del kernel de Jupyter.
Las clasificaciones de configuración le permiten personalizar las aplicaciones. Suelen corresponder a un XML archivo de configuración de la aplicación, como
spark-hive-site.xml
. Para obtener más información, consulte Configurar aplicaciones.
Características notables
Las siguientes funciones se incluyen en la versión 6.11 de Amazon EMR en adelanteEKS.
-
Imagen EMR EKS base de Amazon en Amazon ECR Public Gallery: si utilizas la función de imagen personalizada, nuestra imagen base proporciona los contenedores, la configuración y las bibliotecas esenciales para interactuar con EMR AmazonEKS. Ahora puedes encontrar la imagen base en Amazon ECR Public Gallery
. -
Rotación de registros de contenedores de Spark: Amazon EMR en la versión EKS 6.11 admite la rotación de registros de contenedores de Spark. Puede habilitar la capacidad
containerLogRotationConfiguration
dentro delMonitoringConfiguration
funcionamiento delStartJobRun
API. Puedes configurar y especificar el númerorotationSize
ymaxFilestoKeep
el tamaño de los archivos de registro que deseas que Amazon guarde EMR en EKS los módulos de controladores y ejecutores de Spark. Para obtener más información, consulte Uso de la rotación de los registros de contenedores de Spark. -
Compatibilidad con Volcano en Spark operator y spark-submit : Amazon, EMR en la versión EKS 6.11, permite ejecutar trabajos de Spark con Volcano como programador personalizado de Kubernetes en Spark operator y spark-submit. Puede utilizar características como la planificación por grupos, la administración de colas, la prevención y la programación equitativa para lograr un alto rendimiento de la programación y una capacidad optimizada. Para obtener más información, consulte Uso de Volcano como programador personalizado para Apache Spark en Amazon EMR en EKS.