Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Amazon EMR en las EKS versiones 7.0.0
En esta página se describen las funciones nuevas y actualizadas de Amazon EMR que son específicas de Amazon EMR en el momento de la EKS implementación. Para obtener más información sobre la EMR ejecución de Amazon en Amazon EC2 y sobre la versión EMR 7.0.0 de Amazon en general, consulta Amazon EMR 7.0.0 en la Guía de EMRversiones de Amazon.
Amazon EMR en las versiones EKS 7.0
Las siguientes versiones de Amazon EMR 7.0.0 están disponibles para Amazon EMR enEKS. Selecciona una XXXX versión específica de emr-7.0.0- para ver más detalles, como la etiqueta de imagen del contenedor correspondiente.
Notas de la versión
Notas de lanzamiento de Amazon EMR en la versión EKS 7.0.0
-
Aplicaciones compatibles: AWS SDK for Java 2.20.160-amzn-0 and 1.12.595, Apache Spark 3.5.0-amzn-0, Apache Flink 1.18.0-amzn-0, Flink Operator 1.6.1, Apache Hudi 0.14.0-amzn-1, Apache Iceberg 1.4.2-amzn-0, Delta 3.0.0, Apache Spark RAPIDS 23.10.0-amzn-0, Jupyter Enterprise Gateway 2.6.0
-
Componentes compatibles:
aws-sagemaker-spark-sdk,emr-ddb,emr-goodies,emr-s3-select,emrfs,hadoop-client,hudi,hudi-spark,iceberg,spark-kubernetes. -
Clasificaciones de configuración compatibles
Para usar con StartJobRuny CreateManagedEndpointAPIs:
Clasificaciones Descripciones core-siteCambia los valores en el archivo de Hadoop
core-site.xml.emrfs-siteCambiar EMRFS la configuración.
spark-metricsCambia los valores en el archivo de Spark
metrics.properties.spark-defaultsCambia los valores en el archivo de Spark
spark-defaults.conf.spark-envCambiar los valores en el entorno de Spark.
spark-hive-siteCambia los valores en el archivo de Spark
hive-site.xml.spark-log4jCambia los valores en el archivo de Spark
log4j2.properties.emr-job-submitterConfiguración del pod de remitente de trabajos.
Para usar específicamente con CreateManagedEndpointAPIs:
Clasificaciones Descripciones jeg-configCambia los valores en el archivo
jupyter_enterprise_gateway_config.pyde Jupyter Enterprise Gateway.jupyter-kernel-overridesCambia el valor de la imagen del kernel en el archivo de especificaciones del kernel de Jupyter.
Las clasificaciones de configuración le permiten personalizar las aplicaciones. Suelen corresponder a un XML archivo de configuración de la aplicación, por ejemplo
spark-hive-site.xml. Para obtener más información, consulte Configurar aplicaciones.
Características notables
Las siguientes funciones se incluyen en la versión 7.0 de Amazon EMR en adelanteEKS.
-
Actualizaciones de aplicaciones: las actualizaciones de aplicaciones de Amazon EMR on EKS 7.0.0 incluyen Spark 3.5, Flink 1.18 y Flink Operator 1.6.1.
-
Ajuste automático de los parámetros del escalador automático de Flink: es posible que los parámetros predeterminados que el escalador automático de Flink utiliza para sus cálculos de escalado no sean el valor óptimo para un trabajo determinado. Amazon, EMR en la EKS versión 7.0.0, utiliza las tendencias históricas de métricas capturadas específicas para calcular el parámetro óptimo adaptado al trabajo.
Cambios
Los siguientes cambios se incluyen en la versión 7.0 de Amazon EMR en adelanteEKS.
-
Amazon Linux 2023: con Amazon EMR en la EKS versión 7.0.0 y versiones posteriores, todas las imágenes de contenedores se basan en Amazon Linux 2023.
-
Spark usa Java 17 como tiempo de ejecución predeterminado: Amazon EMR en la EKS versión 7.0.0 Spark usa Java 17 como tiempo de ejecución predeterminado. Si lo necesita, puede cambiar a Java 8 o Java 11 con la etiqueta de versión correspondiente, tal y como se indica en la lista Amazon EMR en las versiones EKS 7.0.
