As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Amazon EMR nas versões EKS 6.7.0
As seguintes versões do Amazon EMR 6.7.0 estão disponíveis para a Amazon EMR em. EKS Selecione uma XXXX versão específica do emr-6.7.0- para ver mais detalhes, como a tag de imagem do contêiner relacionada.
Notas de lançamento do Amazon EMR 6.7.0
-
Aplicações com suporte: Spark 3.2.1-amzn-0, Jupyter Enterprise Gateway 2.6, Hudi 0.11-amzn-0 e Iceberg 0.13.1.
-
Componentes com suporte:
aws-hm-client
(conector do Glue),aws-sagemaker-spark-sdk
,emr-s3-select
,emrfs
,emr-ddb
ehudi-spark
. -
Com a atualização para JEG 2.6, o gerenciamento do kernel agora é assíncrono, o que JEG significa que não bloqueia transações quando o lançamento do kernel está em andamento. Isso melhora muito a experiência do usuário ao fornecer o seguinte:
-
capacidade de executar comandos em cadernos que estão em execução no momento quando outras inicializações de kernel estão em andamento;
-
capacidade de iniciar vários kernels simultaneamente sem afetar os kernels que já estão em execução.
-
-
Classificações de configuração com suporte:
Classificações Descrições core-site
Altera os valores no arquivo
core-site.xml
do Hadoop.emrfs-site
Altere EMRFS as configurações.
spark-metrics
Altera os valores no arquivo
metrics.properties
do Spark.spark-defaults
Altera os valores no arquivo
spark-defaults.conf
do Spark.spark-env
Alterar os valores no ambiente do Spark.
spark-hive-site
Altera os valores no arquivo
hive-site.xml
do Spark.spark-log4j
Altera os valores no arquivo
log4j.properties
do Spark.As classificações de configuração permitem que você personalize aplicações. Eles geralmente correspondem a um XML arquivo de configuração do aplicativo, como
spark-hive-site.xml
. Para obter mais informações, consulte Configuração de aplicações.
Problemas resolvidos
-
O Amazon EMR on EKS 6.7 corrige um problema no 6.6 ao usar a funcionalidade de modelos de pod do Apache Spark com endpoints interativos. O problema estava presente na Amazon EMR nas EKS versões 6.4, 6.5 e 6.6. No momento, você pode usar modelos de pod para definir como os pods de driver e de executores do Spark são iniciados ao usar endpoints interativos para executar análises interativas.
-
Em EKS versões anteriores do EMR Amazon On, o Jupyter Enterprise Gateway bloqueava transações quando o lançamento do kernel estava em andamento, o que impedia a execução das sessões de notebook atualmente em execução. Agora, é possível executar comandos em cadernos em execução quando outras inicializações de kernel estiverem em andamento. Você também pode iniciar vários kernels simultaneamente sem o risco de perder a conectividade com os kernels que já estão em execução.