Amazon EMR nas versões EKS 6.7.0 - Amazon EMR

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Amazon EMR nas versões EKS 6.7.0

As seguintes versões do Amazon EMR 6.7.0 estão disponíveis para a Amazon EMR em. EKS Selecione uma XXXX versão específica do emr-6.7.0- para ver mais detalhes, como a tag de imagem do contêiner relacionada.

Notas de lançamento do Amazon EMR 6.7.0

  • Aplicações com suporte: Spark 3.2.1-amzn-0, Jupyter Enterprise Gateway 2.6, Hudi 0.11-amzn-0 e Iceberg 0.13.1.

  • Componentes com suporte: aws-hm-client (conector do Glue), aws-sagemaker-spark-sdk, emr-s3-select, emrfs, emr-ddb e hudi-spark.

  • Com a atualização para JEG 2.6, o gerenciamento do kernel agora é assíncrono, o que JEG significa que não bloqueia transações quando o lançamento do kernel está em andamento. Isso melhora muito a experiência do usuário ao fornecer o seguinte:

    • capacidade de executar comandos em cadernos que estão em execução no momento quando outras inicializações de kernel estão em andamento;

    • capacidade de iniciar vários kernels simultaneamente sem afetar os kernels que já estão em execução.

  • Classificações de configuração com suporte:

    Classificações Descrições

    core-site

    Altera os valores no arquivo core-site.xml do Hadoop.

    emrfs-site

    Altere EMRFS as configurações.

    spark-metrics

    Altera os valores no arquivo metrics.properties do Spark.

    spark-defaults

    Altera os valores no arquivo spark-defaults.conf do Spark.

    spark-env

    Alterar os valores no ambiente do Spark.

    spark-hive-site

    Altera os valores no arquivo hive-site.xml do Spark.

    spark-log4j

    Altera os valores no arquivo log4j.properties do Spark.

    As classificações de configuração permitem que você personalize aplicações. Eles geralmente correspondem a um XML arquivo de configuração do aplicativo, comospark-hive-site.xml. Para obter mais informações, consulte Configuração de aplicações.

Problemas resolvidos

  • O Amazon EMR on EKS 6.7 corrige um problema no 6.6 ao usar a funcionalidade de modelos de pod do Apache Spark com endpoints interativos. O problema estava presente na Amazon EMR nas EKS versões 6.4, 6.5 e 6.6. No momento, você pode usar modelos de pod para definir como os pods de driver e de executores do Spark são iniciados ao usar endpoints interativos para executar análises interativas.

  • Em EKS versões anteriores do EMR Amazon On, o Jupyter Enterprise Gateway bloqueava transações quando o lançamento do kernel estava em andamento, o que impedia a execução das sessões de notebook atualmente em execução. Agora, é possível executar comandos em cadernos em execução quando outras inicializações de kernel estiverem em andamento. Você também pode iniciar vários kernels simultaneamente sem o risco de perder a conectividade com os kernels que já estão em execução.