Amazon nelle EMR versioni EKS 6.7.0 - Amazon EMR

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Amazon nelle EMR versioni EKS 6.7.0

Le seguenti versioni di Amazon EMR 6.7.0 sono disponibili per Amazon EMR su. EKS Seleziona una XXXX versione emr-6.7.0- specifica per visualizzare ulteriori dettagli, come il relativo tag con l'immagine del contenitore.

Note di versione per Amazon EMR 6.7.0

  • Applicazioni supportate: Spark 3.2.1-amzn-0, Jupyter Enterprise Gateway 2.6, Hudi 0.11-amzn-0, Iceberg 0.13.1.

  • Componenti supportati: aws-hm-client (connettore Glue), aws-sagemaker-spark-sdk, emr-s3-select, emrfs, emr-ddb, hudi-spark.

  • Con l'aggiornamento alla versione JEG 2.6, la gestione del kernel è ora asincrona, il che JEG significa che non blocca le transazioni quando è in corso il lancio del kernel. Ciò migliora notevolmente l'esperienza dell'utente fornendo quanto segue:

    • capacità di eseguire comandi nei notebook attualmente in esecuzione quando sono in corso altri avvii del kernel

    • capacità di avviare più kernel contemporaneamente senza influire sui kernel già in esecuzione

  • Classificazioni di configurazione supportate:

    Classificazioni Descrizioni

    core-site

    Modifica i valori nel file core-site.xml Hadoop.

    emrfs-site

    Modificare le impostazioni. EMRFS

    spark-metrics

    Modifica i valori nel file metrics.properties Spark.

    spark-defaults

    Modifica i valori nel file spark-defaults.conf Spark.

    spark-env

    Modifica i valori nell'ambiente Spark.

    spark-hive-site

    Modifica i valori nel file hive-site.xml Spark.

    spark-log4j

    Modifica i valori nel file log4j.properties Spark.

    Le classificazioni di configurazione consentono di personalizzare le applicazioni. Spesso corrispondono a un XML file di configurazione per l'applicazione, ad esempiospark-hive-site.xml. Per ulteriori informazioni, consulta Configurazione delle applicazioni.

Problemi risolti

  • Amazon EMR on EKS 6.7 corregge un problema nella versione 6.6 che si verificava quando si utilizzava la funzionalità dei modelli di pod di Apache Spark con endpoint interattivi. Il problema era presente in Amazon EMR nelle EKS versioni 6.4, 6.5 e 6.6. Ora puoi utilizzare i modelli di pod per definire la modalità di avvio dei pod di driver ed executor Spark quando utilizzi gli endpoint interattivi per eseguire analisi interattive.

  • Nelle EKS versioni precedenti di Amazon EMR on, Jupyter Enterprise Gateway bloccava le transazioni durante il lancio del kernel e ciò impediva l'esecuzione delle sessioni dei notebook attualmente in esecuzione. Ora è possibile eseguire comandi nei notebook attualmente in esecuzione quando sono in corso altri avvii del kernel. Inoltre, è possibile avviare più kernel contemporaneamente senza il rischio di perdere la connettività con i kernel già in esecuzione.