Amazon nelle EMR versioni EKS 6.10.0 - Amazon EMR

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Amazon nelle EMR versioni EKS 6.10.0

Le seguenti versioni di Amazon EMR 6.10.0 sono disponibili per Amazon EMR su. EKS Seleziona una XXXX versione emr-6.10.0- specifica per visualizzare ulteriori dettagli, come il relativo tag di immagine del contenitore.

Note di versione per Amazon EMR 6.10.0

  • Applicazioni supportate ‐ AWS SDK for Java 1.12.397, Spark 3.3.1-amzn-0, Hudi 0.12.2-amzn-0, Iceberg 1.1.0-amzn-0, Delta 2.2.0.

  • Componenti supportati: aws-sagemaker-spark-sdk, emr-ddb, emr-goodies, emr-s3-select, emrfs, hadoop-client, hudi, hudi-spark, iceberg, spark-kubernetes.

  • Classificazioni di configurazione supportate:

    StartJobRunDa usare CreateManagedEndpointAPIscon e:

    Classificazioni Descrizioni

    core-site

    Modifica i valori nel file core-site.xml di Hadoop.

    emrfs-site

    Modificare EMRFS le impostazioni.

    spark-metrics

    Modifica i valori nel file metrics.properties di Spark.

    spark-defaults

    Modifica i valori nel file spark-defaults.conf di Spark.

    spark-env

    Modifica i valori nell'ambiente Spark.

    spark-hive-site

    Modifica i valori nel file hive-site.xml di Spark.

    spark-log4j

    Modifica i valori nel file log4j.properties di Spark.

    Da utilizzare specificamente con CreateManagedEndpointAPIs:

    Classificazioni Descrizioni

    jeg-config

    Modifica i valori nel file jupyter_enterprise_gateway_config.py Jupyter Enterprise Gateway.

    jupyter-kernel-overrides

    Modifica il valore per l'immagine del kernel nel file Jupyter Kernel Spec.

    Le classificazioni di configurazione consentono di personalizzare le applicazioni. Spesso corrispondono a un XML file di configurazione per l'applicazione, ad esempiospark-hive-site.xml. Per ulteriori informazioni, consulta la sezione Configurazione delle applicazioni.

Funzionalità significative

  • Operatore Spark: con Amazon EMR sulla versione EKS 6.10.0 e versioni successive, puoi utilizzare l'operatore Kubernetes per Apache Spark o l'operatore Spark per distribuire e gestire le applicazioni Spark con il runtime di rilascio di Amazon sui tuoi cluster Amazon. EMR EKS Per ulteriori informazioni, consulta Esecuzione dei processi Spark con l'operatore Spark.

  • Java 11: con EMR Amazon EKS 6.10 e versioni successive, puoi avviare Spark con Java 11 runtime. Per farlo, trasmetti emr-6.10.0-java11-latest come etichetta di rilascio. Consigliamo di convalidare ed eseguire test delle prestazioni prima di trasferire i carichi di lavoro di produzione dall'immagine Java 8 all'immagine Java 11.

  • Per l'integrazione di Amazon Redshift per Apache Spark, EMR Amazon EKS su 6.10.0 rimuove la dipendenza da minimal-json.jar e aggiunge automaticamente i jar correlati spark-redshift richiesti al percorso della classe executor per Spark:, e. spark-redshift.jar spark-avro.jar RedshiftJDBC.jar

Modifiche

  • EMRFSIl committer ottimizzato per S3 è ora abilitato di default per parquet e formati basati su testo (incluso and). ORC CSV JSON