Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Amazon nelle EMR versioni EKS 6.10.0
Le seguenti versioni di Amazon EMR 6.10.0 sono disponibili per Amazon EMR su. EKS Seleziona una XXXX versione emr-6.10.0- specifica per visualizzare ulteriori dettagli, come il relativo tag di immagine del contenitore.
-
emr-6.10.0- spark-rapids-latest
-
emr-6.10.0-spark-rapids-20230624
-
emr-6.10.0-spark-rapids-20230220
-
emr-6.10.0-java11-latest
-
emr-6.10.0-java11-20230624
-
emr-6.10.0-java11-20230220
-
notebook-spark/emr-6.10.0-latest
-
notebook-spark/emr-6.10.0-20230624
-
notebook-spark/emr-6.10.0-20230220
-
notebook-python/emr-6.10.0-latest
-
notebook-python/emr-6.10.0-20230624
-
notebook-python/emr-6.10.0-20230220
Note di versione per Amazon EMR 6.10.0
-
Applicazioni supportate ‐ AWS SDK for Java 1.12.397, Spark 3.3.1-amzn-0, Hudi 0.12.2-amzn-0, Iceberg 1.1.0-amzn-0, Delta 2.2.0.
-
Componenti supportati:
aws-sagemaker-spark-sdk
,emr-ddb
,emr-goodies
,emr-s3-select
,emrfs
,hadoop-client
,hudi
,hudi-spark
,iceberg
,spark-kubernetes
. -
Classificazioni di configurazione supportate:
StartJobRunDa usare CreateManagedEndpointAPIscon e:
Classificazioni Descrizioni core-site
Modifica i valori nel file
core-site.xml
di Hadoop.emrfs-site
Modificare EMRFS le impostazioni.
spark-metrics
Modifica i valori nel file
metrics.properties
di Spark.spark-defaults
Modifica i valori nel file
spark-defaults.conf
di Spark.spark-env
Modifica i valori nell'ambiente Spark.
spark-hive-site
Modifica i valori nel file
hive-site.xml
di Spark.spark-log4j
Modifica i valori nel file
log4j.properties
di Spark.Da utilizzare specificamente con CreateManagedEndpointAPIs:
Classificazioni Descrizioni jeg-config
Modifica i valori nel file
jupyter_enterprise_gateway_config.py
Jupyter Enterprise Gateway.jupyter-kernel-overrides
Modifica il valore per l'immagine del kernel nel file Jupyter Kernel Spec.
Le classificazioni di configurazione consentono di personalizzare le applicazioni. Spesso corrispondono a un XML file di configurazione per l'applicazione, ad esempio
spark-hive-site.xml
. Per ulteriori informazioni, consulta la sezione Configurazione delle applicazioni.
Funzionalità significative
-
Operatore Spark: con Amazon EMR sulla versione EKS 6.10.0 e versioni successive, puoi utilizzare l'operatore Kubernetes per Apache Spark o l'operatore Spark per distribuire e gestire le applicazioni Spark con il runtime di rilascio di Amazon sui tuoi cluster Amazon. EMR EKS Per ulteriori informazioni, consulta Esecuzione dei processi Spark con l'operatore Spark.
-
Java 11: con EMR Amazon EKS 6.10 e versioni successive, puoi avviare Spark con Java 11 runtime. Per farlo, trasmetti
emr-6.10.0-java11-latest
come etichetta di rilascio. Consigliamo di convalidare ed eseguire test delle prestazioni prima di trasferire i carichi di lavoro di produzione dall'immagine Java 8 all'immagine Java 11. -
Per l'integrazione di Amazon Redshift per Apache Spark, EMR Amazon EKS su 6.10.0 rimuove la dipendenza da
minimal-json.jar
e aggiunge automaticamente i jar correlatispark-redshift
richiesti al percorso della classe executor per Spark:, e.spark-redshift.jar
spark-avro.jar
RedshiftJDBC.jar
Modifiche
-
EMRFSIl committer ottimizzato per S3 è ora abilitato di default per parquet e formati basati su testo (incluso and). ORC CSV JSON