Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Amazon EMR nelle versioni EKS 7.2.0
Questa pagina descrive la funzionalità nuova e aggiornata di Amazon EMR specifica per l'implementazione di Amazon EMR su EKS. Per dettagli su Amazon EMR in esecuzione su Amazon EC2 e sulla versione Amazon EMR 7.2.0 in generale, consulta Amazon EMR 7.2.0 nella Amazon EMR Release Guide.
Amazon EMR nelle versioni EKS 7.2
Le seguenti versioni di Amazon EMR 7.2.0 sono disponibili per Amazon EMR su EKS. Seleziona una versione specifica di EMR-7.2.0-xxxx per visualizzare ulteriori dettagli, come il relativo tag di immagine del contenitore.
Note di rilascio
Note di rilascio per Amazon EMR su EKS 7.2.0
-
Applicazioni supportate ‐ AWS SDK per Java 2.23.18 and 1.12.705, Apache Spark 3.5.1-amzn-1, Apache Hudi 0.14.1-amzn-0, Apache Iceberg 1.5.0-amzn-0, Delta 3.1.0, Apache Spark RAPIDS 24.02.0-amzn-1, Jupyter Enterprise Gateway 2.6.0, Apache Flink 1.18.1-amzn-0, Flink Operator 1.8.0-amzn-1
-
Componenti supportati:
aws-sagemaker-spark-sdk
,emr-ddb
,emr-goodies
,emr-s3-select
,emrfs
,hadoop-client
,hudi
,hudi-spark
,iceberg
,spark-kubernetes
. -
Classificazioni di configurazione supportate
Da utilizzare con StartJobRune: CreateManagedEndpoint APIs
Classificazioni Descrizioni core-site
Modifica i valori nel file Hadoop
core-site.xml
.emrfs-site
Modifica le impostazioni EMRFS.
spark-metrics
Modifica i valori nel file Spark
metrics.properties
.spark-defaults
Modifica i valori nel file Spark
spark-defaults.conf
.spark-env
Modifica i valori nell'ambiente Spark.
spark-hive-site
Modifica i valori nel file Spark
hive-site.xml
.spark-log4j2
Modifica i valori nel file Spark
log4j2.properties
.emr-job-submitter
Configurazione per il pod del mittente di processi.
Da utilizzare specificamente con CreateManagedEndpoint APIs:
Classificazioni Descrizioni jeg-config
Modifica i valori nel file
jupyter_enterprise_gateway_config.py
Jupyter Enterprise Gateway.jupyter-kernel-overrides
Modifica il valore per l'immagine del kernel nel file Jupyter Kernel Spec.
Le classificazioni di configurazione consentono di personalizzare le applicazioni. Spesso corrispondono a un file XML di configurazione per l'applicazione, ad esempio
spark-hive-site.xml
. Per ulteriori informazioni, consulta la sezione Configurazione delle applicazioni.
Funzionalità significative
Le seguenti funzionalità sono incluse nella versione 7.2.0 di Amazon EMR su EKS.
-
Aggiornamenti di Autoscaler for Flink: la versione 7.2.0 utilizza la configurazione open source per consentire la stima del tempo di ridimensionamento, in modo da non dover più assegnare manualmente valori empirici
job.autoscaler.restart.time-tracking.enabled
all'ora di riavvio. Se utilizzi la versione 7.1.0 o una versione precedente, puoi comunque utilizzare Amazon EMR autoscaling. -
Integrazione con Apache Hudi Apache Flink su Amazon EMR su EKS: questa versione aggiunge un'integrazione tra Apache Hudi e Apache Flink, in modo da poter utilizzare l'operatore Flink Kubernetes per eseguire job Hudi. Hudi ti consente di utilizzare operazioni a livello di record che puoi utilizzare per semplificare la gestione dei dati e lo sviluppo di pipeline di dati.
-
Integrazione di Amazon S3 Express One Zone con Amazon EMR su EKS: con la versione 7.2.0 e versioni successive, puoi caricare dati in S3 Express One Zone con Amazon EMR su EKS. S3 Express One Zone è una classe di storage Amazon S3 a zona singola ad alte prestazioni che offre un accesso ai dati coerente a una cifra in millisecondi per la maggior parte delle applicazioni sensibili alla latenza. Al momento del suo rilascio, S3 Express One Zone offre lo storage di oggetti cloud con la latenza più bassa e le prestazioni più elevate in Amazon S3.
-
Supporto per le configurazioni predefinite nell'operatore Spark — L'operatore Spark su Amazon EKS ora supporta le stesse configurazioni predefinite del modello start job run su Amazon EMR su EKS per 7.2.0 e versioni successive. Ciò significa che funzionalità come Amazon S3 ed EMRFS non richiedono più configurazioni manuali nel file yaml.