Apache Spark

PDFRSS

Apache Spark è un framework di elaborazione distribuito e un modello di programmazione che consente di eseguire attività come machine learning, elaborazione di flussi o analisi di grafici con i cluster Amazon EMR. Come Apache Hadoop, Spark è un sistema di elaborazione distribuito open source utilizzato in genere per carichi di lavoro di Big Data. Tuttavia, Spark presenta diverse differenze notevoli rispetto a Hadoop. MapReduce in quanto dispone di un motore di esecuzione di grafi aciclici orientati (DAG) ottimizzato e memorizza attivamente i dati nella cache. Queste caratteristiche possono migliorare le prestazioni, in particolare per determinati algoritmi e query interattive.

Spark supporta applicazioni scritte in Scala, Python e Java a livello nativo. Include anche diverse librerie strettamente integrate per SQL (Spark), machine learning (MLlib), stream processing (Spark streaming) ed elaborazione di grafici (GraphX). Questi strumenti semplificano l'utilizzo del framework Spark per un'ampia gamma di casi d'uso.

Puoi installare Spark su un cluster Amazon EMR insieme ad altre applicazioni Hadoop. Questa soluzione consente inoltre l'utilizzo del file system Amazon EMR (EMRFS) per accedere direttamente ai dati in Amazon S3. Hive è anche integrato con Spark in modo da poter utilizzare un HiveContext oggetto per eseguire gli script Hive utilizzando Spark. Un contesto Hive è incluso nella shell di Spark come sqlContext.

Per un esempio di tutorial sulla configurazione di un cluster EMR con Spark e l'analisi di un set di dati di esempio, consulta Tutorial: Getting started with Amazon EMR sul blog News. AWS

Importante

Apache Spark versione 2.3.1, disponibile a partire da Amazon EMR rilascio 5.16.0, risolve CVE-2018-8024 e CVE-2018-1334. Si consiglia di eseguire la migrazione delle versioni precedenti di Spark a Spark 2.3.1 o versioni successive.

La seguente tabella indica la versione di Spark inclusa nell'ultimo rilascio della serie Amazon EMR 7.x insieme ai componenti che Amazon EMR installa con Spark.

Per la versione dei componenti installati con Spark in questa versione, consulta Versioni dei componenti della release 7.7.0.

Informazioni sulla versione di Spark per emr-7.7.0

Etichetta di rilascio di Amazon EMR	Versione di Spark	Componenti installati con Spark
emr-7.7.0	Spark 3.5.3	delta, emrfs, emr-goodies, emr-ddb, emr-s3-select, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hudi, hudi-spark, iceberg, livy-server, nginx, r, spark-client, spark-history-server, spark-on-yarn, spark-yarn-slave

La seguente tabella indica la versione di Spark inclusa nell'ultimo rilascio della serie Amazon EMR 6.x insieme ai componenti che Amazon EMR installa con Spark.

Per la versione dei componenti installati con Spark in questo rilascio, consulta la sezione Versioni dei componenti del rilascio 6.15.0.

Informazioni sulla versione di Spark per emr-6.15.0

Etichetta di rilascio di Amazon EMR	Versione di Spark	Componenti installati con Spark
emr-6.15.0	Spark 3.4.1	aws-sagemaker-spark-sdk, delta, emrfs, emr-goodies, emr-ddb, emr-s3-select, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hudi, hudi-spark, iceberg, livy-server, nginx, r, spark-client, spark-history-server, spark-on-yarn, spark-yarn-slave

Nota

Rilascio 6.8.0 di Amazon EMR con Spark per Apache 3.3.0. Questa versione di Spark utilizza Apache Log4j 2 e il file log4j2.properties per configurare Log4j nei processi Spark. Se utilizzi Spark nel cluster o crei cluster EMR con parametri di configurazione personalizzati e desideri eseguire l'aggiornamento alla versione 6.8.0 di Amazon EMR, devi migrare alla nuova classificazione della configurazione e formato chiave spark-log4j2 per Apache Log4j 2. Per ulteriori informazioni, consulta Migrazione da Apache Log4j 1.x a Log4j 2.x.

La seguente tabella indica la versione di Spark inclusa nell'ultimo rilascio della serie Amazon EMR 5.x insieme ai componenti che Amazon EMR installa con Spark.

Per la versione dei componenti installati con Spark in questa versione, vedi Versioni dei componenti della release 5.36.2.

Informazioni sulla versione di Spark per emr-5.36.2

Etichetta di rilascio di Amazon EMR	Versione di Spark	Componenti installati con Spark
emr-5.36.2	Spark 2.4.8	aws-sagemaker-spark-sdk, emrfs, emr-goodies, emr-ddb, emr-s3-select, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hudi, hudi-spark, livy-server, nginx, r, spark-client, spark-history-server, spark-on-yarn, spark-yarn-slave

Argomenti

• Creazione di un cluster con Apache Spark

• Esecuzione di applicazioni Spark con Docker utilizzando Amazon EMR 6.x

• Usa il catalogo AWS Glue Data Catalog con Spark su Amazon EMR

• Utilizzo di una gerarchia multicatalogo in AWS Glue Data Catalog with Spark su Amazon EMR

• Configurazione di Spark

• Ottimizzazione delle prestazioni di Spark

• Caching dei frammenti dei risultati Spark

• Utilizza Nvidia RAPIDS Accelerator per Apache Spark

• Accesso alla shell Spark

• Usa Amazon SageMaker Spark per l'apprendimento automatico

• Scrittura di un'applicazione Spark

• Migliorare le prestazioni di Spark con Amazon S3

• Aggiungi una fase Spark

• Visualizzazione della cronologia delle applicazioni Spark

• Accedi al sito web Spark UIs

• Utilizzo del connettore Amazon Kinesis Data Streams per lo streaming strutturato Spark

• Utilizzo dell'integrazione di Amazon Redshift per Apache Spark su Amazon EMR

• Cronologia dei rilasci di Spark