Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Apache Spark
Apache Spark
Spark native mendukung aplikasi yang ditulis dalam Scala, Python, dan Java. Hal ini juga mencakup beberapa pustaka terintegrasi untuk SQL (Spark SQL
Anda dapat menginstal Spark pada cluster EMR Amazon bersama dengan aplikasi Hadoop lainnya, dan juga dapat memanfaatkan sistem file Amazon EMR (EMRFS) untuk langsung mengakses data di Amazon S3. Hive juga terintegrasi dengan Spark sehingga Anda dapat menggunakan HiveContext objek untuk menjalankan skrip Hive menggunakan Spark. Sebuah konteks Hive termasuk dalam percikan-shell sebagai sqlContext
.
Untuk contoh tutorial tentang menyiapkan cluster EMR dengan Spark dan menganalisis kumpulan data sampel, lihat Tutorial: Memulai Amazon EMR di blog Berita. AWS
penting
Tabel berikut mencantumkan versi Spark yang termasuk dalam rilis terbaru seri Amazon EMR 7.x, bersama dengan komponen yang dipasang Amazon EMR dengan Spark.
Untuk versi komponen yang diinstal dengan Spark dalam rilis ini, lihat Rilis Versi Komponen 7.1.0.
Informasi versi Spark untuk emr-7.1.0 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
Label Rilis Amazon EMR | Versi Spark | Komponen Dipasang Dengan Spark | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
emr-7.1.0 |
Spark 3.5.0 |
delta, emrfs, emr-goodies, emr-ddb, emr-s3-select, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hudi, hudi-spark, iceberg, livy-server, nginx, r, spark-client, spark-history-server, spark-on-yarn, spark-yarn-slave |
Tabel berikut mencantumkan versi Spark yang termasuk dalam rilis terbaru seri Amazon EMR 6.x, bersama dengan komponen yang dipasang Amazon EMR dengan Spark.
Untuk versi komponen yang diinstal dengan Spark dalam rilis ini, lihat Rilis Versi Komponen 6.15.0.
Informasi versi Spark untuk emr-6.15.0 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
Label Rilis Amazon EMR | Versi Spark | Komponen Dipasang Dengan Spark | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
emr-6.15.0 |
Spark 3.4.1 |
aws-sagemaker-spark-sdk, delta, emrfs, emr-goodies, emr-ddb, emr-s3-select, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hudi, hudi-spark, iceberg, livy-server, nginx, r, spark-client, spark-history-server, spark-on-yarn, spark-yarn-slave |
catatan
Amazon EMR rilis 6.8.0 hadir dengan Apache Spark 3.3.0. Rilis Spark ini menggunakan Apache Log4j 2 dan log4j2.properties
file untuk mengkonfigurasi Log4j dalam proses Spark. Jika Anda menggunakan Spark di cluster atau membuat kluster EMR dengan parameter konfigurasi kustom, dan Anda ingin meningkatkan ke Amazon EMR rilis 6.8.0, Anda harus bermigrasi ke klasifikasi konfigurasi spark-log4j2
baru dan format kunci untuk Apache Log4j 2. Untuk informasi selengkapnya, lihat Migrasi dari Apache Log4j 1.x ke Log4j 2.x.
Tabel berikut mencantumkan versi Spark yang termasuk dalam rilis terbaru seri Amazon EMR 5.x, bersama dengan komponen yang dipasang Amazon EMR dengan Spark.
Untuk versi komponen yang diinstal dengan Spark dalam rilis ini, lihat Rilis 5.36.2 Versi Komponen.
Informasi versi Spark untuk emr-5.36.2 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
Label Rilis Amazon EMR | Versi Spark | Komponen Dipasang Dengan Spark | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
emr-5.36.2 |
Spark 2.4.8 |
aws-sagemaker-spark-sdk, emrfs, emr-goodies, emr-ddb, emr-s3-select, hadoop-client, hadoop-hdfs-datanode, hadoop-hdfs-library, hadoop-hdfs-namenode, hadoop-httpfs-server, hadoop-kms-server, hadoop-yarn-nodemanager, hadoop-yarn-resourcemanager, hadoop-yarn-timeline-server, hudi, hudi-spark, livy-server, nginx, r, spark-client, spark-history-server, spark-on-yarn, spark-yarn-slave |
Topik
- Buat cluster dengan Apache Spark
- Jalankan aplikasi Spark dengan Docker di Amazon EMR 6.x
- Gunakan AWS Glue Data Catalog sebagai metastore untuk Spark SQL
- Konfigurasi Spark
- Optimalkan kinerja Spark
- Caching Fragmen Hasil Percikan
- Gunakan Akselerator Nvidia RAPIDS untuk Apache Spark
- Akses shell Spark
- Gunakan Amazon SageMaker Spark untuk pembelajaran mesin
- Menulis aplikasi Spark
- Tingkatkan kinerja Spark dengan Amazon S3
- Tambahkan langkah Spark
- Lihat riwayat aplikasi Spark
- Akses UI web Spark
- Menggunakan konektor Amazon Kinesis Data Streams streaming terstruktur Spark
- Menggunakan integrasi Amazon Redshift untuk Apache Spark dengan Amazon EMR
- Riwayat rilis Spark