Meluncurkan aplikasi Spark menggunakan integrasi Amazon Redshift untuk Apache Spark

Untuk Amazon EMR merilis 6.4 hingga 6.9, Anda harus menggunakan --packages opsi --jars or untuk menentukan JAR file berikut yang ingin Anda gunakan. --jarsOpsi menentukan dependensi yang disimpan secara lokal, diHDFS, atau menggunakan HTTP /S. Untuk melihat lokasi file lain yang didukung oleh --jars opsi, lihat Advanced Dependency Management dalam dokumentasi Spark. --packagesOpsi menentukan dependensi yang disimpan dalam repo Maven publik.

• spark-redshift.jar

• spark-avro.jar

• RedshiftJDBC.jar

• minimal-json.jar

Amazon EMR merilis 6.10.0 dan yang lebih tinggi tidak memerlukan minimal-json.jar dependensi, dan secara otomatis menginstal dependensi lain ke setiap cluster secara default. Contoh berikut menunjukkan cara meluncurkan aplikasi Spark dengan integrasi Amazon Redshift untuk Apache Spark.

Amazon EMR 6.10.0 +

Contoh berikut menunjukkan cara meluncurkan aplikasi Spark dengan spark-redshift konektor dengan EMR rilis Amazon 6.10 dan lebih tinggi.

spark-submit my_script.py

Amazon EMR 6.4.0 - 6.9.x

Untuk meluncurkan aplikasi Spark dengan spark-redshift konektor di Amazon EMR merilis 6.4 hingga 6.9, Anda harus menggunakan --packages opsi --jars or, seperti yang ditunjukkan contoh berikut. Perhatikan bahwa jalur yang tercantum dengan --jars opsi adalah jalur default untuk JAR file.

spark-submit \
  --jars /usr/share/aws/redshift/jdbc/RedshiftJDBC.jar,/usr/share/aws/redshift/spark-redshift/lib/spark-redshift.jar,/usr/share/aws/redshift/spark-redshift/lib/spark-avro.jar,/usr/share/aws/redshift/spark-redshift/lib/minimal-json.jar \
  my_script.py