Pertimbangan dan batasan saat menggunakan konektor Spark

• Kami menyarankan Anda mengaktifkan JDBC koneksi dari Spark di Amazon EMR ke Amazon Redshift. SSL

• Kami menyarankan Anda mengelola kredensyal untuk cluster Amazon Redshift sebagai praktik AWS Secrets Manager terbaik. Lihat Menggunakan AWS Secrets Manager untuk mengambil kredensyal untuk menghubungkan ke Amazon Redshift sebagai contoh.

• Kami menyarankan Anda meneruskan IAM peran dengan parameter aws_iam_role untuk parameter autentikasi Amazon Redshift.

• tempdirURIMenunjuk ke lokasi Amazon S3. Direktori temp ini tidak dibersihkan secara otomatis dan karenanya dapat menambah biaya tambahan.

• Pertimbangkan rekomendasi berikut untuk Amazon Redshift:

  • Kami menyarankan Anda memblokir akses publik ke cluster Amazon Redshift.

  • Kami menyarankan Anda mengaktifkan pencatatan audit Amazon Redshift.

  • Kami menyarankan Anda mengaktifkan enkripsi saat istirahat Amazon Redshift.

• Pertimbangkan rekomendasi berikut untuk Amazon S3:

  • Kami menyarankan Anda memblokir akses publik ke bucket Amazon S3.

  • Kami menyarankan Anda menggunakan enkripsi sisi server Amazon S3 untuk mengenkripsi bucket Amazon S3 yang digunakan.

  • Sebaiknya gunakan kebijakan siklus hidup Amazon S3 untuk menentukan aturan penyimpanan bucket Amazon S3.

  • Amazon EMR selalu memverifikasi kode yang diimpor dari sumber terbuka ke dalam gambar. Demi keamanan, kami tidak mendukung metode otentikasi berikut dari Spark ke Amazon S3:

    • Mengatur kunci AWS akses dalam klasifikasi hadoop-env konfigurasi

    • AWS Mengkodekan kunci akses di tempdir URI

Untuk informasi selengkapnya tentang penggunaan konektor dan parameter yang didukung, lihat sumber daya berikut:

• Integrasi Amazon Redshift untuk Apache Spark di Panduan Manajemen Amazon Redshift

• Repositori spark-redshift komunitas di Github