Pertimbangan dan batasan untuk menggunakan Iceberg di Amazon EMR - Amazon EMR

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Pertimbangan dan batasan untuk menggunakan Iceberg di Amazon EMR

  • Amazon EMR 6.5.0 tidak mendukung Iceberg yang berjalan di Amazon EMR di EKS secara default. Tersedia gambar khusus Amazon EMR 6.5.0 yang memungkinkan Anda meneruskan--jars local:///usr/share/aws/iceberg/lib/iceberg-spark3-runtime.jar sebagai parameter kiriman api untuk membuat tabel Iceberg di Amazon EMR di EKS. Lihat Mengirimkan beban kerja Spark di Amazon EMR menggunakan gambar kustom di Panduan Pengembangan Amazon EMR Anda juga dapat menghubungi AWSSupport untuk bantuan.

  • Saat menggunakanAWS Glue sebagai katalog untuk Iceberg, pastikan database tempat Anda membuat tabel ada diAWS Glue. Jika Anda menggunakan layanan seperti Lake Formation dan Anda tidak dapat memuat katalog, pastikan Anda memiliki akses yang tepat ke layanan untuk menjalankan perintah.

  • Jika Anda ingin menggunakan Trino dengan Iceberg, Amazon EMR 6.5 tidak menawarkan dukungan Katalog Trino Iceberg untuk Iceberg secara asli. Trino membutuhkan Iceberg v0.11, jadi kami sarankan meluncurkan klaster Amazon EMR yang berbeda untuk Trino dari klaster Spark dan termasuk Iceberg v0.11 pada klaster itu.