Pertimbangan dan batasan

Perhatikan pertimbangan dan batasan berikut saat Anda menggunakan Lake Formation dengan Amazon EMR di EKS:

• Amazon EMR di EKS mendukung kontrol akses berbutir halus melalui Lake Formation hanya untuk Apache Hive, Apache Iceberg, Apache Hudi, dan Format tabel Delta. Format Apache Hive termasuk Parket, ORC, dan xSV.

• DynamicResourceAllocationdiaktifkan secara default, dan Anda tidak dapat mematikan DynamicResourceAllocation untuk pekerjaan Lake Formation. Karena nilai default spark.dynamicAllocation.maxExecutors konfigurasi DRA adalah tak terbatas, harap konfigurasikan nilai yang sesuai berdasarkan beban kerja Anda.

• Pekerjaan berkemampuan Lake Formation tidak mendukung penggunaan EMR khusus pada Gambar EKS di System Driver dan System Executors.

• Anda hanya dapat menggunakan Lake Formation dengan pekerjaan Spark.

• EMR di EKS dengan Lake Formation hanya mendukung satu sesi Spark selama pekerjaan.

• EMR di EKS dengan Lake Formation hanya mendukung kueri tabel lintas akun yang dibagikan melalui tautan sumber daya.

• Berikut ini tidak didukung:

  • Kumpulan data terdistribusi yang tangguh (RDD)

  • Streaming percikan

  • Menulis dengan izin yang diberikan Lake Formation

  • Kontrol akses untuk kolom bersarang

• EMR pada EKS memblokir fungsionalitas yang mungkin merusak isolasi lengkap driver sistem, termasuk yang berikut:

  • UDTs, HiveUDFs, dan fungsi apa pun yang ditentukan pengguna yang melibatkan kelas khusus

  • Sumber data kustom

  • Pasokan stoples tambahan untuk ekstensi Spark, konektor, atau perintah metastore ANALYZE TABLE

• Untuk menegakkan kontrol akses, EXPLAIN PLAN dan operasi DDL seperti DESCRIBE TABLE tidak mengekspos informasi terbatas.

• Amazon EMR di EKS membatasi akses ke driver sistem Spark log pada pekerjaan yang mendukung Lake Formation. Karena driver sistem berjalan dengan lebih banyak akses, peristiwa dan log yang dihasilkan driver sistem dapat mencakup informasi sensitif. Untuk mencegah pengguna atau kode yang tidak sah mengakses data sensitif ini, EMR di EKS menonaktifkan akses ke log driver sistem. Untuk pemecahan masalah, hubungi AWS dukungan.

• Jika Anda mendaftarkan lokasi tabel dengan Lake Formation, jalur akses data melewati kredensil yang disimpan Lake Formation, terlepas dari izin IAM untuk EMR pada peran eksekusi pekerjaan EKS. Jika Anda salah mengonfigurasi peran yang terdaftar dengan lokasi tabel, pekerjaan yang dikirimkan yang menggunakan peran dengan izin IAM S3 ke lokasi tabel akan gagal.

• Menulis ke tabel Lake Formation menggunakan izin IAM daripada izin yang diberikan Lake Formation. Jika peran eksekusi pekerjaan Anda memiliki izin S3 yang diperlukan, Anda dapat menggunakannya untuk menjalankan operasi penulisan.

Berikut ini adalah pertimbangan dan batasan saat menggunakan Apache Iceberg:

• Anda hanya dapat menggunakan Apache Iceberg dengan katalog sesi dan tidak sewenang-wenang bernama katalog.

• Tabel gunung es yang terdaftar di Lake Formation hanya mendukung tabel metadatahistory,,,, metadata_log_entriessnapshots, files dan. manifests refs Amazon EMR menyembunyikan kolom yang mungkin memiliki data sensitif, sepertipartitions,, dan. path summaries Batasan ini tidak berlaku untuk tabel Gunung Es yang tidak terdaftar di Lake Formation.

• Tabel yang tidak Anda daftarkan di Lake Formation mendukung semua prosedur yang disimpan Gunung Es. Prosedur register_table dan migrate prosedur tidak didukung untuk tabel apa pun.

• Kami menyarankan Anda menggunakan Iceberg DataFrameWriter V2 alih-alih V1.

Untuk informasi selengkapnya, lihat Memahami EMR Amazon tentang konsep dan terminologi EKS dan Aktifkan akses klaster untuk Amazon EMR di EKS.

Penafian untuk administrator data

catatan

Saat Anda memberikan akses ke sumber daya Lake Formation ke peran IAM untuk EMR di EKS, Anda harus memastikan administrator atau operator klaster EMR adalah administrator tepercaya. Ini sangat relevan untuk sumber daya Lake Formation yang dibagikan di berbagai organisasi dan AWS akun.

Tanggung jawab untuk administrator EKS

• SystemNamespace harus dilindungi. Tidak ada pengguna atau sumber daya atau entitas atau perkakas yang diizinkan untuk memiliki izin RBAC Kubernetes pada sumber daya Kubernetes di namespace. System

• Tidak ada pengguna atau sumber daya atau entitas kecuali EMR pada layanan EKS yang memiliki CREATE akses ke POD, CONFIG_MAP, dan SECRET di namespace. User

• Systemdriver dan System pelaksana berisi data sensitif. Jadi, peristiwa Spark, log driver Spark, dan log pelaksana Spark di System namespace tidak boleh diteruskan ke sistem penyimpanan log eksternal.