Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Menggunakan AWS Lake Formation dengan AWS Glue
Insinyur data dan DevOps profesional menggunakan AWS Glue Extract, Transform, dan Load (ETL) dengan Apache Spark untuk melakukan transformasi pada kumpulan data mereka di Amazon S3 dan memuat data yang diubah ke dalam data lake dan gudang data untuk analitik, pembelajaran mesin, dan pengembangan aplikasi. Dengan tim yang berbeda mengakses kumpulan data yang sama di Amazon S3, sangat penting untuk memberikan dan membatasi izin berdasarkan peran mereka.
AWS Lake Formation dibangun di atas AWS Glue, dan layanan berinteraksi dengan cara berikut:
-
Lake Formation dan AWS Glue berbagi Katalog Data yang sama.
-
Fitur konsol Lake Formation berikut memanggil AWS Glue konsol:
-
Pekerjaan — Untuk informasi selengkapnya, lihat Menambahkan Lowongan di Panduan AWS Glue Pengembang.
-
Crawler — Untuk informasi selengkapnya, lihat Katalogisasi Tabel dengan Crawler di Panduan Pengembang.AWS Glue
-
-
Alur kerja yang dihasilkan saat Anda menggunakan cetak biru Lake Formation adalah alur kerja. AWS Glue Anda dapat melihat dan mengelola alur kerja ini di konsol Lake Formation dan AWS Glue konsol.
-
Transformasi pembelajaran mesin disediakan dengan Lake Formation dan dibangun di atas AWS Glue API operasi. Anda membuat dan mengelola transformasi pembelajaran mesin di AWS Glue konsol. Untuk informasi selengkapnya, lihat Transformasi Machine Learning di Panduan AWS Glue Pengembang.
Anda dapat menggunakan kontrol akses berbutir halus Lake Formation untuk mengelola sumber daya Katalog Data dan lokasi data Amazon S3 yang ada.
catatan
AWS Glue ETLmemerlukan akses penuh ke seluruh tabel saat mengambil data dari lokasi Amazon S3 yang mendasarinya. AWS Glue ETLpekerjaan gagal jika Anda menerapkan izin tingkat kolom di atas meja.
Support untuk tipe tabel transaksional
Menerapkan izin Lake Formation memungkinkan Anda mengamankan data transaksional di danau data berbasis Amazon S3. Tabel di bawah ini mencantumkan format tabel transaksional yang didukung dalam AWS Glue dan izin Lake Formation. Lake Formation memberlakukan izin ini untuk AWS Glue operasi.
Format tabel yang didukung | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Format tabel | Deskripsi dan operasi yang diizinkan | Izin Lake Formation didukung di AWS Glue | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Apache Hudi |
Format tabel terbuka yang digunakan untuk menyederhanakan pemrosesan data tambahan dan pengembangan pipa data. Sebagai contoh, lihat Menggunakan kerangka kerja Hudi di. AWS Glue |
Izin tingkat tabel tersedia untuk tabel Hudi. Untuk informasi selengkapnya, lihat Batas. |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Gunung Es Apache |
Format tabel terbuka yang mengelola koleksi besar file sebagai tabel. Sebagai contoh, lihat Menggunakan kerangka Iceberg di. AWS Glue |
Izin tingkat tabel tersedia untuk tabel Iceberg. Untuk informasi selengkapnya, lihat Batas. |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Yayasan Linux Delta Lake |
Delta Lake adalah proyek sumber terbuka yang membantu mengimplementasikan arsitektur data lake modern yang biasanya dibangun di Amazon S3 atau Hadoop Distributed File System (). HDFS Sebagai contoh, lihat Menggunakan kerangka Delta Lake di AWS Glue. |
Izin tingkat tabel tersedia untuk tabel Delta Lake. Untuk informasi selengkapnya, lihat Batas. |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Sumber daya tambahan
Posting blog dan repositori
-
Menulis ke tabel Apache Hudi menggunakan konektor khusus AWS Glue
-
AWS repositori template Cloudformation dan contoh kode pyspark
untuk menganalisis data streaming menggunakan, Apache Hudi AWS Glue, dan Amazon S3.
