Membuat objek di AWS Glue Data Catalog - AWS Lake Formation

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Membuat objek di AWS Glue Data Catalog

AWS Lake Formation menggunakan AWS Glue Data Catalog (Katalog Data) untuk menyimpan metadata tentang data lake, sumber data, transformasi, dan target. Metadata adalah data tentang data yang mendasari dalam set data Anda. Setiap AWS akun memiliki satu Katalog Data per AWS Wilayah.

Metadata dalam Katalog Data diatur dalam hierarki data tiga tingkat yang terdiri dari katalog, database, dan tabel. Ini mengatur data dari berbagai sumber ke dalam wadah logis yang disebut katalog. Setiap katalog mewakili data dari sumber seperti gudang data Amazon Redshift, Amazon DynamoDB database, dan sumber data pihak ketiga seperti Snowflake, MySQL, dan lebih dari 30 sumber data eksternal, yang terintegrasi melalui konektor federasi. Anda juga dapat membuat katalog baru di Katalog Data untuk menyimpan data di Bucket Tabel S3 atau Redshift Managed Storage (RMS).

Tabel menyimpan informasi tentang data yang mendasarinya, termasuk informasi skema, informasi partisi, dan lokasi data. Database adalah kumpulan tabel. Katalog Data juga berisi tautan sumber daya, yang merupakan tautan ke katalog bersama, database, dan tabel di akun eksternal, dan digunakan untuk akses lintas akun ke data di danau data.

Katalog Data adalah objek katalog bersarang yang berisi katalog, database, dan tabel. Ini direferensikan oleh Akun AWS ID, dan merupakan katalog default di akun Wilayah AWS dan file. Katalog Data menggunakan hierarki tiga tingkat (catalog.database.table) untuk mengatur tabel.

  • Katalog — Tingkat paling atas dari tiga tingkat hierarki metadata Katalog Data. Anda dapat menambahkan beberapa katalog dalam Katalog Data melalui federasi.

  • Database — Tingkat kedua dari hierarki metadata yang terdiri dari tabel dan tampilan. Database juga disebut sebagai skema di banyak sistem data seperti Amazon Redshift dan Trino.

  • Tabel dan tampilan — Tingkat ketiga hierarki data 3 tingkat Katalog Data.

Semua tabel Iceberg di Amazon S3 disimpan dalam Katalog Data default yang memiliki ID Katalog = ID. Akun AWS Anda dapat membuat katalog federasi dalam menyimpan definisi tabel di AWS Glue Data Catalog Amazon Redshift, penyimpanan Tabel Amazon S3, atau sumber data pihak ketiga lainnya melalui federasi.