Apa itu AWS Lake Formation? - AWS Lake Formation
Fitur Lake FormationMemulai dengan Lake Formation

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Apa itu AWS Lake Formation?

Selamat datang di Panduan AWS Lake Formation Pengembang.

AWS Lake Formation membantu Anda mengatur secara terpusat, mengamankan, dan berbagi data secara global untuk analitik dan pembelajaran mesin. Dengan Lake Formation, Anda dapat mengelola kontrol akses berbutir halus untuk data lake data Anda di Amazon Simple Storage Service (Amazon S3) dan metadatanya di. AWS Glue Data Catalog

Lake Formation menyediakan model izinnya sendiri yang menambah model IAM izin. Model izin Lake Formation memungkinkan akses halus ke data yang disimpan di danau data melalui mekanisme hibah atau pencabutan sederhana, seperti sistem manajemen basis data relasional (). RDBMS Izin Lake Formation diberlakukan menggunakan kontrol granular di tingkat kolom, baris, dan sel di seluruh layanan AWS analitik dan pembelajaran mesin, termasuk Amazon Athena, Amazon Amazon QuickSight Redshift Spectrum, Amazon, dan. EMR AWS Glue

Mode akses hibrida Lake Formation AWS Glue Data Catalog memungkinkan Anda mengamankan dan mengakses data yang dikatalogkan menggunakan izin dan kebijakan izin Lake Formation untuk Amazon S3 dan IAM tindakan. AWS Glue Dengan mode akses hybrid, administrator data dapat memasukkan izin Lake Formation secara selektif dan bertahap, dengan fokus pada satu kasus penggunaan data lake pada satu waktu.

Lake Formation juga memungkinkan Anda untuk berbagi data secara internal dan eksternal di beberapa AWS organisasi Akun AWS, atau langsung dengan IAM kepala sekolah di akun lain yang menyediakan akses halus ke metadata dan data yang mendasarinya. AWS Glue Data Catalog

Topik

Fitur Lake Formation

Lake Formation membantu Anda memecah silo data dan menggabungkan berbagai jenis data terstruktur dan tidak terstruktur ke dalam repositori terpusat. Pertama, identifikasi penyimpanan data yang ada di Amazon S3 atau SQL database relasional dan No, dan pindahkan data ke data lake Anda. Kemudian crawl, katalog, dan siapkan data untuk analitik. Selanjutnya, berikan pengguna Anda akses layanan mandiri yang aman ke data melalui pilihan layanan analitik mereka.

Konsumsi dan manajemen data

Impor data dari database yang sudah ada AWS

Setelah Anda menentukan di mana basis data yang ada dan memberikan kredensil akses Anda, Lake Formation membaca data dan metadatanya (skema) untuk memahami isi sumber data. Kemudian mengimpor data ke danau data baru Anda dan mencatat metadata dalam katalog pusat. Dengan Lake Formation, Anda dapat mengimpor data dari database MySQL, PostgreSQL, SQL Server, MariaDB, dan Oracle yang berjalan di Amazon atau dihosting di Amazon. RDS EC2 Pemuatan data massal dan inkremental didukung.

Impor data dari sumber eksternal lainnya

Anda dapat menggunakan Lake Formation untuk memindahkan data dari database lokal dengan menghubungkan dengan Java Database Connectivity ()JDBC. Identifikasi sumber target Anda dan berikan kredensil akses di konsol, dan Lake Formation membaca dan memuat data Anda ke dalam data lake. Untuk mengimpor data dari database selain yang tercantum di atas, Anda dapat membuat ETL pekerjaan khusus dengan AWS Glue.

Katalog dan beri label data Anda

Anda dapat menggunakan AWS Glue crawler untuk membaca data Anda di Amazon S3 dan mengekstrak skema database dan tabel serta menyimpan data tersebut dalam pencarian. AWS Glue Data Catalog Kemudian, gunakan Lake Formation Kontrol akses berbasis tag Lake Formation (TBAC) untuk mengelola izin pada database, tabel, dan kolom. Untuk informasi selengkapnya tentang menambahkan tabel ke Katalog Data, lihatMembuat tabel dan database Katalog Data.

Manajemen keamanan

Tentukan dan kelola kontrol akses

Lake Formation menyediakan satu tempat untuk mengelola kontrol akses untuk data di danau data Anda. Anda dapat menentukan kebijakan keamanan yang membatasi akses ke data di tingkat database, tabel, kolom, baris, dan sel. Kebijakan ini berlaku untuk IAM pengguna dan peran, dan untuk pengguna dan grup saat melakukan federasi melalui penyedia identitas eksternal. Anda dapat menggunakan kontrol berbutir halus untuk mengakses data yang diamankan oleh Lake Formation dalam Amazon Redshift Spectrum, Athena AWS Glue ETL, dan Amazon untuk Apache Spark. EMR Setiap kali Anda membuat IAM identitas, pastikan untuk mengikuti praktik IAM terbaik. Untuk informasi selengkapnya, lihat Praktik terbaik keamanan di Panduan IAM Pengguna.

Mode akses hibrid

Mode akses hibrida Lake Formation memberikan fleksibilitas untuk mengaktifkan izin Lake Formation secara selektif untuk database dan tabel di Anda. AWS Glue Data Catalog Dengan mode akses hybrid, Anda sekarang memiliki jalur tambahan yang memungkinkan Anda mengatur izin Lake Formation untuk kumpulan pengguna tertentu tanpa mengganggu kebijakan izin pengguna atau beban kerja lain yang ada. Untuk informasi selengkapnya, lihat Mode akses hibrid.

Melaksanakan pencatatan audit

Lake Formation menyediakan log audit komprehensif CloudTrail untuk memantau akses dan menunjukkan kepatuhan terhadap kebijakan yang ditetapkan secara terpusat. Anda dapat mengaudit riwayat akses data di seluruh layanan analitik dan pembelajaran mesin yang membaca data di danau data Anda melalui Lake Formation. Ini memungkinkan Anda melihat pengguna atau peran mana yang telah mencoba mengakses data apa, dengan layanan mana, dan kapan. Anda dapat mengakses log audit dengan cara yang sama Anda mengakses CloudTrail log lain menggunakan CloudTrail APIs dan konsol. Untuk informasi selengkapnya tentang CloudTrail log, lihatLogging AWS Lake Formation API Calls Menggunakan AWS CloudTrail.

Keamanan baris dan tingkat sel

Lake Formation menyediakan filter data yang memungkinkan Anda membatasi akses ke kombinasi kolom dan baris. Gunakan keamanan baris dan tingkat sel untuk melindungi data sensitif seperti Informasi Identifikasi Pribadi (). PII Untuk informasi selengkapnya tentang keamanan tingkat baris, lihat. Pemfilteran data dan keamanan tingkat sel di Lake Formation

Kontrol akses berbasis tag

Gunakan kontrol akses berbasis tag Lake Formation untuk mengelola ratusan atau bahkan ribuan izin data dengan membuat label khusus yang disebut LF-tag. Anda sekarang dapat menentukan LF-tag dan melampirkannya ke database, tabel, atau kolom. Kemudian, bagikan akses terkontrol di seluruh layanan analitik, pembelajaran mesin (ML), dan ekstrak, transformasi, dan muat (ETL) untuk konsumsi. LF-tag memastikan bahwa tata kelola data dapat diskalakan dengan mudah dengan mengganti definisi kebijakan dari ribuan sumber daya dengan beberapa tag logis. Lake Formation menyediakan pencarian berbasis teks melalui metadata ini, sehingga pengguna Anda dapat dengan cepat menemukan data yang perlu mereka analisis.

Akses lintas akun

Kemampuan manajemen izin Lake Formation menyederhanakan pengamanan dan pengelolaan data lake terdistribusi di beberapa AWS akun melalui pendekatan terpusat, menyediakan kontrol akses berbutir halus ke Katalog Data dan lokasi Amazon S3. Untuk informasi selengkapnya, lihat Berbagi data lintas akun di Lake Formation.

Berbagi data

Kemampuan berbagi data memungkinkan Anda mengatur izin pada kumpulan data yang disimpan di berbagai sumber data seperti Amazon Redshift tanpa memigrasikan data atau metadata ke Amazon S3 atau. AWS Glue Data Catalog Anda dapat menggunakan metode berikut untuk berbagi data di Lake Formation:

Untuk informasi selengkapnya, lihat Berbagi data di Lake Formation.

  • Mengintegrasikan Lake Formation dengan berbagi data Amazon Redshift — Gunakan Lake Formation untuk mengelola database, tabel, kolom, dan izin akses tingkat baris secara terpusat dari datashares Amazon Redshift dan membatasi akses pengguna ke objek dalam datashare.

  • Menyambung AWS Glue Data Catalog ke metastor eksternal — Sambungkan AWS Glue Data Catalog ke metastor eksternal untuk mengelola izin akses pada kumpulan data di Amazon S3 menggunakan Lake Formation. Tidak diperlukan migrasi metadata ke dalam AWS Glue Data Catalog .

    Untuk informasi selengkapnya, silakan lihat Mengelola izin pada kumpulan data yang menggunakan metastor eksternal

  • Mengintegrasikan Lake Formation dengan AWS Data Exchange — Lake Formation mendukung lisensi akses ke data Anda melalui. AWS Data Exchange Jika Anda tertarik untuk melisensikan data Lake Formation Anda, lihat Apa yang ada AWS Data Exchange di Panduan AWS Data Exchange Pengguna.

Memulai dengan Lake Formation

Kami menyarankan Anda memulai dengan bagian berikut: