Kesalahan crawler saat crawler menggunakan izin Lake Formation

Gunakan informasi di bawah ini untuk mendiagnosis dan memperbaiki berbagai masalah saat mengonfigurasi crawler menggunakan kredenal Lake Formation.

Kesalahan: Lokasi S3: s3://examplepath tidak terdaftar

Agar crawler dapat berjalan menggunakan kredenal Lake Formation, Anda harus terlebih dahulu menyiapkan izin Lake Formation. Untuk mengatasi kesalahan ini, harap daftarkan lokasi target Amazon S3 dengan Lake Formation. Untuk informasi selengkapnya, lihat Mendaftarkan lokasi Amazon S3.

Kesalahan: Pengguna/Peran tidak diizinkan untuk melakukan: lakeformation: pada sumber daya GetDataAccess

Harap tambahkan lakeformation:GetDataAccess izin ke peran crawler menggunakan IAM konsol atau AWS CLI. Dengan izin ini, Lake Formation memberikan permintaan kredensil sementara untuk mengakses data. Lihat kebijakan di bawah ini:

{
  "Version": "2012-10-17",
  "Statement": {
    "Effect": "Allow",
    "Action": [
      "lakeformation:GetDataAccess"
    ],
    "Resource": "*"
  }
}

Kesalahan: Izin Lake Formation tidak mencukupi pada (Nama database:exampleDatabase, Nama Tabel:exampleTable)

Di Lake Formation console (https://console.aws.amazon.com/lakeformation/), berikan izin akses peran crawler ( Create,Describe,Alter) pada database, yang ditetapkan sebagai database keluaran. Anda juga dapat memberikan izin di atas meja. Untuk informasi selengkapnya, lihat Memberikan izin database menggunakan metode sumber daya bernama.

Kesalahan: Izin Lake Formation tidak mencukupi di s3://examplepath

1. Perayapan lintas akun

   1. Masuk ke konsol Lake Formation (https://console.aws.amazon.com/lakeformation/) menggunakan akun tempat bucket Amazon S3 terdaftar (akun B). Berikan izin lokasi data ke akun tempat crawler akan dijalankan. Ini akan memungkinkan crawler membaca data dari lokasi Amazon S3 target.

   2. Di akun tempat crawler dibuat (akun A), berikan izin lokasi data pada lokasi Amazon S3 target ke peran yang digunakan untuk IAM menjalankan crawler sehingga crawler dapat membaca data dari tujuan di Lake Formation. Untuk informasi selengkapnya, lihat Memberikan izin lokasi data (akun eksternal).

2. Perayapan dalam akun (crawler dan lokasi Amazon S3 terdaftar berada di akun yang sama) - Berikan izin lokasi data ke peran yang digunakan untuk IAM crawler yang dijalankan di lokasi Amazon S3 sehingga crawler dapat membaca data dari target di Lake Formation. Untuk informasi selengkapnya, lihat Memberikan izin lokasi data (akun yang sama).

Pertanyaan yang sering diajukan tentang konfigurasi crawler menggunakan kredensil Lake Formation

1. Bagaimana cara mengonfigurasi crawler untuk dijalankan menggunakan kredenal Lake Formation menggunakan konsol? AWS

   Di AWS Glue console (https://console.aws.amazon.com/glue/), saat mengonfigurasi crawler, pilih opsi Gunakan kredenal Lake Formation untuk merayapi sumber data Amazon S3. Untuk perayapan lintas akun, tentukan Akun AWS ID tempat lokasi Amazon S3 target terdaftar di Lake Formation. Untuk perayapan dalam akun, accountIdbidang ini opsional.

2. Bagaimana cara mengonfigurasi crawler untuk dijalankan menggunakan kredensil Lake Formation? AWS CLI

   Selama CreateCrawler API panggilan, tambahkanLakeFormationConfiguration:

   "LakeFormationConfiguration": {
       "UseLakeFormationCredentials": true,
       "AccountId": "111111111111" (AWS account ID where the target Amazon S3 location is registered with Lake Formation)
     }     

3. Apa target yang didukung untuk crawler yang menggunakan kredenal Lake Formation?

   Crawler yang menggunakan kredensi Lake Formation hanya didukung untuk Amazon S3 (perayapan dalam akun dan lintas akun), target Katalog Data dalam akun (di mana lokasi dasarnya adalah Amazon S3), dan target Apache Iceberg.

4. Dapatkah saya merayapi beberapa bucket Amazon S3 sebagai bagian dari crawler tunggal menggunakan kredenal Lake Formation?

   Tidak, untuk merayapi target menggunakan penjual kredenal Lake Formation, lokasi Amazon S3 yang mendasarinya harus milik bucket yang sama. Misalnya, pelanggan dapat menggunakan beberapa lokasi target (s3://bucket1/folder1, s3://bucket1/folder2) jika mereka berada di bawah ember yang sama (bucket1). Menentukan bucket yang berbeda (s3://bucket1/folder1, s3://bucket2/folder2) tidak didukung.