Prasyarat perayap - AWS Glue

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Prasyarat perayap

Crawler mengasumsikan izin AWS Identity and Access Management (IAM) role yang Anda tentukan saat Anda menentukannya. IAM role ini harus memiliki izin untuk mengekstrak data dari penyimpanan data Anda dan menuliskannya ke Katalog Data. Konsol AWS Glue hanya mencantumkan IAM role yang telah melampirkan kebijakan kepercayaan saja untuk layanan prinsipal utama AWS Glue. Dari konsol tersebut, Anda juga dapat membuat IAM role dengan kebijakan IAM untuk mengakses penyimpanan data Amazon S3 yang diakses oleh crawler. Untuk informasi lebih lanjut tentang menyediakan peran untuk AWS Glue, lihat Kebijakan berbasis identitas untuk Glue AWS.

catatan

Saat merayapi penyimpanan data Delta Lake, Anda harus memiliki izin Baca/Tulis ke lokasi Amazon S3.

Untuk crawler Anda, Anda dapat membuat sebuah peran dan melampirkan kebijakan berikut:

  • Kebijakan AWSGlueServiceRole, yang merupakan kebijakan terkelola AWS, yang memberikan izin yang diperlukan pada Katalog Data

  • Sebuah kebijakan inline yang memberikan izin pada sumber data.

Pendekatan yang lebih cepat adalah membiarkan penuntun crawler konsol AWS Glue membuat peran untuk Anda. Peran yang diciptakannya secara khusus dibuat untuk crawler, dan mencakup kebijakan terkelola AWS AWSGlueServiceRole ditambah kebijakan inline yang diperlukan untuk sumber data yang ditentukan.

Jika Anda menentukan peran yang ada untuk sebuah crawler, pastikan bahwa crawler tersebut menyertakan kebijakan AWSGlueServiceRole atau kebijakan yang setara (atau versi lingkup diperkecil dari kebijakan ini), ditambah kebijakan inline yang diperlukan. Sebagai contoh, untuk penyimpanan data Amazon S3, kebijakan inline minimal harus berupa kebijakan berikut:

{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "s3:GetObject", "s3:PutObject" ], "Resource": [ "arn:aws:s3:::bucket/object*" ] } ] }

Untuk penyimpanan data Amazon DynamoDB, kebijakan minimalnya harus berupa kebijakan berikut:

{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "dynamodb:DescribeTable", "dynamodb:Scan" ], "Resource": [ "arn:aws:dynamodb:region:account-id:table/table-name*" ] } ] }

Selain itu, jika crawler membaca data Amazon S3 yang dienkripsi AWS Key Management Service (AWS KMS), maka IAM role harus memiliki izin dekripsi pada kunci AWS KMS. Untuk informasi selengkapnya, lihat Langkah 2: Buat peran IAM untuk AWS Glue.