Prasyarat crawler

Crawler mengasumsikan izin peran AWS Identity and Access Management (IAM) yang Anda tentukan saat Anda mendefinisikannya. IAMPeran ini harus memiliki izin untuk mengekstrak data dari penyimpanan data Anda dan menulis ke Katalog Data. AWS GlueKonsol hanya mencantumkan IAM peran yang telah melampirkan kebijakan kepercayaan untuk layanan AWS Glue utama. Dari konsol, Anda juga dapat membuat IAM peran dengan IAM kebijakan untuk mengakses penyimpanan data Amazon S3 yang diakses oleh crawler. Untuk informasi lebih lanjut tentang menyediakan peran untuk AWS Glue, lihat Kebijakan berbasis identitas untuk Glue AWS.

catatan

Saat merayapi penyimpanan data Delta Lake, Anda harus memiliki izin Baca/Tulis ke lokasi Amazon S3.

Untuk crawler Anda, Anda dapat membuat sebuah peran dan melampirkan kebijakan berikut:

• Kebijakan AWSGlueServiceRole AWS terkelola, yang memberikan izin yang diperlukan pada Katalog Data

• Sebuah kebijakan inline yang memberikan izin pada sumber data.

• Kebijakan inline yang memberikan iam:PassRole izin pada peran tersebut.

Pendekatan yang lebih cepat adalah membiarkan penuntun crawler konsol AWS Glue membuat peran untuk Anda. Peran yang dibuatnya khusus untuk crawler, dan menyertakan kebijakan AWSGlueServiceRole AWS terkelola ditambah kebijakan sebaris yang diperlukan untuk sumber data yang ditentukan.

Jika Anda menentukan peran yang ada untuk sebuah crawler, pastikan bahwa crawler tersebut menyertakan kebijakan AWSGlueServiceRole atau kebijakan yang setara (atau versi lingkup diperkecil dari kebijakan ini), ditambah kebijakan inline yang diperlukan. Sebagai contoh, untuk penyimpanan data Amazon S3, kebijakan inline minimal harus berupa kebijakan berikut:

{
   "Version": "2012-10-17",
    "Statement": [
        {
          "Effect": "Allow",
          "Action": [
              "s3:GetObject"
          ],
          "Resource": [
              "arn:aws:s3:::bucket/object*"
          ]
        }
    ]
}

Untuk penyimpanan data Amazon DynamoDB, kebijakan minimalnya harus berupa kebijakan berikut:

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "dynamodb:DescribeTable",
        "dynamodb:Scan"
      ],
      "Resource": [
        "arn:aws:dynamodb:region:account-id:table/table-name*"
      ]
    }
  ]
}

Selain itu, jika crawler membaca AWS Key Management Service (AWS KMS) data Amazon S3 yang dienkripsi, maka IAM peran tersebut harus memiliki izin dekripsi pada kunci. AWS KMS Untuk informasi selengkapnya, lihat Langkah 2: Buat peran IAM untuk AWS Glue.