Prasyarat pengoptimalan tabel

Pengoptimal tabel mengasumsikan izin peran AWS Identity and Access Management (IAM) yang Anda tentukan saat Anda mengaktifkan pemadatan untuk tabel. Peran IAM harus memiliki izin untuk membaca data dan memperbarui metadata di Katalog Data. Anda dapat membuat peran IAM dan melampirkan kebijakan inline berikut:

• Tambahkan kebijakan sebaris berikut yang memberikan izin baca/tulis Amazon S3 di lokasi untuk data yang tidak terdaftar di Lake Formation. Kebijakan ini juga mencakup izin untuk memperbarui tabel di Katalog Data, dan AWS Glue mengizinkan menambahkan log di Amazon CloudWatch log dan metrik publikasi. Untuk data sumber di Amazon S3 yang tidak terdaftar di Lake Formation, akses ditentukan oleh kebijakan izin IAM untuk Amazon S3 dan tindakan. AWS Glue

  Dalam kebijakan inline berikut, ganti bucket-name dengan nama bucket Amazon S3 Andaaws-account-id, region dan dengan nomor akun dan Wilayah Katalog Data yang AWS validdatabase_name, dengan nama database Anda, table_name dan dengan nama tabel.

  {
      "Version": "2012-10-17",
      "Statement": [
          {
              "Effect": "Allow",
              "Action": [
                  "s3:PutObject",
                  "s3:GetObject",
                  "s3:DeleteObject"
              ],
              "Resource": [
                  "arn:aws:s3:::<bucket-name>/*"
              ]
          },
          {
              "Effect": "Allow",
              "Action": [
                  "s3:ListBucket"
              ],
              "Resource": [
                  "arn:aws:s3:::<bucket-name>"
              ]
          },
          {
              "Effect": "Allow",
              "Action": [
                  "glue:UpdateTable",
                  "glue:GetTable"
              ],
              "Resource": [
                  "arn:aws:glue:<region>:<aws-account-id>:table/<database-name>/<table-name>",
                  "arn:aws:glue:<region>:<aws-account-id>:database/<database-name>",
                  "arn:aws:glue:<region>:<aws-account-id>:catalog"
              ]
          },
          {
              "Effect": "Allow",
              "Action": [
                  "logs:CreateLogGroup",
                  "logs:CreateLogStream",
                  "logs:PutLogEvents"
              ],
              "Resource": "arn:aws:logs:<region>:<aws-account-id>:log-group:/aws-glue/iceberg-compaction/logs:*"
          }
      ]
  }        

• Gunakan kebijakan berikut untuk mengaktifkan pemadatan data yang terdaftar di Lake Formation.

  Jika peran pemadatan tidak memiliki izin IAM_ALLOWED_PRINCIPALS grup yang diberikan pada tabel, peran tersebut memerlukan Lake Formation ALTERDESCRIBE, INSERT dan DELETE izin di atas tabel.

  Untuk informasi selengkapnya tentang mendaftarkan bucket Amazon S3 dengan Lake Formation, lihat Menambahkan lokasi Amazon S3 ke data lake Anda.

  {
   "Version": "2012-10-17",
   "Statement": [
      {
          "Effect": "Allow",
          "Action": [
              "lakeformation:GetDataAccess"
          ],
          "Resource": "*"
      },
      {
          "Effect": "Allow",
          "Action": [
          "glue:UpdateTable",
          "glue:GetTable"
          ],
  
          "Resource": [
              "arn:aws:glue:<region>:<aws-account-id>:table/<databaseName>/<tableName>",
              "arn:aws:glue:<region>:<aws-account-id>:database/<database-name>",
              "arn:aws:glue:<region>:<aws-account-id>:catalog"
          ]
      },
      {
          "Effect": "Allow",
          "Action": [
              "logs:CreateLogGroup",
              "logs:CreateLogStream",
              "logs:PutLogEvents"
          ],
          "Resource": "arn:aws:logs:<region>:<aws-account-id>:log-group:/aws-glue/iceberg-compaction/logs:*"
          }
      ]
   }         
        

• (Opsional) Untuk memadatkan tabel Iceberg dengan data di bucket Amazon S3 yang dienkripsi menggunakan enkripsi sisi Server, peran pemadatan memerlukan izin untuk mendekripsi objek Amazon S3 dan menghasilkan kunci data baru untuk menulis objek ke bucket terenkripsi. Tambahkan kebijakan berikut ke AWS KMS kunci yang diinginkan. Kami hanya mendukung enkripsi tingkat ember.

  {
      "Effect": "Allow",
      "Principal": {
          "AWS": "arn:aws:iam::<aws-account-id>:role/<compaction-role-name>"
      },
      "Action": [
          "kms:Decrypt",
          "kms:GenerateDataKey"
      ],
      "Resource": "*"
  } 

• (Opsional) Untuk lokasi data yang terdaftar dengan Lake Formation, peran yang digunakan untuk mendaftarkan lokasi memerlukan izin untuk mendekripsi objek Amazon S3 dan menghasilkan kunci data baru untuk menulis objek ke bucket terenkripsi. Untuk informasi selengkapnya, lihat Mendaftarkan lokasi Amazon S3 terenkripsi.

• (Opsional) Jika AWS KMS kunci disimpan di AWS akun yang berbeda, Anda harus menyertakan izin berikut ke peran pemadatan.

  { 
      "Version": "2012-10-17", 
      "Statement": [ 
          { 
              "Effect": "Allow", 
              "Action": [ 
                  "kms:Decrypt", 
                  "kms:GenerateDataKey"
              ], 
              "Resource": ["arn:aws:kms:<REGION>:<KEY_OWNER_ACCOUNT_ID>:key/<KEY_ID>" ]
          }
      ] 
  }            
               

• Peran yang Anda gunakan untuk menjalankan pemadatan harus memiliki iam:PassRole izin pada peran tersebut.

  { 
      "Version": "2012-10-17", 
      "Statement": [ 
          { 
              "Effect": "Allow", 
              "Action": [ 
                  "iam:PassRole" 
              ], 
              "Resource": [ 
                  "arn:aws:iam::<account-id>:role/<compaction-role-name>" 
              ] 
          } 
      ] 
  }           
              

• Tambahkan kebijakan kepercayaan berikut ke peran AWS Glue layanan untuk mengambil peran IAM untuk menjalankan proses pemadatan.

  {
      "Version": "2012-10-17",
      "Statement": [
          {
              "Sid": "",
              "Effect": "Allow",
              "Principal": {
                  "Service": "glue.amazonaws.com"
              },
              "Action": "sts:AssumeRole"
          }
      ]
   }