クローラーの前提条件

クローラーは、定義時に指定した AWS Identity and Access Management （IAM) ロールのアクセス許可を引き受けます。このIAMロールには、データストアからデータを抽出して Data Catalog に書き込むためのアクセス許可が必要です。AWS Glue コンソールには、AWS Glueプリンシパルサービスの信頼ポリシーがアタッチされているIAMロールのみが一覧表示されます。コンソールから、クローラーがアクセスする Amazon S3 データストアにアクセスするための IAMポリシーを持つ IAMロールを作成することもできます。AWS Glue のロールの指定の詳細については、「AWS Glue のアイデンティティベースのポリシー」を参照してください。

注記

Delta Lake データストアをクロールする場合、Amazon S3 の場所に対する読み取り/書き込み権限が必要です。

クローラーには、ロールを作成して次のポリシーをアタッチできるようになりました。

• Data Catalog に必要なアクセス許可を付与する AWSGlueServiceRole AWS マネージドポリシー

• データソースに対するアクセス許可を付与するインラインポリシー。

• ロールに対する iam:PassRole アクセス許可を付与するインラインポリシー。

AWS Glue コンソールクローラーウィザードにロールを作成させるのが、より迅速なアプローチです。作成するロールはクローラー専用であり、 AWSGlueServiceRole AWS 管理ポリシーと、指定されたデータソースに必要なインラインポリシーが含まれています。

クローラーに既存のロールを指定する場合は、そのロールに AWSGlueServiceRole ポリシーまたは同等のポリシー (またはこのポリシーのスコープダウンバージョン) と、必要なインラインポリシーが含まれてることを確認します。例えば、Amazon S3 データストアの場合、インラインポリシーは少なくとも次のようになります。

{
   "Version": "2012-10-17",
    "Statement": [
        {
          "Effect": "Allow",
          "Action": [
              "s3:GetObject"
          ],
          "Resource": [
              "arn:aws:s3:::bucket/object*"
          ]
        }
    ]
}

Amazon DynamoDB データストアの場合、ポリシーは、少なくとも次のようになります。

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "dynamodb:DescribeTable",
        "dynamodb:Scan"
      ],
      "Resource": [
        "arn:aws:dynamodb:region:account-id:table/table-name*"
      ]
    }
  ]
}

さらに、クローラーが AWS Key Management Service （AWS KMS) 暗号化された Amazon S3 データを読み取る場合、IAMロールには AWS KMS キーに対する復号アクセス許可が必要です。詳細については、「ステップ 2: AWS Glue 用の IAM ロールを作成する」を参照してください。