Configuración de un rastreador para usar las credenciales de Lake Formation

Puede configurar un rastreador para que utilice AWS Lake Formation las credenciales para acceder a un almacén de datos de Amazon S3 o a una tabla del catálogo de datos con una ubicación subyacente de Amazon S3 dentro de la misma ubicación Cuenta de AWS u otra Cuenta de AWS. Puede configurar una tabla existente del Catálogo de datos como destino de un rastreador, si el rastreador y la tabla del Catálogo de datos residen en la misma cuenta. Actualmente, solo se permite un único destino de catálogo con una sola tabla de catálogo cuando se utiliza una tabla del Catálogo de datos como destino de un rastreador.

nota

Cuando vaya a definir una tabla del Catálogo de datos como destino de un rastreador, asegúrese de que la ubicación subyacente de la tabla del Catálogo de datos sea una ubicación de Amazon S3. Los rastreadores que utilizan credenciales de Lake Formation solo admiten destinos del Catálogo de datos con ubicaciones de Amazon S3 subyacentes.

Configuración requerida cuando el rastreador y la ubicación de Amazon S3 o la tabla del Catálogo de datos registradas residen en la misma cuenta (rastreo en cuenta)

Para permitir que el rastreador acceda a un almacén de datos o a una tabla del Catálogo de datos con credenciales de Lake Formation, se debe registrar la ubicación de los datos en Lake Formation. Además, el IAM rol del rastreador debe tener permisos para leer los datos del destino en el que está registrado el bucket de Amazon S3.

Puede completar los siguientes pasos de configuración con AWS Management Console o AWS Command Line Interface (AWS CLI).

AWS Management Console

1. Antes de configurar un rastreador para que acceda al origen del rastreador, registre la ubicación de los datos del almacén de datos o el Catálogo de datos en Lake Formation. En la consola de Lake Formation (https://console.aws.amazon.com/lakeformation/), registre una ubicación de Amazon S3 como ubicación raíz de su lago de datos en el lugar Cuenta de AWS donde está definido el rastreador. Para obtener más información, consulte Registro de una ubicación de Amazon S3.

2. Otorgue permisos de ubicación de datos al IAM rol que se usa para la ejecución del rastreador para que el rastreador pueda leer los datos del destino en Lake Formation. Para obtener más información, consulte Concesión de permisos de ubicación de datos (misma cuenta).

3. Otorgue al rol del rastreador permisos de acceso (Create) a la base de datos, que se especifica como base de datos de salida. Para obtener más información, consulte Concesión de permisos de base de datos mediante la consola de Lake Formation y el método de recurso con nombre.

4. En la IAM consola (https://console.aws.amazon.com/iam/), crea un IAM rol para el rastreador. Agregue la política lakeformation:GetDataAccess al rol.

5. En la AWS Glue consola (https://console.aws.amazon.com/glue/), mientras configura el rastreador, seleccione la opción Use Lake Formation credentials for crawling Amazon S3 data source.

   nota

   El accountId campo es opcional para el rastreo dentro de la cuenta.

AWS CLI

aws glue --profile demo create-crawler --debug --cli-input-json '{
    "Name": "prod-test-crawler",
    "Role": "arn:aws:iam::111122223333:role/service-role/AWSGlueServiceRole-prod-test-run-role",
    "DatabaseName": "prod-run-db",
    "Description": "",
    "Targets": {
    "S3Targets":[
                {
                 "Path": "s3://crawl-testbucket"
                }
                ]
                },
   "SchemaChangePolicy": {
      "UpdateBehavior": "LOG",
      "DeleteBehavior": "LOG"
  },
  "RecrawlPolicy": {
    "RecrawlBehavior": "CRAWL_EVERYTHING"
  },
  "LineageConfiguration": {
    "CrawlerLineageSettings": "DISABLE"
  },
  "LakeFormationConfiguration": {
    "UseLakeFormationCredentials": true,
    "AccountId": "111122223333"
  },
  "Configuration": {
           "Version": 1.0,
           "CrawlerOutput": {
             "Partitions": { "AddOrUpdateBehavior": "InheritFromTable" },
             "Tables": {"AddOrUpdateBehavior": "MergeNewColumns" }
           },
           "Grouping": { "TableGroupingPolicy": "CombineCompatibleSchemas" }
         },
  "CrawlerSecurityConfiguration": "",
  "Tags": {
    "KeyName": ""
  }
}'