Risolvi gli errori del crawler quando il crawler utilizza le credenziali di Lake Formation

Utilizza le informazioni seguenti per diagnosticare e risolvere vari problemi durante la configurazione del crawler che utilizza le credenziali di Lake Formation.

Errore: la posizione S3: s3://examplepath non è registrata

Affinché un crawler possa funzionare utilizzando le credenziali di Lake Formation, devi prima configurare le autorizzazioni di Lake Formation. Per risolvere questo errore, registra la posizione Amazon S3 di destinazione con Lake Formation. Per ulteriori informazioni, consulta la pagina Registrazione di una posizione Amazon S3.

Errore: l'utente/ruolo non è autorizzato ad eseguire: lakeformation:GetDataAccess sulla risorsa

Aggiungi l’autorizzazione lakeformation:GetDataAccess al ruolo del crawler utilizzando la console IAM o AWS CLI. Con questa autorizzazione, Lake Formation concede la richiesta di credenziali temporanee per accedere ai dati. Vedi la politicy di seguito:

{
  "Version": "2012-10-17",
  "Statement": {
    "Effect": "Allow",
    "Action": [
      "lakeformation:GetDataAccess"
    ],
    "Resource": "*"
  }
}

Errore: autorizzazioni Lake Formation insufficienti su (nome del database: exampleDatabase, nome tabella: exampleTable)

Nella console di Lake Formation (https://console.aws.amazon.com/lakeformation/), concedi al ruolo del crawler le autorizzazioni di accesso ( Create,Describe,Alter) sul database, che è specificato come database di output. Puoi concedere le autorizzazioni anche sulla tabella. Per ulteriori informazioni, consulta Concessione delle autorizzazioni al database tramite il metodo delle risorse denominate.

Errore: autorizzazioni di Lake Formation insufficienti su s3://examplepath

1. Crawling tra più account

   1. Accedi alla console di Lake Formation (https://console.aws.amazon.com/lakeformation/) utilizzando l'account in cui è registrato il bucket Amazon S3 (account B). Concedi le autorizzazioni per la posizione dei dati all'account in cui verrà eseguito il crawler. Ciò consentirà al crawler di leggere i dati dalla posizione Amazon S3 di destinazione.

   2. Nell'account in cui viene creato il crawler (account A), concedi le autorizzazioni relative alla posizione dei dati nella posizione Amazon S3 di destinazione al ruolo IAM utilizzato per l'esecuzione del crawler, in modo che quest'ultimo possa leggere i dati dalla destinazione in Lake Formation. Per ulteriori informazioni, consulta Concessione delle autorizzazioni per la posizione dei dati (account esterno).

2. Nel crawling dell'account (il crawler e la posizione Amazon S3 sono nello stesso account): Concedi le autorizzazioni relative alla posizione dei dati al ruolo IAM utilizzato per l'esecuzione del crawler sulla posizione Amazon S3, in modo che il crawler possa leggere i dati dalla destinazione in Lake Formation. Per ulteriori informazioni, consulta la pagina Concessione delle autorizzazioni per la posizione dei dati (stesso account).

Domande frequenti sulla configurazione del crawler utilizzando le credenziali di Lake Formation

1. Come posso configurare un crawler per l'esecuzione utilizzando le credenziali di Lake Formation tramite la console AWS?

   Nella console AWS Glue (https://console.aws.amazon.com/glue/), durante la configurazione del crawler, seleziona l'opzione Use Lake Formation credentials for crawling Amazon S3 data source (Usa le credenziali di Lake Formation per eseguire il crawling dell'origine dati Amazon S3). Per il crawling tra più account, specifica l'ID Account AWS nel quale la posizione Amazon S3 di destinazione è registrata con Lake Formation. Per effettuare il crawling all'interno dell'account, il campo accountId è facoltativo.

2. Come posso configurare un crawler per l'esecuzione utilizzando le credenziali di Lake Formation tramite AWS CLI?

   Durante la chiamata API CreateCrawler, aggiungi LakeFormationConfiguration:

   "LakeFormationConfiguration": {
       "UseLakeFormationCredentials": true,
       "AccountId": "111111111111" (AWS account ID where the target Amazon S3 location is registered with Lake Formation)
     }     

3. Quali sono le destinazioni supportate per un crawler che utilizza le credenziali di Lake Formation?

   Un crawler che utilizza le credenziali Lake Formation è supportato solo per Amazon S3 (crawling in un account e tra più account), per le destinazioni Catalogo dati in un account (dove la posizione sottostante è Amazon S3) e per le destinazioni Apache Iceberg.

4. Posso eseguire il crawling di più bucket Amazon S3 come parte di un singolo crawler utilizzando le credenziali di Lake Formation?

   No, per le destinazioni del crawling che utilizzano la distribuzione delle credenziali Lake Formation, le posizioni Amazon S3 sottostanti devono appartenere allo stesso bucket. Ad esempio, i clienti possono utilizzare più posizioni di destinazione (s3://bucket1/folder1, s3://bucket1/folder2) se sono sotto lo stesso bucket (bucket1). Specificare bucket diversi (s3://bucket1/folder1, s3://bucket2/folder2) non è supportato.