크롤러가 Lake Formation 보안 인증을 사용할 때 발생하는 크롤러 오류 문제 해결 - AWS Glue
오류: The S3 location: s3://examplepath is not registered오류: User/Role is not authorized to perform: lakeformation:GetDataAccess on resource오류: Insufficient Lake Formation permission(s) on (Database name: exampleDatabase, Table Name: exampleTable)오류: Insufficient Lake Formation permission(s) on s3://examplepathLake Formation 보안 인증을 사용한 크롤러 구성에 대해 자주 묻는 질문

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

크롤러가 Lake Formation 보안 인증을 사용할 때 발생하는 크롤러 오류 문제 해결

아래 정보를 사용하여 Lake Formation 보안 인증을 사용하여 크롤러를 구성하는 동안 다양한 문제를 진단하고 수정합니다.

오류: The S3 location: s3://examplepath is not registered

Lake Formation 보안 인증을 사용하여 크롤러를 실행하려면 먼저 Lake Formation 권한을 설정해야 합니다. 이 오류를 해결하려면 Lake Formation에 대상 Amazon S3 위치를 등록하세요. 자세한 내용을 알아보려면 Registering an Amazon S3 location(Amazon S3 위치 등록)을 참조하세요.

오류: User/Role is not authorized to perform: lakeformation:GetDataAccess on resource

IAM 콘솔 또는 AWS CLI을(를) 사용하여 크롤러 역할에 대해 lakeformation:GetDataAccess 권한을 추가하세요. 이 권한을 통해 Lake Formation은 데이터에 액세스하기 위한 임시 보안 인증 요청을 승인합니다. 아래 정책을 참조하세요.

{
  "Version": "2012-10-17",
  "Statement": {
    "Effect": "Allow",
    "Action": [
      "lakeformation:GetDataAccess"
    ],
    "Resource": "*"
  }
}

오류: Insufficient Lake Formation permission(s) on (Database name: exampleDatabase, Table Name: exampleTable)

Lake Formation 콘솔(https://console.aws.amazon.com/lakeformation/)에서 데이터베이스에 대한 크롤러 역할 액세스 권한( Create, Describe, Alter)을 부여합니다. 이는 출력 데이터베이스로 지정됩니다. 테이블에 대한 권한도 부여할 수 있습니다. 자세한 내용을 알아보려면 명명된 리소스 메서드를 사용하여 데이터베이스 권한 부여를 참조하세요.

오류: Insufficient Lake Formation permission(s) on s3://examplepath

  1. 교차 계정 크롤링

    1. Amazon S3 버킷이 등록된 계정(계정 B)을 사용하여 Lake Formation 콘솔(https://console.aws.amazon.com/lakeformation/)에 로그인합니다. 크롤러가 실행될 계정에 데이터 위치 권한을 부여합니다. 이렇게 하면 크롤러가 대상 Amazon S3 위치에서 데이터를 읽을 수 있습니다.

    2. 크롤러가 생성된 계정(계정 A)에서 크롤러 실행에 사용되는 IAM 역할에 대상 Amazon S3 위치에 대한 데이터 위치 권한을 부여하여 크롤러가 Lake Formation의 대상에서 데이터를 읽을 수 있도록 합니다. 자세한 내용을 알아보려면 데이터 위치 권한 부여(외부 계정)를 참조하세요.

  2. 계정 내(크롤러 및 등록된 Amazon S3 위치가 동일한 계정에 있음) 크롤링 - Amazon S3 위치에서 크롤러 실행에 사용되는 IAM 역할에 데이터 위치 권한을 부여하여 크롤러가 Lake Formation의 대상에서 데이터를 읽을 수 있도록 합니다. 자세한 내용을 알아보려면 Granting data location permissions (same account)(데이터 위치 권한 부여(동일한 계정))를 참조하세요.

Lake Formation 보안 인증을 사용한 크롤러 구성에 대해 자주 묻는 질문

  1. AWS 콘솔을 사용하여 Lake Formation 보안 인증을 사용하여 실행되도록 크롤러를 구성하려면 어떻게 해야 합니까?

    AWS Glue 콘솔(https://console.aws.amazon.com/glue/)에서 크롤러를 구성하는 동안 Use Lake Formation credentials for crawling Amazon S3 data source(Amazon S3 데이터 소스 크롤링에 Lake Formation 자격 증명 사용) 옵션을 선택합니다. 크로스 계정 크롤링의 경우 대상 Amazon S3 위치가 Lake Formation에 등록된 AWS 계정 ID를 지정합니다. 계정 내 크롤링의 경우 accountId 필드는 선택 사항입니다.

  2. AWS CLI을(를) 사용하여 Lake Formation 보안 인증을 사용하여 실행되도록 크롤러를 구성하려면 어떻게 해야 합니까?

    CreateCrawler API 직접 호출 중에 LakeFormationConfiguration 추가:

    "LakeFormationConfiguration": {
    "UseLakeFormationCredentials": true,
    "AccountId": "111111111111" (AWS account ID where the target Amazon S3 location is registered with Lake Formation)
  }

  3. Lake Formation 보안 인증을 사용하는 크롤러에 대해 지원되는 대상은 무엇입니까?

    Lake Formation 보안 인증을 사용하는 크롤러는 Amazon S3(계정 내 및 크로스 계정 크롤링), 계정 내 데이터 카탈로그 대상(기본 위치가 Amazon S3인 경우), Apache Iceberg 대상에 대해서만 지원됩니다.

  4. Lake Formation 보안 인증을 사용하여 단일 크롤러의 일부로 여러 Amazon S3 버킷을 크롤링할 수 있습니까?

    아니요, Lake Formation 보안 인증 벤딩을 사용하는 크롤링 대상의 경우 기본 Amazon S3 위치가 동일한 버킷에 속해야 합니다. 예를 들어, 고객은 동일한 버킷(버킷 1) 아래에 있는 경우 여러 대상 위치 (s3://bucket1/folder1, s3://bucket1/folder2)을(를) 사용할 수 있습니다. 다른 버킷 지정(s3://bucket1/folder1, s3://bucket2/folder2)은 지원되지 않습니다.