3단계: Hudi 테이블에 대한 권한 설정 - AWS Lake Formation

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

3단계: Hudi 테이블에 대한 권한 설정

이 섹션에서는 AWS Glue Data Catalog에서 Hudi 테이블을 생성하고, AWS Lake Formation에서 데이터 권한을 설정하고, Amazon Athena를 사용하여 데이터를 쿼리하는 방법을 알아봅니다.

Hudi 테이블을 생성하려면

이 단계에서는 데이터 카탈로그에 Hudi 트랜잭션 테이블을 생성하는 AWS Glue 작업을 실행합니다.

  1. 미국 동부 (버지니아 북부) 지역의 https://console.aws.amazon.com/glue/ 에서 콘솔에 로그인합니다. AWS Glue

    엽니다.

  2. 왼쪽 탐색 창에서 작업을 선택합니다.

  3. native-hudi-create을(를) 선택합니다.

  4. 작업에서 작업 편집을 선택합니다.

  5. 작업 세부 정보에서 고급 속성을 확장하고 AWS Glue Data Catalog를 Hive 메타스토어로 사용 옆의 확인란을 선택하여 AWS Glue Data Catalog에 테이블 메타데이터를 추가합니다. 이를 통해 AWS Glue Data Catalog를 작업에 사용되는 데이터 카탈로그 리소스의 메타스토어로 지정하고 나중에 카탈로그 리소스에 Lake Formation 권한을 적용할 수 있습니다.

  6. 저장을 선택합니다.

  7. Run(실행)을 선택합니다. 작업이 실행되는 동안 작업의 상태를 볼 수 있습니다.

    AWS Glue 작업에 대한 자세한 내용은 AWS Glue 개발자 안내서에서 AWS Glue 콘솔에서 작업 관련 작업을 참조하세요.

    이 작업은 데이터베이스 lfhudidb에 Hudi(cow) 테이블을 생성합니다. Lake Formation 콘솔에서 product 테이블을 확인합니다.

Lake Formation에 데이터 위치를 등록하려면

다음으로, Amazon S3 경로를 데이터 레이크의 루트 위치로 등록합니다.

  1. Lake Formation 콘솔 https://console.aws.amazon.com/lakeformation/ 에 데이터 레이크 관리자 사용자로 로그인합니다.

  2. 탐색 창의 등록 및 수집에서 데이터 위치를 선택합니다.

  3. 콘솔 오른쪽 상단에서 위치 등록을 선택합니다.

  4. 위치 등록 페이지에서 다음을 입력합니다.

    • Amazon S3 경로 - 찾아보기를 선택하고 lf-otf-datalake-123456789012를 선택합니다. Amazon S3 루트 위치 옆에 있는 오른쪽 화살표(>)를 클릭하여 s3/buckets/lf-otf-datalake-123456789012/transactionaldata/native-hudi 위치로 이동합니다.

    • IAM 역할 - IAM 역할로 LF-OTF-RegisterRole을 선택합니다.

    • 위치 등록을 선택합니다.

Hudi 테이블에서 데이터 레이크 권한을 부여하려면

이 단계에서는 비즈니스 분석가 사용자에게 데이터 레이크 권한을 부여합니다.

  1. 데이터 레이크 권한에서 권한 부여를 선택합니다.

  2. 데이터 권한 부여 화면에서 IAM 사용자 및 역할을 선택합니다.

  3. 드롭다운 목록에서 lf-consumer-analystuser를 선택합니다.

  4. 명명된 데이터 카탈로그 리소스를 선택합니다.

  5. 데이터베이스에서 lfhudidb를 선택합니다.

  6. 테이블에 대해 product을 선택합니다.

  7. 다음으로, 열을 지정하여 열 기반 액세스 권한을 부여할 수 있습니다.

    1. 테이블 권한에서 선택을 선택합니다.

    2. 데이터 권한에서 열 기반 액세스를 선택하고 열 포함을 선택합니다.

    3. product_name, pricecategory 열을 선택합니다.

    4. 권한 부여를 선택합니다.

Athena를 사용하여 Hudi 테이블을 쿼리하려면

이제 Athena를 사용하여 생성한 Hudi 테이블에 대한 쿼리를 시작합니다. Athena에서 처음으로 쿼리를 실행하는 경우 쿼리 결과 위치를 구성해야 합니다. 자세한 내용은 쿼리 결과 위치 지정을 참조하세요.

  1. 데이터 레이크 관리자 사용자로 로그아웃하고 출력의 앞부분에 적힌 비밀번호를 사용하여 미국 동부 (버지니아 북부) 지역에서처럼 lf-consumer-analystuser 로그인합니다. AWS CloudFormation

  2. https://console.aws.amazon.com/athena/에서 Athena 콘솔을 엽니다.

  3. 설정을 선택하고 관리를 선택합니다.

  4. 쿼리 결과 위치 상자에 AWS CloudFormation 출력에서 생성한 버킷 경로를 입력합니다. AthenaQueryResultLocation(s3://lf-otf-tutorial-123456789012/athena-results/) 의 값을 복사하고 저장합니다.

  5. 다음 쿼리를 실행하여 Hudi 테이블에 저장된 10개의 레코드를 미리 봅니다.

    select * from lfhudidb.product limit 10;

    Hudi 테이블을 쿼리하는 방법에 대한 자세한 내용은 Amazon Athena 사용 설명서의 Hudi 테이블 쿼리 섹션을 참조하세요.