3단계: Hudi 테이블 권한 설정

이 섹션에서는 에서 Hudi 테이블을 생성하고, 에서 데이터 권한을 설정하고AWS Glue Data Catalog, Amazon Athena를 사용하여 데이터를 쿼리하는 방법을 알아봅니다.AWS Lake Formation

Hudi 테이블을 만들려면

이 단계에서는 데이터 카탈로그에 Hudi 트랜잭션 테이블을 만드는AWS Glue 작업을 실행합니다.

1. 미국 동부 (버지니아 북부) 리전의 https://console.aws.amazon.com/glue/ 에서AWS Glue 콘솔을 엽니다.

   데이터 레이크 관리자 사용자로서

2. 왼쪽 탐색 창에서 작업을 선택합니다.

3. Select native-hudi-create.

4. 작업에서 작업 편집을 선택합니다.

5. Job 세부 정보에서 고급 속성을 확장하고 HiveAWS Glue Data Catalog 메타스토어로 사용 옆의 확인란을 선택하여 테이블 메타데이터를 에 추가합니다AWS Glue Data Catalog. 이렇게 하면 작업에 사용되는 데이터 카탈로그 리소스의AWS Glue Data Catalog 메타스토어로 지정되며 Lake Formation 권한을 나중에 카탈로그 리소스에 적용할 수 있습니다.

6. 저장을 선택합니다.

7. Run(실행)을 선택합니다. 실행 중인 작업의 상태를 볼 수 있습니다.

   AWS Glue작업에 대한 자세한 내용은 AWS Glue개발자 안내서의AWS Glue 콘솔에서의 작업 사용을 참조하십시오.

   이 작업은 데이터베이스:lfhudidb 데이터베이스에 Hudi (소) 테이블을 생성합니다. Lake Formation 콘솔에서product 테이블을 확인합니다.

Lake Formation 포메이션에 데이터 위치를 등록하려면

다음으로 Amazon S3 경로를 데이터 레이크의 루트 위치로 등록합니다.

1. https://console.aws.amazon.com/lakeformation/ 에서 데이터 레이크 관리자 사용자로 Lake Formation 콘솔을 엽니다.

2. 탐색 창의 등록 및 인제스트에서 데이터 위치를 선택합니다.

3. 콘솔 오른쪽 상단에서 위치 등록을 선택합니다.

4. 위치 등록 페이지에서 다음을 입력합니다.

   • Amazon S3 경로 — 찾아보기를 선택하고 선택합니다lf-otf-datalake-123456789012. Amazon S3 루트 위치 옆의 오른쪽 화살표 (>) 를 클릭하여 해당s3/buckets/lf-otf-datalake-123456789012/transactionaldata/native-hudi 위치로 이동합니다.

   • IAM 역할 — IAMLF-OTF-RegisterRole 역할로 선택합니다.

   • 위치 등록을 선택합니다.

Hudi 테이블에 데이터 레이크 권한을 부여하려면

이 단계에서는 기업 분석가 사용자에게 데이터 레이크 권한을 부여합니다.

1. 데이터 레이크 권한에서 Grant를 선택합니다.

2. 데이터 권한 부여 화면에서 IAM 사용자 및 역할을 선택합니다.

3. lf-consumer-analystuser드롭다운에서.

4. 이름이 지정된 데이터 카탈로그 리소스를 선택합니다.

5. 데이터베이스의 경우 을 선택합니다lfhudidb.

6. 테이블에서 을 선택합니다product.

7. 다음으로 열을 지정하여 열 기반 액세스를 부여할 수 있습니다.

   1. 테이블 권한에서 선택을 선택합니다.

   2. 데이터 권한에서 열 기반 액세스를 선택하고 열 포함을 선택합니다.

   3. product_nameprice, 및category 열을 선택합니다.

   4. 권한 부여(Grant)를 선택합니다.

Athena를 사용하여 Hudi 테이블을 쿼리하려면

이제 Athena를 사용하여 생성한 Hudi 테이블을 쿼리해 보십시오. Athena에서 쿼리를 처음 실행하는 경우 쿼리 결과 위치를 구성해야 합니다. 자세한 내용은 쿼리 결과 위치 지정 을 참조하세요.

1. Data Lake 관리자 사용자로 로그아웃하고lf-consumer-analystuserAWS CloudFormation 출력에서 앞서 적어둔 암호를 사용하여 미국 동부 (버지니아 북부) 지역에서와 같이 로그인합니다.

2. https://console.aws.amazon.com/athena/에서 Athena 콘솔을 엽니다.

3. 설정을 선택하고 관리를 선택합니다.

4. 쿼리 결과 위치 상자에서AWS CloudFormation 출력에서 생성한 버킷의 경로를 입력합니다. AthenaQueryResultLocation(s3://lf-otf-tutorial-123456789012/athena-results/) 의 값을 복사하고 저장합니다.

5. 다음 쿼리를 실행하여 Hudi 테이블에 저장된 10개 레코드를 미리 볼 수 있습니다.

   select * from lfhudidb.product limit 10;

   Hudi 테이블 쿼리에 대한 자세한 내용은 Amazon Athena 사용 설명서의 Hudi 테이블 쿼리 섹션을 참조하십시오.