Hive 메타데이터 스토어 데이터 공유 고려 사항 및 제한 사항

AWS Glue Data Catalog 메타데이터 페더레이션 (데이터 카탈로그 페더레이션) 을 사용하면 Amazon S3 데이터에 대한 메타데이터를 저장하는 외부 메타스토어에 데이터 카탈로그를 연결하고 를 사용하여 데이터 액세스 권한을 안전하게 관리할 수 있습니다. AWS Lake Formation

Hive 데이터베이스에서 만든 페더레이션형 데이터베이스에는 다음 고려 사항 및 제한 사항이 적용됩니다.

고려 사항

• AWS SAM 애플리케이션 지원 — AWS SAM 배포하는 애플리케이션 리소스 (Amazon API Gateway 및 Lambda 함수) 의 가용성에 대한 책임은 사용자에게 있습니다. 사용자가 쿼리를 실행할 때 Hive AWS Glue Data Catalog 메타스토어와 Hive 메타스토어 간의 연결이 제대로 작동하는지 확인하십시오.

• Hive 메타스토어 버전 요구 사항 - Apache Hive 버전 3 이상을 사용해서만 페더레이션된 데이터베이스를 만들 수 있습니다.

• 매핑된 데이터베이스 요구 사항 - 모든 Hive 데이터베이스를 Lake Formation의 새 데이터베이스에 매핑해야 합니다.

• 데이터베이스 수준 페더레이션 지원 - 데이터베이스 수준에서만 Hive 메타스토어에 연결할 수 있습니다.

• 페더레이션형 데이터베이스에 대한 권한 - 페더레이션된 데이터베이스 또는 페더레이션된 데이터베이스의 테이블에 적용된 권한은 소스 테이블이나 데이터베이스가 삭제된 경우에도 지속됩니다. 소스 데이터베이스 또는 테이블을 재생성할 때 권한을 다시 부여할 필요가 없습니다. Lake Formation 권한이 있는 페더레이션된 테이블을 소스에서 삭제해도 Lake Formation 권한은 계속 표시되며 필요한 경우 이를 취소할 수 있습니다.

  사용자가 페더레이션형 데이터베이스를 삭제하면 해당하는 모든 권한이 손실됩니다. 같은 이름으로 동일한 데이터베이스를 재생성해도 Lake Formation 권한은 복구되지 않습니다. 사용자는 새 권한을 다시 설정해야 합니다.

• 통합 데이터베이스의 IAM AllowedPrincipal 그룹 권한 — Lake Formation은 DataLakeSettings 을 기반으로 모든 데이터베이스 및 테이블에 대한 권한을 이름이 지정된 가상 그룹으로 설정할 수 있습니다. IAMAllowedPrincipal 는 IAM 보안 주체 정책 및 리소스 정책을 통해 데이터 카탈로그 리소스에 액세스할 수 있는 모든 IAM 보안 주체를 IAMAllowedPrincipal 가리킵니다. AWS Glue 데이터베이스 또는 테이블에 이러한 권한이 있는 경우 모든 보안 주체에게 데이터베이스 또는 테이블에 대한 액세스 권한이 부여됩니다.

  그러나 Lake Formation은 페더레이션형 데이터베이스의 테이블에 대한 IAMAllowedPrincipal 권한을 허용하지 않습니다. 페더레이션형 데이터베이스를 생성할 때는 CreateTableDefaultPermissions 파라미터를 빈 목록으로 전달해야 합니다.

  자세한 정보는 데이터 레이크의 기본 설정 변경을 참조하세요.

• 쿼리에서 테이블 조인 - Hive 메타스토어 테이블을 데이터 카탈로그 기본 테이블과 조인하여 쿼리를 실행할 수 있습니다.

제한 사항

• Hive AWS Glue Data Catalog 메타스토어와 Hive 메타스토어 간의 메타데이터 동기화 제한 — Hive 메타스토어 연결을 설정한 후에는 Hive 메타스토어의 메타데이터를 Hive 메타스토어와 동기화할 페더레이션된 데이터베이스를 생성해야 합니다. AWS Glue Data Catalog페더레이션형 데이터베이스 아래의 테이블은 사용자가 쿼리를 실행할 때 런타임에 동기화됩니다.

• 페더레이션형 데이터베이스에서 새 테이블 생성 시 제한 사항 - 페더레이션형 데이터베이스에서는 새 테이블을 생성할 수 없습니다.

• 데이터 권한 제한 - Hive 메타스토어 테이블 보기에 대한 권한에 대한 지원은 제공되지 않습니다.