건물 AWS Glue Data Catalog 전망

에서 뷰는 하나 이상의 테이블을 참조하는 SQL 쿼리로 내용이 정의되는 가상 테이블입니다. AWS Glue Data Catalog Amazon Athena 또는 Amazon Redshift의 SQL 편집기를 사용하여 최대 10개의 테이블을 참조하는 데이터 카탈로그 뷰를 생성할 수 있습니다. 뷰의 기본 참조 테이블은 동일한 데이터베이스 또는 동일한 데이터 카탈로그 내의 다른 데이터베이스에 속할 수 있습니다. AWS 계정

Amazon S3 위치에 저장된 기본 데이터를 사용하여 표준 AWS Glue 테이블 및 Apache Hudi, Linux Foundation Delta Lake, Apache Iceberg와 같은 개방형 테이블 형식 (OTF) 의 테이블을 참조할 수 있습니다. AWS Lake Formation또한 Lake Formation과 공유하는 Amazon Redshift 데이터 공유의 페더레이션 테이블에서 뷰를 생성할 수 있습니다.

데이터 카탈로그 뷰를 다른 뷰 유형과 차별화하기

데이터 카탈로그 보기는 아파치 하이브, 아파치 스파크 및 Amazon Athena 보기와 다릅니다. 데이터 카탈로그 뷰는 의 기본 기능이며 여러 언어를 정의하여 AWS Glue Data Catalog만든 뷰입니다. Athena 또는 Amazon Redshift Spectrum과 같은 지원되는 분석 서비스 중 하나를 사용하여 데이터 카탈로그 보기를 생성하고 지원되는 다른 분석 서비스를 사용하여 동일한 보기에 액세스할 수 있습니다. 반면 Apache Hive, Apache Spark 및 Athena 뷰는 Athena 및 Amazon Redshift와 같은 각 분석 서비스에서 독립적으로 생성되며 해당 서비스 내에서만 볼 수 있고 액세스할 수 있습니다.

디파이너 뷰란 무엇입니까?

정의자 뷰는 SQL 뷰를 만든 주도자의 권한에 따라 작동하는 뷰입니다. 정의자 역할은 참조된 테이블에 액세스하는 데 필요한 권한을 가지며 뷰를 정의하는 SQL 문을 실행합니다. 정의자는 뷰를 만들고 세분화된 액세스 제어를 통해 AWS Lake Formation다른 사용자와 공유합니다.

사용자가 정의자 뷰를 쿼리하면 쿼리 엔진은 정의자 역할의 권한을 사용하여 기본 참조 테이블에 액세스합니다. 이 접근 방식을 통해 사용자는 원본 테이블에 직접 액세스할 필요 없이 뷰와 상호 작용할 수 있으므로 보안이 향상되고 데이터 액세스 관리가 간소화됩니다.

정의자 뷰를 설정하려면 데이터 카탈로그에서 뷰를 호스팅하는 동일한 AWS 계정 내에서 정의자가 IAM 역할을 해야 합니다. 정의자 역할에 필요한 권한에 대한 자세한 내용은 을 참조하십시오. 뷰 생성을 위한 사전 조건

다국어 보기를 위한 프레임워크

데이터 카탈로그는 여러 구조화된 쿼리 언어 (SQL) 언어를 사용하여 뷰를 만들 수 있도록 지원합니다. SQL관계형 데이터베이스에 정보를 저장하고 처리하는 데 사용되는 언어이며SQL, 각 AWS 분석 엔진은 고유한 변형 또는 SQL 언어를 사용합니다.

지원되는 분석 쿼리 엔진 중 하나를 사용하여 한 가지 SQL 언어로 데이터 카탈로그 보기를 만들 수 있습니다. 그런 다음 지원되는 다른 분석 엔진 내에서 다른 ALTER VIEW SQL 언어로 된 명령문을 사용하여 뷰를 업데이트할 수 있습니다. 하지만 각 언어는 동일한 테이블, 열 및 데이터 유형 세트를 참조해야 합니다.

GetTableAPI, AWS CLI 콘솔을 사용하여 뷰에 사용할 수 있는 여러 언어에 액세스할 수 있습니다. AWS 따라서 지원되는 다양한 분석 엔진에서 데이터 카탈로그 보기를 보고 쿼리할 수 있습니다.

여러 엔진에서 쿼리할 수 있는 공통 뷰 스키마와 메타데이터 객체를 정의함으로써 데이터 카탈로그 뷰를 사용하면 데이터 레이크 전체에서 균일한 뷰를 사용할 수 있습니다.

각 언어에 대한 스키마 해결 방법에 대한 자세한 내용은 API참조 링크를 참조하십시오. 유형별 매칭 규칙에 대한 자세한 내용은 API문서의 관련 섹션 링크를 참조하십시오.

Lake Formation 권한과의 통합

를 AWS Lake Formation 사용하여 사용자 AWS Glue Data Catalog 뷰의 권한 관리를 중앙 집중화할 수 있습니다. 지정된 리소스 방법이나 LF-태그를 사용하여 Data Catalog 뷰에 세분화된 권한을 부여하고 조직 및 조직 단위 간에 AWS 계정이를 공유할 수 있습니다. AWS 또한 리소스 링크를 사용하여 데이터 카탈로그 보기를 공유하고 액세스할 수 있습니다. AWS 리전 이를 통해 사용자는 데이터 원본을 복제하거나 기본 테이블을 공유하지 않고도 데이터 액세스를 제공할 수 있습니다.

데이터 카탈로그 뷰의 CREATE VIEW DDL 명령문은 Lake Formation에 등록된 Amazon S3 위치에 저장된 기본 데이터와 함께 Hudi, Delta Lake, Iceberg와 같은 개방형 테이블 형식 (OTF) 의 표준 테이블 및 AWS Glue 테이블은 물론 Lake Formation과 공유되는 Amazon Redshift 데이터셰어의 페더레이션 테이블도 참조할 수 있습니다. 뷰를 쿼리하는 데 사용된 엔진이 해당 형식을 지원하는 한, 테이블은 어떤 파일 형식이든 될 수 있습니다. 실행 중인 엔진의 내장 함수를 참조할 수도 있지만 다른 엔진별 리소스는 허용되지 않을 수 있습니다. 자세한 내용은 데이터 카탈로그 뷰 고려 사항 및 제한 사항 단원을 참조하세요.

사용 사례

다음은 데이터 카탈로그 뷰의 중요한 사용 사례입니다.

• 단일 뷰 스키마에서 권한을 생성하고 관리합니다. 이렇게 하면 여러 엔진에서 생성된 중복된 뷰에서 권한이 일치하지 않을 위험을 피할 수 있습니다.

• 기본 참조 테이블에 대한 권한을 직접 부여하지 않고 여러 테이블을 참조하는 뷰에 대한 권한을 사용자에게 부여합니다.

• 뷰에 LF 태그를 적용하고 사용자에게 LF 태그 기반 권한을 부여하여 LF 태그 (LF 태그는 열 수준까지만 계단식으로 배열됨) 를 사용하여 테이블에서 행 수준 필터링을 구현하십시오.

뷰 생성을 위한 지원되는 분석 서비스 AWS

다음 AWS 분석 서비스는 데이터 카탈로그 보기 생성을 지원합니다.

• Amazon Redshift

• 아마존 아테나 버전 3

추가 리소스

이 안내서와 다음 리소스를 사용하여 데이터 카탈로그에 대해 자세히 알아볼 수 있습니다.

다음 동영상은 Athena와 Amazon Redshift에서 뷰를 생성하고 쿼리하는 방법을 보여줍니다.

주제

• 뷰 생성을 위한 사전 조건
• 명령문을 사용하여 데이터 카탈로그 뷰 생성 DDL
• 를 사용하여 데이터 카탈로그 뷰 만들기 AWS Glue APIs
• 데이터 카탈로그 뷰에 대한 권한 부여