Lake Formation 용어

다음은 이 안내서에서 다루게 될 몇 가지 중요한 용어입니다.

데이터 레이크

데이터 레이크는 Amazon S3에 저장되고 Lake Formation에서 데이터 카탈로그를 사용하여 관리하는 영구 데이터입니다. 데이터 레이크는 일반적으로 다음을 저장합니다.

• 정형 및 비정형 데이터

• 원시 데이터 및 변환된 데이터

Amazon S3 경로가 데이터 레이크 내에 포함되려면 해당 경로를 Lake Formation에 등록해야 합니다.

데이터 액세스

Lake Formation은 AWS Identity and Access Management (IAM) 정책을 보강하는 새로운 권한 부여/취소 모델을 통해 데이터에 대한 안전하고 세분화된 액세스를 제공합니다.

분석가와 데이터 과학자는 Amazon Athena와 같은 AWS 분석 및 기계 학습 서비스의 전체 포트폴리오를 사용하여 데이터에 액세스할 수 있습니다. 구성된 Lake Formation 보안 정책은 사용자가 액세스 권한이 있는 데이터에만 액세스할 수 있도록 하는 데 도움이 됩니다.

하이브리드 액세스 모드

하이브리드 액세스 모드를 사용하면 Lake Formation 권한과 IAM 및 Amazon S3 권한을 모두 사용하여 카탈로그화된 데이터를 보호하고 액세스할 수 있습니다. 하이브리드 액세스 모드는 데이터 관리자가 한 번에 하나의 데이터 레이크 사용 사례에 집중하여 Lake Formation 권한을 선택적, 점진적으로 온보딩할 수 있도록 합니다.

청사진

청사진은 데이터를 데이터 레이크에 쉽게 수집할 수 있는 데이터 관리 템플릿입니다. Lake Formation은 관계형 데이터베이스 또는 AWS CloudTrail 로그와 같은 사전 정의된 소스 유형에 대해 각각 여러 블루프린트를 제공합니다. 청사진에서 워크플로를 생성할 수 있습니다. 워크플로는 데이터 로드 및 업데이트를 오케스트레이션하기 위해 생성되는 AWS Glue 크롤러, 작업 및 트리거로 구성됩니다. 청사진은 데이터 소스, 데이터 대상, 일정을 입력으로 받아 워크플로를 구성합니다.

워크플로

워크플로는 관련된 AWS Glue 작업, 크롤러 및 트리거 집합의 컨테이너입니다. Lake Formation에서 워크플로를 생성하면 AWS Glue 서비스에서 실행됩니다. Lake Formation은 워크플로의 상태를 단일 엔터티로 추적할 수 있습니다.

워크플로를 정의할 때는 워크플로의 기반이 되는 청사진을 선택합니다. 그런 다음 필요에 따라 또는 일정에 따라 워크플로를 실행할 수 있습니다.

Lake Formation에서 생성한 워크플로는 AWS Glue 콘솔에서 DAG(방향성 비순환 그래프)로 표시됩니다. DAG를 사용하여 워크플로의 진행을 추적하고 문제 해결을 수행할 수 있습니다.

데이터 카탈로그

데이터 카탈로그는 영구적 메타데이터 스토어입니다. Apache Hive 메타스토어에서와 동일한 방식으로 AWS 클라우드에 메타데이터를 저장, 주석 달기 및 공유할 수 있는 관리형 서비스입니다. 이는 서로 다른 시스템에서 메타데이터를 저장하고 탐색하여 데이터 사일로에서 데이터를 추적할 수 있고 해당 메타데이터를 사용하여 데이터를 쿼리하고 변환할 수 있는 일정한 리포지토리를 제공합니다. Lake Formation은 AWS Glue 데이터 카탈로그를 사용하여 데이터 레이크, 데이터 소스, 변환 및 대상에 대한 메타데이터를 저장합니다.

데이터 소스 및 대상에 대한 메타데이터는 데이터베이스 및 테이블 형태입니다. 테이블에는 스키마 정보, 위치 정보 등이 저장됩니다. 데이터베이스는 테이블의 컬렉션입니다. Lake Formation은 데이터 카탈로그의 데이터베이스 및 테이블에 대한 액세스를 제어하기 위한 권한 계층을 제공합니다.

각 AWS 계정에는 AWS 리전당 하나의 데이터 카탈로그가 있습니다.

기본 데이터

기본 데이터는 데이터 카탈로그 테이블이 가리키는 데이터 레이크 내의 소스 데이터 또는 데이터를 말합니다.

보안 주체

보안 주체는 AWS Identity and Access Management (IAM) 사용자 또는 역할 또는 Active Directory 사용자입니다.

데이터 레이크 관리자

데이터 레이크 관리자는 보안 주체(자신 포함)에게 데이터 카탈로그 리소스 또는 데이터 위치에 대한 권한을 부여할 수 있는 보안 주체입니다. 데이터 레이크 관리자를 데이터 카탈로그의 첫 번째 사용자로 지정합니다. 그러면 이 사용자는 다른 보안 주체에게 더 세분화된 리소스 권한을 부여할 수 있습니다.

참고

AdministratorAccess AWS 관리형 정책이 있는 IAM 관리 사용자는 자동으로 데이터 레이크 관리자가 아닙니다. 예를 들어, 카탈로그 객체에 대해 Lake Formation 권한을 부여할 수 있는 권한을 부여받지 않은 경우 해당 권한을 부여할 수 없습니다. 하지만 Lake Formation 콘솔 또는 API를 사용하여 자신을 데이터 레이크 관리자로 지정할 수 있습니다.

데이터 레이크 관리자의 기능에 대한 자세한 내용은 암시적 Lake Formation 권한 섹션을 참조하세요. 사용자를 데이터 레이크 관리자로 지정하는 방법에 대한 자세한 내용은 데이터 레이크 관리자 생성 섹션을 참조하세요.