Lake Formation 용어

다음은 이 안내서에서 사용할 수 있는 몇 가지 중요한 용어입니다.

데이터 레이크

데이터 레이크는 Amazon S3에 저장되고 Lake Formation에서 데이터 카탈로그를 사용하여 관리하는 영구 데이터입니다. 데이터 레이크는 일반적으로 다음을 저장합니다.

• 정형 및 비정형 데이터

• 원시 데이터 및 변환된 데이터

Amazon S3 경로가 데이터 레이크 내에 있으려면 Lake Formation 포메이션에 등록해야 합니다.

데이터 액세스

Lake Formation Formation은AWS Identity and Access Management (IAM) 정책을 강화하는 새로운 권한 부여/취소 모델을 통해 데이터에 대한 안전하고 세분화된 액세스를 제공합니다.

분석가와 데이터 과학자는 Amazon Athena와 같은AWS 분석 및 기계 학습 서비스의 전체 포트폴리오를 사용하여 데이터에 액세스할 수 있습니다. 구성된 Lake Formation 보안 정책은 사용자가 액세스 권한이 있는 데이터에만 액세스할 수 있도록 하는 데 도움이 됩니다.

블루프린트

블루프린트는 데이터를 데이터 레이크로 쉽게 수집할 수 있게 해주는 데이터 관리 템플릿입니다. Lake Formation Formation은 관계형 데이터베이스 또는AWS CloudTrail 로그와 같은 사전 정의된 소스 유형에 대한 여러 청사진을 제공합니다. 블루프린트에서 워크플로를 만들 수 있습니다. 워크플로는 데이터 로드 및 업데이트를 조정하기 위해 생성되는AWS Glue 크롤러, 작업 및 트리거로 구성됩니다. 블루프린트는 데이터 소스, 데이터 타겟, 스케줄을 입력으로 받아 워크플로를 구성합니다.

워크플로우

워크플로는 관련AWS Glue 작업, 크롤러 및 트리거 세트의 컨테이너입니다. Lake Formation 포메이션에서 워크플로를 만들면AWS Glue 서비스에서 실행됩니다. Lake Formation Formation은 단일 엔티티로서 워크플로우의 상태를 추적할 수 있습니다.

워크플로를 정의할 때는 워크플로우의 기반이 되는 청사진을 선택합니다. 그런 다음 필요에 따라 또는 일정에 따라 워크플로를 실행할 수 있습니다.

Lake Formation 포메이션에서 만든 워크플로는AWS Glue 콘솔에서 유방향 비순환 그래프 (DAG) 로 표시됩니다. DAG를 사용하여 워크플로우의 진행을 추적하고 문제 해결을 수행할 수 있습니다.

데이터 카탈로그

‬Data Catalog 이것은 관리된 서비스로써 Apache Hive 메타스토어와 같이 동일한 방법으로 AWS Cloud에서 메타데이터를 저장, 참조 및 공유할 수 있습니다. 일정한 리포지토리를 제공합니다. 그러면 전혀 다른 시스템들이 메타데이터를 저장하고 탐색하여 데이터 사일로에서 데이터를 추적할 수 있습니다. 그러면 전혀 다른 시스템들이 메타데이터를 탐색하여 데이터를 탐색합니다. Lake Formation Formation은AWS Glue 데이터 카탈로그를 사용하여 데이터 레이크, 데이터 소스, 변환 및 대상에 대한 메타데이터를 저장합니다.

데이터 소스 및 대상에 대한 메타데이터는 데이터베이스 및 테이블 형태입니다. 테이블에는 스키마 정보, 위치 정보 등이 저장됩니다. 데이터베이스는 테이블 모음입니다.

각AWS 계정에는AWS 지역당 하나의 데이터 카탈로그가 있습니다.

기본 데이터

기본 데이터는 Data Catalog 테이블이 가리키는 데이터 레이크 내의 소스 데이터 또는 데이터를 말합니다.

보안 주체

보안 주체는AWS Identity and Access Management (IAM) 사용자 또는 역할 또는 Active Directory 사용자입니다.

데이터 스토어입니다.

데이터 레이크 관리자는 모든 보안 주체 (본인 포함) 에게 Data Catalog 리소스 또는 데이터 위치에 대한 권한을 부여할 수 있는 보안 주체입니다. 데이터 레이크 관리자를 데이터 카탈로그의 첫 번째 사용자로 지정합니다. 그러면 이 사용자는 리소스에 대한 보다 세부적인 권한을 다른 주체에게 부여할 수 있습니다.

참고

IAM 관리자 사용자 (AdministratorAccessAWS관리형 정책을 사용하는 사용자) 는 자동으로 Data Lake 관리자가 되지 않습니다. 예를 들어, 권한이 부여되지 않는 한 카탈로그 개체에 Lake Formation 권한을 부여할 수 없습니다. 하지만 Lake Formation 콘솔 또는 API를 사용하여 자신을 데이터 레이크 관리자로 지정할 수 있습니다.

Dat스토어의 기능에 대한 자세한 내용은 단원을 참조하세요암시적 Lake Formation 권한. 사용자를 Data Lake 관리자로 지정하는 방법에 대한 자세한 내용은 을 참조하십시오데이터 레이크 관리자를 생성하세요..