데이터 소비자

데이터 소비자는 중앙 집중식 카탈로그가 데이터를 공유한 후 데이터 생산자의 데이터를 사용합니다 AWS Lake Formation. 다음 다이어그램은 데이터 레이크에 있는 두 개의 데이터 소비자를 보여줍니다.

데이터 소비자에는 애플리케이션과 데이터 서비스라는 두 가지 유형이 있습니다. 다음 표에서는이 두 가지 유형을 설명합니다.

애플리케이션 유형

애플리케이션 데이터 소비자는 자체적으로 애플리케이션을 실행합니다 AWS 계정. 애플리케이션은 AWS Identity and Access Management (IAM) 역할을 사용하여 데이터 생산자의 공유 데이터에 액세스한 다음 로직에 따라 처리합니다. 일반적으로 이러한 유형의 데이터 소비자에는 애플리케이션의 요구 사항을 충족하기 위한 규범적 데이터 요구 사항이 있습니다.

데이터 서비스 유형

데이터 서비스 데이터 소비자는 일반적으로 개인(예: 데이터 분석가 또는 데이터 과학자) 및 자체가 없는 애플리케이션(예: 비즈니스 인텔리전스 애플리케이션)을 대상으로 합니다 AWS 계정. 한 조직의 데이터 레이크에 여러 데이터 서비스 데이터 소비자가 존재할 수 있습니다. 예를 들어 사용자가 데이터 레이크에서 데이터를 소비할 수 있도록 다양한 사업부가 자체 데이터 서비스 데이터 소비자를 설정하도록 선택할 수 있습니다. 이러한 데이터 소비자에는 데이터 소비자 계정의 최종 사용자가 AWS 서비스 AWS 계정 (예: Amazon AthenaAWS IAM Identity Center)를 통해 공유 데이터에 액세스하는 데 사용하는 자체 IAM 역할 보안 주체(예:와 연결된 IAM 역할)가 있습니다. 일반적으로 이러한 유형의 데이터 소비자는 데이터 요구 사항이 광범위하고 지속적으로 증가합니다.

AWS Lake Formation 는 데이터 소비자가 교차 계정 데이터 공유 및 중앙 집중식 카탈로그 액세스에 사용하는 가장 중요한 AWS 서비스입니다. 중앙 집중식 카탈로그에서 데이터베이스를 공유한 후 공유 리소스는 데이터 소비자 계정의 Lake Formation에서 사용할 수 있습니다. 그런 다음 필요한 경우 데이터 생산자의 권한으로 데이터 소비자 계정의 로컬 IAM 보안 주체에게 데이터 액세스 권한을 부여할 수 있습니다. 그러면 Lake Formation과 통합된 AWS 서비스(예: Amazon Athena 및 )에서 공유 데이터를 사용할 수 있습니다 AWS Glue. 다음 AWS 서비스를 사용하여 데이터 소비자 계정의 공유 데이터에 액세스할 수 있습니다.

• Amazon Athena는 표준 SQL을 사용하여 Amazon Simple Storage Service(Amazon S3)의 데이터를 직접 분석하는 데 도움이 되는 대화형 쿼리 서비스입니다. Athena 및 Lake Formation에 대한 자세한 내용은 Amazon Athena Athena 설명서의 Athena가 Lake Formation에 등록된 데이터에 액세스하는 방법을 참조하세요.

• Amazon Redshift Spectrum을 사용하면 데이터를 Amazon Redshift 테이블에 로드하지 않고도 Amazon S3의 파일에서 정형 및 반정형 데이터를 효율적으로 쿼리하고 검색할 수 있습니다. Redshift Spectrum 및 Lake Formation에 대한 자세한 내용은 Amazon Redshift 설명서의 Lake Formation에서 Redshift Spectrum 사용을 참조하세요.

• AWS Glue는 데이터를 분류하고, 정리하고, 보강하고, 다양한 데이터 스토어와 데이터 스트림 간에 안정적으로 이동할 수 있는 완전관리형 ETL(추출, 변환 및 로드) 서비스입니다. AWS Glue ETL 작업의 연결된 IAM 역할은 필요한 액세스 권한이 있는 경우 Lake Formation에서 관리하는 데이터 레이크 데이터에 액세스할 수 있습니다.

• Amazon EMR은 빅 데이터 프레임워크(예: Apache Hadoop 및 Apache Spark)를 실행하여 대량의 데이터를 처리하고 분석하는 데 도움이 됩니다. Amazon EMR 및 Lake Formation에 대한 자세한 내용은 Amazon EMR 설명서의 Lake Formation과 Amazon EMR 통합을 참조하세요.

• Amazon QuickSight는 데이터 레이크의 데이터를 분석하고 시각화하는 데 사용할 수 있는 확장 가능한 서버리스 임베드 가능 기계 학습(ML) 기반 비즈니스 인텔리전스 서비스입니다. QuickSight 및 Lake Formation에 대한 자세한 내용은 QuickSight 설명서의 Lake Formation을 통한 연결 권한 부여를 참조하세요.

• Amazon SageMaker AI Data Wrangler(Data Wrangler)는 ML용 데이터를 집계하고 준비하는 데 걸리는 시간을 줄입니다. Data Wrangler 및 Lake Formation에 대한 자세한 내용은 Amazon SageMaker AI 설명서의 Amazon SageMaker AI Data Wrangler를 사용하여 ML 데이터 준비를 참조하세요. Amazon SageMaker