AWS 데이터 메시용 제품

의 분석 AWS 기능을 사용하여 조직의 데이터 메시 기반 데이터 솔루션을 빌드합니다. AWS 리소스에 대한 분석에서는 성능 저하 없이 저렴한 비용으로 데이터 메시를 빌드 AWS 서비스 할 것을 권장합니다. 고객은 데이터 메시 기반 솔루션을 구축하기 위해 다음 옵션을 채택했습니다.

• Amazon을 사용하여 데이터 메시 구현 DataZone

• data.all AWS 과 같은에서 오픈 소스 프레임워크를 사용하여 데이터 메시 구현

• 를 사용하여 데이터 메시 구현 AWS Lake Formation

이 세 가지 옵션은 AWS 서비스다음을 사용합니다.

• Amazon Athena

• Amazon Bedrock

• Amazon EMR

• AWS Glue ( AWS Glue Data Catalog 및 AWS Glue 크롤러 포함)

• AWS Identity and Access Management (IAM)

• AWS Key Management Service (AWS KMS)

• Amazon Kinesis

• AWS Lake Formation

• Amazon Managed Streaming for Apache Kafka(AmazonMSK)

• Amazon QuickSight

• Amazon Redshift

• AWS Resource Access Manager (AWS RAM)

• Amazon SageMaker AI

• AWS Secrets Manager

• Amazon Simple Storage Service(S3)

Amazon DataZone 옵션은 Amazon EventBridge도 사용합니다.

data.all 및 AWS Lake Formation 옵션은 다음 AWS 서비스 및 리소스도 사용합니다.

• Amazon API Gateway

• AWS CloudFormation

• Amazon Cognito

• AWS Lambda

• AWS Systems Manager 파라미터 스토어

• AWS WAF

구현에 사용하는 AWS 서비스 는 조직의 요구 사항에 따라 다를 수 있습니다.

Amazon DataZone

완전 관리형 서비스를 사용하려면 Amazon을 사용하여 조직의 데이터 메시 DataZone 를 구현하는 것이 좋습니다. Amazon DataZone 은 AWS온프레미스 및 타사 소스에 저장된 데이터를 카탈로그화, 검색, 공유 및 관리하기 위한 데이터 관리 서비스입니다. 다음 다이어그램은 Amazon 기반 데이터 메시 참조 아키텍처를 보여줍니다 DataZone.

참조 아키텍처에서 멤버 계정은 데이터 도메인에 속합니다. 데이터 생산자와 데이터 소비자로 그룹화됩니다. 아키텍처 다이어그램에는 다음 구성 요소가 포함되어 있습니다.

1. 데이터 생산자는 Amazon 데이터 포털에서 제공하는 비즈니스 카탈로그에 DataZone 데이터 제품을 게시합니다. 데이터 포털은 중앙 거버넌스 계정에서 호스팅됩니다.

2. 데이터 소비자(사용자)는 자격 증명 또는 Single Sign-On 자격 증명을 사용하여 데이터 포털에 로그인합니다 AWS . 카탈로그를 검색하고 키워드를 사용하여 관심 있는 데이터 제품을 검색할 수 있습니다. 검색 결과를 필터링할 수 있습니다.

3. 소비자 팀에 속한 데이터 사용자가 관심 있는 데이터 제품을 찾으면 데이터에 대한 액세스를 요청할 수 있습니다. Amazon DataZone 에는 데이터 소유자가 요청을 검토하고 승인하는 데 사용하는 액세스 관리 워크플로가 내장되어 있습니다.

4. 데이터 소비자 팀은 데이터를 사용하여 인공 지능 및 기계 학습(AI/ML), 분석 및 보고를 강화하고 (ETL) 사용 사례를 추출, 변환 및 로드할 수 있습니다.

Data.all

오픈 소스를 이해하고 자체 솔루션을 구축하고 관리하려면 data.all과 같은 오픈 소스 프레임워크를 사용하는 것이 좋습니다. Data.all은 다양한 사용자 간의 협업을 지원하는 최신 데이터 마켓플레이스입니다. Data.all은 빌더가 데이터 및 분석 서비스 AWS 포트폴리오를 사용하는 동안 데이터 검색, 공유 및 세분화된 데이터 액세스 관리를 간소화합니다. 다음 다이어그램은 data.all을 기반으로 하는 데이터 메시 참조 아키텍처를 보여줍니다.

아키텍처 다이어그램에는 다음 구성 요소가 포함되어 있습니다.

1. 데이터 생산자는 data.all 프런트엔드에서 제공하는 카탈로그에 데이터 제품을 게시합니다. data.all의 프런트엔드 및 백엔드는 중앙 거버넌스 계정에서 호스팅됩니다.

2. 데이터 소비자(사용자)는 Single Sign-On 또는 Amazon Cognito 자격 증명을 사용하여 data.all 프런트엔드에 로그인합니다. 카탈로그를 검색하고 관심 있는 데이터 제품을 검색할 수 있습니다. 검색 결과를 필터링할 수 있습니다.

3. 소비자 팀에 속한 데이터 사용자가 관심 있는 데이터 제품을 찾은 후 데이터에 대한 액세스를 요청할 수 있습니다. Data.all에는 데이터 소유자가 액세스 요청을 검토하고 승인하는 데 사용하는 액세스 관리 워크플로가 내장되어 있습니다.

4. 소비자 팀은 데이터를 사용하여 AI/ML, 분석 및 보고, ETL 사용 사례를 강화할 수 있습니다.

AWS Lake Formation

처음부터 사용자 지정 데이터 메시 솔루션을 빌드하고 관리하려면를 사용하는 것이 좋습니다 AWS Lake Formation. Lake Formation은 분석 및 기계 학습을 위한 데이터를 중앙에서 제어, 보호 및 전 세계적으로 공유하는 데 도움이 됩니다. 다음 다이어그램은 Lake Formation을 기반으로 하는 데이터 메시 참조 아키텍처를 보여줍니다.

아키텍처 다이어그램에는 다음 구성 요소가 포함되어 있습니다.

1. 데이터 생산자는 중앙 거버넌스 계정 AWS Glue Data Catalog 의에 데이터 제품을 게시합니다.는 중앙 데이터 카탈로그의 엔터티에 대한 액세스를 AWS Lake Formation 관리합니다.

2. 액세스 권한이 부여되면 소비자 팀은 데이터를 사용하여 AI/ML, 분석 및 보고, ETL 사용 사례를 강화할 수 있습니다.