참조 아키텍처

다음 다이어그램은에서 데이터 레이크를 확장하고 확장하기 위한이 가이드의 참조 아키텍처를 보여줍니다 AWS 클라우드.

다이어그램은 다음 구성 요소를 보여줍니다.

1. 의 데이터 생산자 계층이 다릅니다 AWS 계정.

2. 의 데이터 소비자 계층이 다릅니다 AWS 계정.

3. 의 중앙 집중식 카탈로그입니다 AWS 계정.

4. 각 비즈니스 라인에는 데이터 생산자와 데이터 소비자만 있지만 가이드의 참조 아키텍처는 각 비즈니스 라인에 대해 여러 데이터 생산자와 데이터 소비자를 지원합니다. 데이터 서비스 및 애플리케이션 유형을 모두 포함하는 하나 이상의 데이터 소비자와 함께 하나의 데이터 생산자를 온보딩하는 것이 일반적입니다. 이에 대한 자세한 내용은이 가이드의 참조 아키텍처 구성 요소 섹션을 참조하세요.

5. 중앙 집중식 카탈로그는 데이터 생산자와 데이터 소비자가 데이터를 공유하고 소비하는 데 사용하는 인터페이스입니다.

참조 아키텍처의 접근 방식을 사용하면 관리 오버헤드를 늘리지 않고도 데이터 공유 및 소비를 표준화하고 데이터 생산자와 데이터 소비자를 독립적으로 확장할 수 있습니다. 또한 참조 아키텍처를 사용하면 다양한 데이터 생산자 간에 데이터 생성 및 배포가 가능합니다. 모든 데이터 생산자는 데이터 레이크의 일부가 되고, 데이터를 공유하고, 데이터 레이크에서 제공하는 전체 값에 기여할 수 있습니다.

이러한 접근 방식을 통해 조직은 단일 파이프라인에서 데이터 수집 및 처리를 제한하여 병목 현상을 일으키지 않고 비즈니스 라인 및 외부 데이터 소유자 전체에서 데이터 값을 수집할 수 있습니다.