기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
Starburst를 사용하여 데이터를 AWS 클라우드로 마이그레이션하십시오.
제작: 안토니 프라사드 테바라즈 (AWS), 숀 밴 스타든 (Starburst), 수레쉬 베라고니 (AWS)
환경: 프로덕션 | 기술: 분석, 데이터 레이크, 데이터베이스 | 워크로드: 기타 모든 워크로드 |
AWS 서비스: Amazon EKS |
요약
Starburst는 기존 데이터 소스를 단일 액세스 포인트로 통합하는 엔터프라이즈 쿼리 엔진을 제공하여 Amazon Web Services(AWS)로의 데이터 마이그레이션 여정을 가속화하도록 지원합니다. 마이그레이션 계획을 확정하기 전에 여러 데이터 소스에 대한 분석을 실행하여 귀중한 통찰력을 얻을 수 있습니다. business-as-usual 분석을 중단하지 않고 Starburst 엔진 또는 전용 ETL (추출, 변환 및 로드) 애플리케이션을 사용하여 데이터를 마이그레이션할 수 있습니다.
사전 조건 및 제한 사항
사전 조건
활성 상태의 AWS 계정.
Virtual Private Cloud(VPC).
Amazon Elastic Kubernetes Service(Amazon EKS): 클러스터
Amazon Elastic Compute Cloud(Amazon EC2) 오토 스케일링
마이그레이션해야 하는 현재 시스템 워크로드 목록
AWS에서 온프레미스 환경으로의 네트워크 연결
아키텍처
참조 아키텍처
다음 상위 아키텍처 다이어그램은 AWS 클라우드에서의 Starburst Enterprise의 일반적인 배포를 보여줍니다.
Starburst 엔터프라이즈 클러스터는 AWS 계정 내에서 실행됩니다.
사용자는 경량 디렉터리 액세스 프로토콜(LDAP) 또는 공개 인증(OAuth)을 사용하여 인증하고 Starburst 클러스터와 직접 상호 작용합니다.
Starburst는 AWS Glue, Amazon Simple Storage Service(S3), Amazon Relational Database Service(RDS), Amazon Redshift와 같은 여러 AWS 데이터 소스에 연결할 수 있습니다. Starburst는 AWS 클라우드, 온프레미스 또는 기타 클라우드 환경의 데이터 소스 전반에 걸쳐 페더레이션된 쿼리 기능을 제공합니다.
차트 Helm을 사용하여 Amazon EKS 클러스터에서 Starburst 엔터프라이즈를 시작할 수 있습니다.
Starburst 엔터프라이즈는 Amazon EC2 Auto Scaling 그룹과 Amazon EC2 스팟 인스턴스를 사용하여 인프라를 최적화합니다.
Starburst 엔터프라이즈는 기존 온프레미스 데이터 소스에 직접 연결하여 데이터를 실시간으로 읽습니다. 또한 이 환경에 Starburst Enterprise가 이미 배포되어 있는 경우, AWS 클라우드의 새 Starburst 클러스터를 이 기존 클러스터에 직접 연결할 수 있습니다.
다음 사항에 유의하십시오.
Starburst는 데이터 가상화 플랫폼이 아닙니다. 분석을 위한 전체 데이터 메시 전략의 기초를 형성하는 SQL 기반 대량 병렬 처리(MPP) 쿼리 엔진입니다.
마이그레이션의 일환으로 Starburst를 배포하면 기존 온프레미스 인프라에 직접 연결됩니다.
Starburst는 다양한 레거시 시스템과의 연결을 용이하게 하는 몇 가지 내장형 엔터프라이즈 및 오픈 소스 커넥터를 제공합니다. 커넥터 및 해당 기능의 전체 목록은 Starburst Enterprise 사용 설명서의 커넥터를
참조하십시오. Starburst는 온프레미스 데이터 소스에서 실시간으로 데이터를 쿼리할 수 있습니다. 이를 통해 데이터를 마이그레이션하는 동안 정기적인 비즈니스 운영이 중단되는 것을 방지할 수 있습니다.
기존 온프레미스 Starburst Enterprise 배포에서 마이그레이션하는 경우 특수 커넥터인 Starburst Stargate를 사용하여 AWS의 Starburst Enterprise 클러스터를 온프레미스 클러스터에 직접 연결할 수 있습니다. 이는 비즈니스 사용자와 데이터 분석가가 AWS 클라우드에서 온프레미스 환경으로 쿼리를 페더레이션할 때 추가적인 성능 이점을 제공합니다.
높은 수준의 프로세스 개요
Starburst를 사용하면 데이터를 마이그레이션하기 전에 모든 데이터에 대한 통찰력을 확보할 수 있으므로 Starburst를 사용하면 데이터 마이그레이션 프로젝트를 가속화할 수 있습니다. 다음 이미지는 Starburst를 사용하여 데이터를 마이그레이션하는 일반적인 프로세스를 보여줍니다.
역할
Starburst를 사용하여 마이그레이션을 완료하려면 일반적으로 다음과 같은 역할이 필요합니다.
클라우드 관리자 — Starburst Enterprise 애플리케이션을 실행하는 데 클라우드 리소스를 사용할 수 있도록 하는 일을 담당합니다.
Starburst 관리자 — Starburst 애플리케이션 설치, 구성, 관리 및 지원을 담당합니다.
데이터 엔지니어— 담당:
레거시 데이터를 클라우드로 마이그레이션
분석을 지원하는 시맨틱 뷰 구축
솔루션 또는 시스템 소유자 — 전체 솔루션 구현을 담당합니다.
도구
서비스
Amazon EC2 – Amazon Elastic Compute Cloud(Amazon EC2)는 AWS 클라우드에서 확장 가능한 컴퓨팅 용량을 제공합니다.
Amazon EKS – Amazon Elastic Kubernetes Service(Amazon EKS)는 자체 Kubernetes 컨트롤 플레인을 구축하거나 유지 관리할 필요 없이 AWS에서 Kubernetes를 실행하기 위한 관리형 서비스입니다. Kubernetes는 컨테이너화된 애플리케이션의 배포, 조정 및 관리 자동화를 위한 오픈 소스 시스템입니다.
기타 도구
Helm
– Kubernetes용 Helm 패키지 관리자는 Kubernetes 클러스터에서 애플리케이션을 설치하고 관리하는 데 도움이 됩니다. Starburst 엔터프라이즈
— Starburst Enterprise는 분석을 위한 전체 데이터 메시 전략의 기초를 형성하는 SQL 기반 대량 병렬 처리(MPP) 쿼리 엔진입니다. Starburst 스타게이트
— Starburst Stargate는 한 Starburst Enterprise 환경(예: 온프레미스 데이터 센터의 클러스터)에 있는 카탈로그 및 데이터 소스를 다른 Starburst Enterprise 환경(예: AWS 클라우드의 클러스터)에 있는 카탈로그 및 데이터 소스에 연결합니다.
에픽
| 작업 | 설명 | 필요한 기술 |
|---|---|---|
| 데이터를 식별하고 우선순위를 정하세요. | 이동하려는 데이터를 식별하세요. 대규모 온프레미스 레거시 시스템에는 마이그레이션하려는 핵심 데이터와 함께 이동하고 싶지 않거나 규정 준수상의 이유로 이동할 수 없는 데이터가 포함될 수 있습니다. 데이터 인벤토리로 시작하면 먼저 대상으로 삼아야 하는 데이터의 우선 순위를 정하는 데 도움이 됩니다. 자세한 내용은 자동화된 포트폴리오 검색 시작을 참조하세요. | 데이터 엔지니어, DBA |
| 데이터를 탐색하고, 인벤토리를 작성하고, 백업하세요. | 사용 사례에 맞는 데이터의 품질, 수량, 관련성을 검증하세요. 필요에 따라 데이터를 백업하거나 스냅샷을 만들고 데이터의 대상 환경을 확정합니다. | 데이터 엔지니어, DBA |
| 작업 | 설명 | 필요한 기술 |
|---|---|---|
| AWS 클라우드에서 Starburst 엔터프라이즈를 구성합니다. | 데이터를 카탈로그화하는 동안 관리형 Amazon EKS 클러스터에 Starburst 엔터프라이즈를 설정하십시오. 자세한 내용은 Starburst 엔터프라이즈 참조 문서의 Kubernetes를 사용한 배포 | AWS 관리자, 앱 개발자 |
| Starburst를 데이터 소스에 연결합니다. | 데이터를 식별하고 Starburst 엔터프라이즈를 설정한 후 Starburst를 데이터 소스에 연결합니다. Starburst는 데이터 소스에서 SQL 쿼리로 직접 데이터를 읽습니다. 자세한 내용은 Starburst 엔터프라이즈 참조 문서 | AWS 관리자, 앱 개발자 |
| 작업 | 설명 | 필요한 기술 |
|---|---|---|
| ETL 파이프라인을 빌드하고 실행하세요. | 데이터 마이그레이션 프로세스를 시작합니다. 이 활동은 business-as-usual 분석과 동시에 발생할 수 있습니다. 마이그레이션에는 타사 제품 또는 Starburst를 사용할 수 있습니다. Starburst는 다양한 소스에서 데이터를 읽고 쓸 수 있는 기능을 모두 갖추고 있습니다. 자세한 내용은 Starburst 엔터프라이즈 참조 문서 | 데이터 엔지니어 |
| 데이터를 검증합니다. | 데이터를 마이그레이션한 후 데이터를 검증하여 필요한 모든 데이터가 이동되었고 손상되지 않았는지 확인합니다. | 데이터 엔지니어, DevOps 엔지니어 |
| 작업 | 설명 | 필요한 기술 |
|---|---|---|
| 데이터를 잘라내세요. | 데이터 마이그레이션 및 검증이 완료된 후 데이터를 잘라낼 수 있습니다. 여기에는 Starburst의 데이터 연결 링크 변경이 포함됩니다. 온프레미스 소스를 가리키는 대신 새 클라우드 소스를 가리키고 시맨틱 뷰를 업데이트합니다. 자세한 내용은 Starburst Enterprise 참조 문서의 커넥터를 | 데이터 엔지니어, 전환 리드 |
| 사용자 대상으로 출시하세요. | 데이터 소비자는 마이그레이션된 데이터 원본으로 작업을 시작합니다. 분석 최종 사용자에게는 이 프로세스가 보이지 않습니다. | 전환 리드, 데이터 엔지니어 |
관련 리소스
AWS Marketplace
Starburst 문서
기타 AWS 설명서
자동 포트폴리오 검색 시작하기 (AWS 권장 가이드)
