제로 ETL 통합 작업 - Amazon Redshift

제로 ETL 통합 작업

이 주제에는 미리 보기로 출시된 Amazon Redshift와 Aurora PostgreSQL 및 RDS for MySQL의 제로 ETL 통합에 대한 사전 릴리스 설명서가 포함되어 있습니다. 설명서 및 기능은 모두 변경될 수 있습니다. RDS for MySQL 및 Aurora PostgreSQL 제로 ETL 통합은 테스트 환경에서만 사용하고 프로덕션 환경에서는 사용하지 않는 것이 좋습니다. 미리 보기 이용 약관은 AWS 서비스 약관의 베타 및 미리 보기를 참조하세요.

제로 ETL 통합은 Amazon Redshift에서 트랜잭션 또는 운영 데이터를 거의 실시간으로 사용할 수 있게 해주는 완전 관리형 솔루션입니다. 이 솔루션을 사용하면 소스에서 Amazon Redshift 데이터 웨어하우스로의 통합을 구성할 수 있습니다. 추출, 전환, 적재(ETL) 파이프라인을 유지 관리할 필요가 없습니다. 데이터 소스에서 Amazon Redshift 클러스터 또는 Redshift Serverless 네임스페이스로의 데이터 복제 생성 및 관리를 자동화하여 ETL을 대신 처리해 드립니다. 보고 및 대시보드와 같은 분석 워크로드에 Amazon Redshift를 사용하면서 동시에 소스 데이터를 계속 업데이트하고 쿼리할 수 있습니다.

제로 ETL 통합을 통해 분석, AI/ML 및 보고를 위한 최신 데이터를 확보할 수 있습니다. 실시간 대시보드, 최적화된 게임 경험, 데이터 품질 모니터링, 고객 행동 분석과 같은 사용 사례에 대해 더 정확하고 시기적절한 인사이트를 얻을 수 있습니다. 더 신뢰성 있게 데이터 기반 예측을 수행하고, 고객 경험을 개선하고, 비즈니스 전반에서 데이터 기반 인사이트를 촉진할 수 있습니다.

현재 제로 ETL 통합에서 지원되는 소스는 다음과 같습니다.

  • Aurora MySQL 호환 버전

  • Aurora PostgreSQL 호환 버전(미리 보기)

  • RDS for MySQL(미리 보기)

제로 ETL 통합을 만들려면 데이터 소스를 지정하고 Amazon Redshift 데이터 웨어하우스를 대상으로 지정합니다. 통합은 소스에서 대상 데이터 웨어하우스로 데이터를 복제합니다. 몇 초 안에 Amazon Redshift에서 데이터를 사용할 수 있게 됩니다. 통합은 데이터 파이프라인의 상태를 모니터링하고 가능한 경우 문제로부터 복구합니다. 동일한 유형의 소스에서 단일 Amazon Redshift 데이터 웨어하우스로 통합을 생성하여 여러 애플리케이션에 걸쳐 전체적인 인사이트를 도출할 수 있습니다.

Amazon Redshift의 데이터를 가지고 Amazon Redshift에서 제공하는 분석을 사용할 수 있습니다. 제공되는 분석 기능에는 기본 제공 기계 학습(ML), 구체화된 뷰, 데이터 공유, 여러 데이터 저장소 및 데이터 레이크에 대한 직접 액세스 등이 있습니다. 제로 ETL 통합을 통해 컴퓨팅 리소스가 데이터 리소스로부터 분리되므로 가장 효율적인 도구를 사용하여 데이터를 처리할 수 있습니다. 데이터 엔지니어의 경우, 제로 ETL 통합을 통해 복잡한 데이터 파이프라인에서 간헐적으로 발생하는 오류로 인해 지연될 수 있는 시간에 민감한 데이터에 액세스할 수 있습니다. 트랜잭션 데이터에서 분석 쿼리와 ML 모델을 실행하여 시간에 민감한 이벤트와 비즈니스 의사 결정에 대한 거의 실시간에 가까운 인사이트를 도출할 수 있습니다.

Amazon Redshift 이벤트 알림 구독을 생성하여 주어진 제로 ETL 통합에 이벤트가 발생하면 알림을 받을 수 있습니다. 통합 관련 이벤트 알림 목록을 보려면 Amazon EventBridge를 사용하여 제로 ETL 통합 이벤트 알림 섹션을 참조하세요. 가장 간단한 구독 생성 방법은 Amazon SNS 콘솔을 이용하는 것입니다. Amazon SNS 주제를 새로 만들어 구독하는 방법에 대한 자세한 내용은 Amazon Simple Notification Service 개발자 안내서의 Amazon SNS 시작하기 섹션을 참조하세요.

제로 ETL 통합을 시작할 때는 다음 개념을 고려하세요.

  • 소스 데이터베이스는 Amazon Redshift로 복제되는 데이터가 속한 데이터베이스입니다.

  • 대상 데이터 웨어하우스는 데이터가 복제되어 들어오는 Amazon Redshift 프로비저닝된 클러스터 또는 Redshift Serverless 작업 그룹입니다.

  • 대상 데이터베이스는 제로 ETL 통합을 통해 대상 데이터 웨어하우스에 생성하는 데이터베이스입니다.

Amazon Redshift에서 다음 시스템 뷰를 쿼리하여 제로 ETL 통합을 모니터링할 수 있습니다.

제로 ETL 통합에 대한 요금 정보는 해당 요금 페이지를 참조하세요.

제로 ETL 통합 소스에 대한 자세한 내용은 다음 주제를 참조하세요.

주제