와 Aurora Postgre SQL호환 통합 AWS Glue

AWS Glue 는 분석을 위해 데이터를 준비하고 로드하기 위한 완전 관리형 추출, 변환 및 로드(ETL) 서비스입니다. 모든 데이터 처리 및 분석 워크플로에 대해 Amazon Aurora Postgre SQL호환 에디션 AWS Glue 과 통합할 수 있습니다.

AWS Glue 사용 사례 및 상위 수준 단계

와 Aurora Postgre SQL호환의 통합은 다음 사용 사례를 AWS Glue 지원합니다.

• 데이터 웨어하우징 및 분석 - Aurora PostgreSQL-Compatible과의 통합을 사용하여 AWS Glue 데이터 웨어하우징 및 분석 솔루션을 구축합니다. AWS Glue 는 Aurora PostgreSQL-Compatible 데이터베이스에서 데이터를 추출하여 요구 사항에 따라 변환할 수 있습니다. 그런 다음는 고급 분석 및 보고를 위해 Amazon Redshift 또는 Amazon Athena와 같은 데이터 웨어하우스에 변환된 데이터를 로드할 AWS Glue 수 있습니다.

• 데이터 레이크 생성 - Aurora Postgre SQL호환에서 데이터를 추출하여 Amazon S3에 저장된 데이터 레이크에 로드하는 AWS Glue 데 사용합니다. 그런 다음이 데이터 레이크를 기계 학습, 데이터 탐색 또는 다른 분석 시스템 공급과 같은 다양한 용도로 사용할 수 있습니다.

• ETL 파이프라인 ‒ AWS Glue 서버리스 ETL 서비스를 사용하여 강력한 데이터 파이프라인을 구축합니다. Aurora Postgre SQL호환에서 데이터를 추출하고 Apache Spark 또는를 사용하여 복잡한 변환을 수행할 수 있습니다 PySpark. 처리된 데이터를 Amazon S3 또는 Amazon Redshift와 같은 대상으로 로드하거나 Aurora PostgreSQL-Compatible로 다시 로드할 수 있습니다.

• 데이터 카탈로그 및 메타데이터 관리 - AWS Glue Data Catalog 를 사용하여 Aurora Postgre SQL호환 데이터베이스 및 테이블에서 메타데이터를 자동으로 크롤링하고 카탈로그화합니다. Amazon Athena 및 Amazon Redshift Spectrum AWS 서비스 과 같은는이 중앙 집중식 메타데이터 리포지토리를 사용하여 데이터를 쿼리하고 분석할 수 있습니다.

• 기계 학습을 위한 데이터 준비 ‒ AWS Glue 를 사용하여 기계 학습(ML) 워크로드에 대한 Aurora Postgre SQL호환 데이터를 준비합니다. 처리된 데이터는 모델 훈련 및 배포를 위해 Amazon SageMaker AI 또는 기타 ML 서비스에 로드할 수 있습니다.

• 데이터 마이그레이션 및 복제 ‒ AWS Database Migration Service (AWS DMS)가 데이터베이스 마이그레이션을 위한 기본 서비스이지만를 사용할 수도 있습니다 AWS Glue. Aurora Postgre SQL호환에서 Amazon S3, Amazon Redshift 또는 기타 데이터베이스 엔진과 같은 다른 데이터 스토어로 데이터를 마이그레이션하거나 복제합니다.

조직은 Aurora Postgre 호환의 확장성, 성능 및 호환성과 함께 AWS 데이터 통합 및 분석 서비스의 성능을 사용할 수 SQL있습니다. 이러한 사용 사례를 사용하면 강력한 데이터 파이프라인을 구축하고, 복잡한 데이터 변환을 수행하고, 고급 분석 및 보고를 AWS 서비스 위해 다른와 통합할 수 있습니다.

Aurora Postgre SQL호환을와 통합하려면 다음 상위 수준 단계를 AWS Glue사용합니다.

1. 에 로그인하고 AWS Glue 콘솔로 AWS Management Console이동하여를 생성합니다 AWS Glue Data Catalog.

   Data Catalog는 Aurora Postgre SQL호환 데이터베이스 및 테이블을 포함하여 데이터 소스에 대한 메타데이터를 저장하는 중앙 리포지토리입니다.

2. AWS Glue 연결을 생성합니다.

   연결 페이지로 이동하여 AWS Glue 연결을 생성합니다. 연결 유형으로 Aurora Postgre SQL호환을 선택하고 Aurora Postgre SQL호환 클러스터 엔드포인트, 데이터베이스 이름, 데이터베이스 사용자 이름 및 암호를 제공합니다.

3. Aurora Postgre SQL호환 데이터 소스를 크롤링합니다.

   크롤러 섹션으로 이동하여 생성한 연결을 사용하도록 구성된 크롤러를 생성합니다. 크롤링하고 데이터 카탈로그에 포함할 데이터베이스 및 테이블 이름을 지정하고 크롤러를 실행합니다.

4. 작업을 생성하고 실행합니다 AWS Glue ETL.

   작업 섹션으로 이동하여 Data Catalog를 사용하여 Aurora Postgre SQL호환 데이터베이스에서 데이터에 액세스하고 쿼리하는 ETL 작업을 생성합니다. 요구 사항에 따라 작업 유형을 선택합니다. ETL 작업 스크립트에서 필요한 변환 또는 처리를 수행하고 처리된 데이터의 대상 위치를 지정합니다. 대상 위치는 Amazon S3, Amazon Redshift 또는 다른 Aurora Postgre SQL호환 데이터베이스일 수 있습니다.

자세한 지침은 AWS Glue 설명서를 참조하세요.