AWS 데이터 파이프라인 사용

알림

AWS Data Pipeline 는 더 이상 신규 고객이 사용할 수 없습니다. 의 기존 고객은 평소와 같이 서비스를 계속 사용할 AWS Data Pipeline 수 있습니다. 자세히 알아보기

AWS Data Pipeline은 데이터의 이동 및 변환을 자동화하는 데 사용할 수 있는 웹 서비스입니다. Data Pipeline을 사용하여 소스 계정에서 테이블 데이터를 내보내는 파이프라인을 생성할 수 있습니다. 내보낸 데이터는 대상 계정의 Amazon Simple Storage Service(Amazon S3) 버킷에 저장됩니다. 대상 계정의 S3 버킷은 소스 계정에서 액세스할 수 있어야 합니다. 이 교차 계정 액세스를 허용하려면 대상 S3 버킷에서 액세스 제어 목록(ACL)을 업데이트합니다.

대상 계정(Account-B)에 다른 파이프라인을 생성하여 S3 버킷에서 대상 계정의 테이블로 데이터를 가져옵니다.

이는 Amazon DynamoDB 테이블을 Amazon S3에 백업하고가 DynamoDB 테이블에서 기본적으로 읽기에 대한 지원을 AWS Glue 도입할 때까지 Amazon S3에서 복원하는 기존 방법입니다.

장점

• 서버리스 솔루션입니다.

• 새 코드는 필요하지 않습니다.

• AWS Data Pipeline은 작업의 백그라운드에서 Amazon EMR 클러스터를 사용하므로이 접근 방식은 효율적이며 대규모 데이터 세트를 처리할 수 있습니다.

단점

• 추가 AWS 서비스(데이터 파이프라인 및 Amazon S3)가 필요합니다.

• 프로세스는 소스 테이블과 관련된 대상 테이블에서 프로비저닝된 처리량을 사용하므로 성능 및 가용성에 영향을 미칠 수 있습니다.

• 이 접근 방식에는 DynamoDB 읽기 용량 단위(RCUs) 및 쓰기 용량 단위(WCUs) 비용에 대한 추가 비용이 발생합니다.