기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.
AWS Data Exchange에서 Amazon S3로 자동으로 데이터 수집
작성자: Adnan Alvee(AWS) 및 Manikanta Gona(AWS)
요약
이 패턴은 AWS Data Exchange의 데이터를 Amazon Simple Storage Service(Amazon S3)의 데이터 레이크로 자동으로 모을 수 있도록 하는 AWS CloudFormation 템플릿을 제공합니다.
AWS Data Exchange는 AWS 클라우드에서 파일 기반 데이터 세트를 안전하고 쉽게 교환할 수 있는 서비스입니다. AWS Data Exchange 데이터 세트는 구독 기반입니다. 구독자는 공급자가 새 데이터를 게시하면 데이터 세트 수정본에도 액세스할 수 있습니다.
AWS CloudFormation 템플릿은 Amazon CloudWatch Events 이벤트 및 AWS Lambda 함수를 생성합니다. 이벤트는 구독한 데이터 세트의 모든 업데이트를 감시합니다. 업데이트가 있으면 CloudWatch는 지정한 S3 버킷으로 데이터를 복사하는 Lambda 함수를 시작합니다. 데이터가 성공적으로 복사되면, Lambda는 Amazon Simple Notification Service(Amazon SNS) 알림을 전송합니다.
사전 조건 및 제한 사항
사전 조건
활성 상태의 AWS 계정
AWS Data Exchange의 데이터 세트 구독
제한 사항
AWS CloudFormation 템플릿은 AWS Data Exchange의 각 구독 데이터 세트에 대해 별도로 배포해야 합니다.
아키텍처
대상 기술 스택
AWS Lambda
Amazon S3
AWS Data Exchange
Amazon CloudWatch
Amazon SNS
대상 아키텍처
자동화 및 규모 조정
데이터 레이크에 수집하려는 데이터 세트에 대해 AWS CloudFormation 템플릿을 여러 번 사용할 수 있습니다.
도구
AWS Data Exchange – AWS 고객이 AWS 클라우드에서 파일 기반 데이터 세트를 안전하고 쉽게 교환할 수 있는 서비스입니다. 구독자는 자격을 갖춘 데이터 공급자의 수백 가지 제품을 찾아 구독할 수 있습니다. 그런 다음 데이터 세트를 빠르게 다운로드하거나 Amazon S3에 복사하여 다양한 AWS 분석 및 기계 학습 서비스에서 사용할 수 있습니다. AWS 계정이 있는 사람은 누구나 AWS Data Exchange 구독자가 될 수 있습니다.
AWS Lambda – 서버를 프로비저닝하거나 관리하지 않고도 코드를 실행할 수 있게 해주는 컴퓨팅 서비스입니다. AWS Lambda는 필요 시에만 코드를 실행하며, 일일 몇 개의 요청에서 초당 수천 개의 요청까지 자동으로 규모를 조정합니다. 사용한 컴퓨팅 시간에 대해서만 요금을 지불하며 코드가 실행되지 않을 때는 요금이 부과되지 않습니다. AWS Lambda에서는 사실상 모든 유형의 애플리케이션이나 백엔드 서비스에 대한 코드를 별도의 관리 없이 실행할 수 있습니다. AWS Lambda는 고가용성 컴퓨팅 인프라에서 코드를 실행하고 서버와 운영 체제 유지 관리, 용량 프로비저닝 및 자동 규모 조정, 코드 모니터링 및 로깅 등 모든 컴퓨팅 리소스 관리를 수행합니다.
Amazon S3 – 인터넷 스토리지입니다. Amazon S3를 사용하면 인터넷을 통해 언제 어디서든 원하는 양의 데이터를 저장하고 검색할 수 있습니다.
Amazon CloudWatch Events – AWS 리소스의 변경 사항을 설명하는 시스템 이벤트의 스트림을 거의 실시간으로 제공합니다. 신속하게 설정할 수 있는 단순 규칙을 사용하여 일치하는 이벤트를 검색하고 하나 이상의 대상 함수 또는 스트림으로 이를 라우팅할 수 있습니다. CloudWatch Events는 운영 변경 사항이 발생할 때 이를 인식하게 됩니다. 또한 환경에 응답하기 위한 메시지를 전송하고 함수를 활성화하고 변경을 수행하고 상태 정보를 기록하는 등 이러한 운영 변경 사항에 응답하고 필요에 따라 시정 조치를 취합니다. 또한 CloudWatch Events를 사용하여 cron 또는 rate 표현식을 통해 특정 시간에 자체 시작되는 자동 작업을 예약할 수 있습니다.
Amazon SNS – 애플리케이션, 최종 사용자 및 디바이스가 클라우드에서 알림을 즉시 전송 및 수신할 수 있게 해주는 웹 서비스입니다. Amazon SNS는 처리량이 높은 푸시 기반 다대다 메시징을 위한 주제(커뮤니케이션 채널)를 제공합니다. 게시자는 Amazon SNS 주제를 사용하여 Amazon Simple Queue Service (Amazon SQS) 대기열, AWS Lambda 함수, HTTP/S 웹후크 등 병렬 처리를 위해 많은 구독자에게 메시지를 배포할 수 있습니다. Amazon SNS를 사용하여 모바일 푸시, SMS 및 이메일을 사용하여 최종 사용자에게 알림을 전송할 수도 있습니다.
에픽
| 작업 | 설명 | 필요한 기술 |
|---|---|---|
데이터 세트를 구독합니다. | AWS Data Exchange 콘솔에서 데이터 세트를 구독합니다. 지침은 ‘관련 리소스’ 섹션의 링크를 참조하세요. | 일반 AWS |
데이터 세트 속성을 기록하세요. | 데이터 세트의 AWS 리전, ID 및 수정 ID를 기록하세요. 이는 다음 단계에서 AWS CloudFormation 템플릿에 필요합니다. | 일반 AWS |
| 작업 | 설명 | 필요한 기술 |
|---|---|---|
S3 버킷 및 폴더를 생성합니다. | Amazon S3에 이미 데이터 레이크가 있는 경우, AWS Data Exchange에서 수집할 데이터를 저장할 폴더를 생성하세요. 테스트 목적으로 템플릿을 배포하는 경우, 새 S3 버킷을 생성하고 다음 단계를 위해 버킷 이름과 폴더 접두사를 기록하세요. | 일반 AWS |
AWS CloudFormation 템플릿을 배포합니다. | 이 패턴에 첨부 파일로 제공된 AWS CloudFormation 템플릿을 배포합니다. AWS 계정, 데이터 세트, S3 버킷 설정에 대응하도록 다음의 파라미터 구성: 데이터세트 AWS 리전, 데이터 세트 ID, 수정 ID, S3 버킷 이름(예: DOC-EXAMPLE-BUCKET), 폴더 접두사(예: myfolder/), SNS 알림 이메일. 데이터 세트 이름 파라미터를 원하는 이름으로 설정할 수 있습니다. 템플릿을 배포하면 Lambda 함수가 실행되어 데이터 세트에서 사용 가능한 첫 번째 데이터 세트를 자동으로 수집합니다. 그런 다음 새 데이터가 데이터 세트에 도착하면 후속 수집이 자동으로 수행됩니다. | 일반 AWS |
관련 리소스
AWS Data Exchange의 데이터 제품 구독(AWS Data Exchange 설명서)
첨부
이 문서와 관련된 추가 콘텐츠에 액세스하려면 attachment.zip 파일의 압축을 풉니다.
