데이터 수집

AWS 내의 다양한 소스에서 데이터를 수집할 수 있지만 사용 사례에 적합한 데이터 수집 도구를 선택하는 것이 중요합니다. 다음 다이어그램은 데이터 수집 단계가 데이터 엔지니어링 자동화 및 액세스 제어 수명 주기에 어떻게 부합하는지 보여줍니다.

AWS는 다음과 같은 데이터 수집 도구를 제공합니다.

• Amazon Kinesis는 스트리밍 데이터를 수집하는 데 도움이 됩니다. 또한 Kinesis는 원활한 통합 및 처리 기능을 제공합니다.

• AWS Database Migration Service(AWS DMS)를 사용하면 관계형 데이터베이스에서 데이터를 수집할 수 있습니다. AWS DMS에는 AWS에서 호스팅되는 Amazon Simple Storage Service(Amazon S3)와 같은 데이터베이스 서비스와 온프레미스 간의 구성 옵션과 직접 연결이 있습니다.

• AWS Glue는 비정형 데이터를 수집하는 데 도움이 되는 추출, 변환 및 로드(ETL) 도구입니다.

Amazon S3를 스토리지로 사용하여 비정형 또는 반정형 데이터를 수집하는 몇 가지 사용 사례가 있습니다. 예를 들어 제조 현장의 데이터 수집 사용 사례에서는 기계 기록 데이터를 XML 파일로, 이벤트 데이터를 JSON 파일로, 관계형 데이터베이스에서 데이터를 구매하기 위해 기록 데이터를 수집해야 할 수 있습니다. 이 사용 사례에서는 세 데이터 소스를 모두 조인해야 할 수도 있습니다.

데이터 수집 프로세스를 시작하기 전에 수집해야 하는 데이터를 파악한 다음이 데이터를 수집하는 데 적합한 도구를 선택하는 것이 좋습니다.