데이터 수명 주기

데이터 파이프라인을 구축하려면 먼저 파일 서버, 데이터베이스, 스토리지 버킷 또는 API 호출과 같은 외부 또는 내부 데이터 소스에서 AWS로 데이터를 수집해야 합니다. 수집된 데이터는 익명화, 열 삭제 또는 데이터 정리와 같은 변환을 거치거나 거치지 않을 수 있습니다.

이 섹션에서는 다음 다이어그램과 같이 데이터 수명 주기 프로세스의 단계에 대한 개요를 제공합니다.

이러한 단계에는 다음이 포함됩니다.

• 데이터 수집

• 데이터 준비 및 정리

• 데이터 품질 검사

• 데이터 시각화 및 분석

• 모니터링 및 디버깅

• IaC 배포

• 자동화 및 액세스 제어