모니터링 및 디버깅

데이터 수명 주기의 특정 단계는 순차적이지 않지만 일관되게 존재합니다. 다음 다이어그램과 같이 모니터링 및 디버깅 단계에서도 마찬가지입니다.

데이터 엔지니어링 프로세스는 정확성과 성능을 지속적으로 모니터링해야 합니다. Amazon CloudWatch는 모든 오류 및 정보 로그를 로그 그룹에 로깅하므로 데이터 엔지니어링을 모니터링하는 데 중요한 역할을 합니다. 모니터링을 사용하여 자동 오류 복구를 구축할 수 있습니다. 예를 들어 데이터 품질 규칙이 충족되지 않는 경우 파이프라인을 중지하거나 성공한 실행과 실패한 실행을 별도로 로깅하여 복구 작업을 활성화할 수 있습니다. 모니터링은 데이터 엔지니어링 프로세스(즉, 전체 ETL 프로세스)와 데이터의 전반적인 신뢰성을 개선합니다.

또한 모니터링 및 디버깅 프로세스에 대한 관련 지표가 포함된 CloudWatch 대시보드를 생성하는 것이 좋습니다. 이렇게 하면 데이터 엔지니어링 프로세스가 원활하고 예상대로 실행되도록 할 수 있습니다. 이는 보고뿐만 아니라 운영에도 중요합니다. 예를 들어 CloudWatch 대시보드는 사용자에게 로드 상태를 표시하여 프로세스의 신뢰성 또는 낮은 품질로 인해 삭제된 데이터의 비율 또는 최대 장애가 발생한 소스를 이해하는 데 도움이 될 수 있습니다. CloudWatch 대시보드는 결과를 시각화하는 데 도움이 될 뿐만 아니라 ETL 프로세스의 문제점을 식별하여 프로세스를 개선하는 데도 도움이 됩니다.