Monitoreo y depuración

Algunas fases del ciclo de vida de los datos no son secuenciales, sino que están presentes de forma constante. Esto es válido para la etapa de supervisión y depuración, como se muestra en el siguiente diagrama.

El proceso de ingeniería de datos debe supervisarse continuamente para garantizar su exactitud y rendimiento. Amazon CloudWatch desempeña un papel crucial en la supervisión de la ingeniería de datos, ya que registra todos los errores y el registro de información en sus grupos de registros. Puede utilizar la supervisión para crear una recuperación automática de errores. Por ejemplo, puede detener las canalizaciones si descubre que no se cumplen las normas de calidad de los datos, o puede registrar las ejecuciones correctas y las ejecuciones fallidas por separado para permitir una acción de recuperación. La supervisión mejora la fiabilidad general del proceso de ingeniería de datos (es decir, todo el proceso de ETL), así como de los datos.

Además, le recomendamos que cree CloudWatch paneles de control que incluyan las métricas relevantes para el proceso de supervisión y depuración. Esto puede ayudar a garantizar que el proceso de ingeniería de datos se ejecute sin problemas y según lo esperado. Esto es importante tanto para las operaciones como para la elaboración de informes. Por ejemplo, un CloudWatch panel de control puede mostrar a los usuarios el estado de las cargas para ayudarles a entender la fiabilidad de sus procesos o qué porcentaje de sus datos se descartó debido a la baja calidad o qué fuentes tienen el mayor número de errores. Un CloudWatch panel de control no solo le ayuda a visualizar los resultados, sino que también le ayuda a mejorar los procesos al identificar los puntos problemáticos del proceso de ETL.