Surveillance et débogage

Certaines phases du cycle de vie des données ne sont pas séquentielles mais toujours présentes. Cela est vrai pour la phase de surveillance et de débogage, comme le montre le schéma suivant.

L'exactitude et les performances du processus d'ingénierie des données doivent être surveillées en permanence. Amazon CloudWatch joue un rôle crucial dans la surveillance de l'ingénierie des données, car il enregistre chaque journal d'erreurs et d'informations dans ses groupes de journaux. Vous pouvez utiliser la surveillance pour créer une récupération automatique des erreurs. Par exemple, vous pouvez arrêter les pipelines si vous constatez que vos règles de qualité des données ne sont pas respectées, ou vous pouvez enregistrer séparément les exécutions réussies et les échecs pour permettre une action de restauration. La surveillance améliore la fiabilité globale du processus d'ingénierie des données (c'est-à-dire le processus ETL complet) ainsi que des données.

En outre, nous vous recommandons de créer des CloudWatch tableaux de bord qui incluent les mesures pertinentes pour le processus de surveillance et de débogage. Cela peut contribuer à garantir que le processus d'ingénierie des données se déroule correctement et comme prévu. C'est important pour les opérations ainsi que pour les rapports. Par exemple, un CloudWatch tableau de bord peut indiquer aux utilisateurs l'état des chargements afin de les aider à comprendre la fiabilité de leurs processus, le pourcentage de leurs données perdues en raison d'une mauvaise qualité ou les sources présentant le plus grand nombre de défaillances. Un CloudWatch tableau de bord vous permet non seulement de visualiser les résultats, mais également d'améliorer les processus en identifiant les points faibles du processus ETL.