Überwachung und Debugging

Bestimmte Phasen im Datenlebenszyklus sind nicht sequentiell, sondern konsistent vorhanden. Dies gilt für die Überwachungs- und Debugging-Phase, wie in der folgenden Abbildung dargestellt.

Der Prozess der Datentechnik muss kontinuierlich auf Richtigkeit und Leistung überwacht werden. Amazon CloudWatch spielt eine entscheidende Rolle bei der Überwachung der Datentechnik, da es jedes Fehler- und Informationsprotokoll in seinen Protokollgruppen protokolliert. Sie können die Überwachung verwenden, um eine automatische Fehlerbehebung aufzubauen. Sie können beispielsweise Pipelines beenden, wenn Sie feststellen, dass Ihre Datenqualitätsregeln nicht eingehalten werden, oder Sie können erfolgreiche und fehlgeschlagene Ausführungen getrennt protokollieren, um eine Wiederherstellungsaktion zu ermöglichen. Durch die Überwachung wird die allgemeine Zuverlässigkeit des Datentechnikprozesses (d. h. des gesamten ETL-Prozesses) sowie der Daten verbessert.

Darüber hinaus empfehlen wir, CloudWatch Dashboards zu erstellen, die die relevanten Metriken für den Überwachungs- und Debugging-Prozess enthalten. Auf diese Weise kann sichergestellt werden, dass der Datentechnikprozess reibungslos und erwartungsgemäß abläuft. Dies ist sowohl für den Betrieb als auch für die Berichterstattung wichtig. Ein CloudWatch Dashboard kann Benutzern beispielsweise den Status von Lasten anzeigen, um ihnen zu helfen, die Zuverlässigkeit ihrer Prozesse zu verstehen oder zu verstehen, welcher Prozentsatz ihrer Daten aufgrund schlechter Qualität verloren gegangen ist oder welche Quellen die meisten Fehler aufweisen. Ein CloudWatch Dashboard hilft Ihnen nicht nur bei der Visualisierung von Ergebnissen, sondern hilft Ihnen auch dabei, Prozesse zu verbessern, indem es die Schwachstellen im ETL-Prozess identifiziert.