监控和调试

数据生命周期中的某些阶段不是连续的，而是始终存在的。监控和调试阶段就是这样，如下图所示。

必须持续监控数据工程过程的正确性和性能。Amazon 在监控数据工程方面 CloudWatch起着至关重要的作用，因为它会将每个错误和信息日志记录到其日志组中。您可以使用监控来构建自动错误恢复。例如，如果您发现不符合数据质量规则，则可以停止管道，也可以分别记录成功运行和失败的运行以启用恢复操作。监控可以提高数据工程流程（即整个 ETL 流程）和数据的整体可靠性。

此外，我们建议您创建包含监控和调试过程相关指标的 CloudWatch 仪表板。这有助于确保数据工程流程按预期顺利运行。这对于运营和报告都很重要。例如， CloudWatch 仪表板可以向用户显示负载状态，以帮助他们了解其流程的可靠性，或者由于质量低而丢弃的数据百分比或哪些来源的故障最多。 CloudWatch 仪表板不仅可以帮助您可视化结果，还可以通过识别 ETL 流程中的痛点来帮助您改进流程。