Monitoramento e depuração

Certas fases do ciclo de vida dos dados não são sequenciais, mas estão presentes de forma consistente. Isso vale para o estágio de monitoramento e depuração, conforme mostrado no diagrama a seguir.

O processo de engenharia de dados deve ser monitorado continuamente quanto à exatidão e ao desempenho. A Amazon CloudWatch desempenha um papel crucial no monitoramento da engenharia de dados, pois registra todos os registros de erros e informações em seus grupos de registros. Você pode usar o monitoramento para criar uma recuperação automática de erros. Por exemplo, você pode interromper os pipelines se descobrir que suas regras de qualidade de dados não estão satisfeitas, ou você pode registrar execuções bem-sucedidas e execuções com falha separadamente para permitir uma ação de recuperação. O monitoramento melhora a confiabilidade geral do processo de engenharia de dados (ou seja, do processo ETL completo), bem como dos dados.

Além disso, recomendamos que você crie CloudWatch painéis que incluam as métricas relevantes para o processo de monitoramento e depuração. Isso pode ajudar a garantir que o processo de engenharia de dados esteja funcionando sem problemas e conforme o esperado. Isso é importante tanto para as operações quanto para os relatórios. Por exemplo, um CloudWatch painel pode mostrar aos usuários o status das cargas para ajudá-los a entender a confiabilidade de seus processos ou qual porcentagem de seus dados foi descartada devido à baixa qualidade ou quais fontes têm o máximo de falhas. Um CloudWatch painel não apenas ajuda a visualizar os resultados, mas também ajuda a melhorar os processos, identificando os pontos problemáticos no processo de ETL.