モニタリングとデバッグ

データライフサイクルの特定のフェーズはシーケンシャルではありませんが、一貫して存在します。これは、次の図に示すように、モニタリングとデバッグのステージに当てはまります。

データエンジニアリングのプロセスは、正確性とパフォーマンスを継続的にモニタリングする必要があります。Amazon CloudWatch は、すべてのエラーログと情報ログをロググループにログ記録するため、データエンジニアリングのモニタリングに重要な役割を果たします。モニタリングを使用して、自動エラー復旧を構築できます。例えば、データ品質ルールが満たされていないことが判明した場合、パイプラインを停止したり、成功した実行と失敗した実行を個別にログに記録して復旧アクションを有効にしたりできます。モニタリングにより、データエンジニアリングプロセス (つまり、完全な ETL プロセス) とデータの全体的な信頼性が向上します。

さらに、モニタリングおよびデバッグプロセスに関連するメトリクスを含む CloudWatch ダッシュボードを作成することをお勧めします。これにより、データエンジニアリングプロセスがスムーズかつ期待どおりに実行されるようにできます。これは、 オペレーションとレポートにとって重要です。例えば、CloudWatch ダッシュボードは、プロセスの信頼性や、低品質が原因で削除されたデータの割合、または最大障害が発生したソースを理解するのに役立つロードのステータスをユーザーに示すことができます。CloudWatch ダッシュボードは、結果を視覚化するだけでなく、ETL プロセスの問題点を特定することでプロセスの改善にも役立ちます。