Pemantauan dan debugging

Fase tertentu dalam siklus hidup data tidak berurutan tetapi hadir secara konsisten. Ini berlaku untuk tahap pemantauan dan debugging, seperti yang ditunjukkan pada diagram berikut.

Proses rekayasa data harus terus dipantau untuk kebenaran dan kinerja. Amazon CloudWatch memainkan peran penting dalam memantau rekayasa data, karena mencatat setiap kesalahan dan log info ke grup lognya. Anda dapat menggunakan pemantauan untuk membangun pemulihan kesalahan otomatis. Misalnya, Anda dapat menghentikan pipeline jika Anda menemukan bahwa aturan kualitas data Anda tidak terpenuhi, atau Anda dapat mencatat proses yang berhasil dan gagal berjalan secara terpisah untuk mengaktifkan tindakan pemulihan. Pemantauan meningkatkan keandalan keseluruhan dari proses rekayasa data (yaitu, proses ETL penuh) serta data.

Selain itu, kami menyarankan Anda membuat CloudWatch dasbor yang menyertakan metrik yang relevan untuk proses pemantauan dan debugging. Hal ini dapat membantu memastikan bahwa proses rekayasa data berjalan lancar dan seperti yang diharapkan. Ini penting untuk operasi serta pelaporan. Misalnya, CloudWatch dasbor dapat menunjukkan status beban kepada pengguna untuk membantu mereka memahami keandalan proses mereka atau berapa persentase data mereka yang turun karena kualitas rendah atau sumber mana yang mengalami kegagalan maksimum. CloudWatch Dasbor tidak hanya membantu Anda memvisualisasikan hasil tetapi juga membantu Anda meningkatkan proses dengan mengidentifikasi titik-titik nyeri dalam proses ETL.