Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Mengkonfigurasi deteksi anomali dalam pekerjaan Glue AWS ETL
Untuk memulai dengan deteksi anomali di AWS Glue Studio, buka pekerjaan AWS Glue Studio dan klik Evaluate Data Quality Transform.
Dengan mengaktifkan fitur ini, AWS Glue Data Quality akan menganalisis data Anda dari waktu ke waktu untuk mendeteksi anomali. Ini memberikan statistik data berharga dan pengamatan tentang data Anda, memungkinkan Anda untuk mengambil tindakan pada anomali yang diidentifikasi.
Tinjau dokumentasi Deteksi Anomali untuk memahami cara kerja bagian dalam fitur ini.
Mengaktifkan deteksi anomali
Untuk mengaktifkan deteksi anomali di: AWS Glue Studio
-
Pilih node Kualitas Data di pekerjaan Anda, lalu pilih tab Deteksi anomali. Beralih untuk mengaktifkan Aktifkan Deteksi Anomali.
-
Tentukan data untuk memantau anomali dengan memilih Add analyzer. Ada dua bidang yang dapat Anda isi: Statistik dan Data.
-
Statistik adalah informasi tentang bentuk data Anda dan properti lainnya. Anda dapat memilih satu atau lebih statistik sekaligus, atau memilih Semua statistik. Statistik meliputi: Kelengkapan, Keunikan, Mean, Jumlah,, Entropi, StandardDeviation, dan banyak lagi. DistinctValuesCount UniqueValueRatio Lihat dokumentasi Analyzers untuk detail selengkapnya.
-
Data adalah kolom dalam dataset Anda. Anda dapat memilih semua kolom atau kolom individual.
-
-
Pilih Tambahkan cakupan deteksi anomali untuk menyimpan perubahan Anda. Setelah menambahkan penganalisis, Anda dapat melihatnya di bagian cakupan deteksi anomali.
Anda juga dapat menggunakan menu Tindakan untuk mengedit penganalisis Anda, atau memilih tab editor Ruleset dan mengedit penganalisis langsung di notepad editor ruleset. Anda akan melihat penganalisis yang Anda simpan di bawah aturan apa pun yang telah Anda buat.
Rules = [ ] Analyzers = [ Completeness “id” ]
Setelah set aturan dan penganalisis yang diperbarui dikonfigurasi, AWS Glue Data Quality terus memantau aliran data yang masuk. Ini dapat menandakan anomali potensial melalui peringatan atau penghentian pekerjaan, tergantung pada pengaturan Anda. Pemantauan proaktif ini membantu memastikan kualitas dan integritas data di seluruh jalur data Anda.
Di bagian selanjutnya, Anda akan belajar cara memantau anomali yang diidentifikasi oleh sistem secara efektif. Anda juga akan belajar cara melihat dan menganalisis statistik data yang dikumpulkan oleh AWS Glue Data Quality. Selain itu, Anda akan memahami cara memberikan umpan balik ke model pembelajaran mesin yang mendukung fitur Deteksi Anomali. Lingkaran umpan balik ini sangat penting untuk meningkatkan akurasi model dan memastikannya dapat secara efektif mendeteksi anomali yang sesuai dengan kebutuhan bisnis dan pola data spesifik Anda.
