CloudWatch Metrik untuk Analisis Bias Drift

Panduan ini menunjukkan CloudWatch metrik dan propertinya yang dapat Anda gunakan untuk analisis penyimpangan bias di SageMaker Clarify. Pekerjaan pemantauan penyimpangan bias menghitung metrik bias pra-pelatihan dan metrik bias pasca-pelatihan, dan mempublikasikannya ke namespace berikut: CloudWatch

• Untuk titik akhir real-time: aws/sagemaker/Endpoints/bias-metrics

• Untuk pekerjaan transformasi batch: aws/sagemaker/ModelMonitoring/bias-metrics

Nama CloudWatch metrik menambahkan nama pendek metrik kebias_metric.

Misalnya, bias_metric_CI adalah metrik bias untuk ketidakseimbangan kelas (CI).

catatan

+/- infinityditerbitkan sebagai nomor floating point+/- 2.348543e108, dan kesalahan termasuk nilai nol tidak dipublikasikan.

Setiap metrik memiliki sifat-sifat berikut:

• Endpoint: Nama titik akhir yang dipantau, jika berlaku.

• MonitoringScheduleNama jadwal untuk pekerjaan pemantauan.

• BiasStage: Nama tahap pekerjaan pemantauan penyimpangan bias. Pilih salah satu Pre-training atauPost-Training.

• Label: Nama fitur target, disediakan oleh konfigurasi analisis pekerjaan pemantauanlabel.

• LabelValue: Nilai fitur target, disediakan oleh konfigurasi analisis pekerjaan pemantauanlabel_values_or_threshold.

• Facet: Nama aspek, disediakan oleh aspek name_of_index konfigurasi analisis pekerjaan pemantauan.

• FacetValue: Nilai aspek, disediakan oleh aspek nvalue_or_threshold konfigurasi analisis pekerjaan pemantauan.

Untuk menghentikan pekerjaan pemantauan dari penerbitan metrik, atur publish_cloudwatch_metrics ke Disabled dalam Environment peta definisi pekerjaan bias model.