Metrik kualitas model dan pemantauan Amazon CloudWatch

Pekerjaan pemantauan kualitas model menghitung metrik yang berbeda untuk mengevaluasi kualitas dan kinerja model pembelajaran mesin Anda. Metrik spesifik yang dihitung tergantung pada jenis masalah ML: regresi, klasifikasi biner, atau klasifikasi multiclass. Memantau metrik ini sangat penting untuk mendeteksi penyimpangan model dari waktu ke waktu. Bagian berikut mencakup metrik kualitas model utama untuk setiap jenis masalah, serta cara mengatur pemantauan dan peringatan otomatis CloudWatch untuk terus melacak kinerja model Anda.

catatan

Standar deviasi untuk metrik disediakan hanya jika setidaknya 200 sampel tersedia. Model Monitor menghitung standar deviasi dengan mengambil sampel 80% data secara acak lima kali, menghitung metrik, dan mengambil standar deviasi untuk hasil tersebut.

Metrik regresi

Berikut ini menunjukkan contoh metrik yang dihitung oleh monitor kualitas model untuk masalah regresi.

"regression_metrics" : {
    "mae" : {
      "value" : 0.3711832061068702,
      "standard_deviation" : 0.0037566388129940394
    },
    "mse" : {
      "value" : 0.3711832061068702,
      "standard_deviation" : 0.0037566388129940524
    },
    "rmse" : {
      "value" : 0.609248066149471,
      "standard_deviation" : 0.003079253267651125
    },
    "r2" : {
      "value" : -1.3766111872212665,
      "standard_deviation" : 0.022653980022771227
    }
  }

Metrik klasifikasi biner

Berikut ini menunjukkan contoh metrik yang dihitung oleh monitor kualitas model untuk masalah klasifikasi biner.

"binary_classification_metrics" : {
    "confusion_matrix" : {
      "0" : {
        "0" : 1,
        "1" : 2
      },
      "1" : {
        "0" : 0,
        "1" : 1
      }
    },
    "recall" : {
      "value" : 1.0,
      "standard_deviation" : "NaN"
    },
    "precision" : {
      "value" : 0.3333333333333333,
      "standard_deviation" : "NaN"
    },
    "accuracy" : {
      "value" : 0.5,
      "standard_deviation" : "NaN"
    },
    "recall_best_constant_classifier" : {
      "value" : 1.0,
      "standard_deviation" : "NaN"
    },
    "precision_best_constant_classifier" : {
      "value" : 0.25,
      "standard_deviation" : "NaN"
    },
    "accuracy_best_constant_classifier" : {
      "value" : 0.25,
      "standard_deviation" : "NaN"
    },
    "true_positive_rate" : {
      "value" : 1.0,
      "standard_deviation" : "NaN"
    },
    "true_negative_rate" : {
      "value" : 0.33333333333333337,
      "standard_deviation" : "NaN"
    },
    "false_positive_rate" : {
      "value" : 0.6666666666666666,
      "standard_deviation" : "NaN"
    },
    "false_negative_rate" : {
      "value" : 0.0,
      "standard_deviation" : "NaN"
    },
    "receiver_operating_characteristic_curve" : {
      "false_positive_rates" : [ 0.0, 0.0, 0.0, 0.0, 0.0, 1.0 ],
      "true_positive_rates" : [ 0.0, 0.25, 0.5, 0.75, 1.0, 1.0 ]
    },
    "precision_recall_curve" : {
      "precisions" : [ 1.0, 1.0, 1.0, 1.0, 1.0 ],
      "recalls" : [ 0.0, 0.25, 0.5, 0.75, 1.0 ]
    },
    "auc" : {
      "value" : 1.0,
      "standard_deviation" : "NaN"
    },
    "f0_5" : {
      "value" : 0.3846153846153846,
      "standard_deviation" : "NaN"
    },
    "f1" : {
      "value" : 0.5,
      "standard_deviation" : "NaN"
    },
    "f2" : {
      "value" : 0.7142857142857143,
      "standard_deviation" : "NaN"
    },
    "f0_5_best_constant_classifier" : {
      "value" : 0.29411764705882354,
      "standard_deviation" : "NaN"
    },
    "f1_best_constant_classifier" : {
      "value" : 0.4,
      "standard_deviation" : "NaN"
    },
    "f2_best_constant_classifier" : {
      "value" : 0.625,
      "standard_deviation" : "NaN"
    }
  }

Metrik multiclass

Berikut ini menunjukkan contoh metrik yang dihitung oleh monitor kualitas model untuk masalah klasifikasi multiclass.

"multiclass_classification_metrics" : {
    "confusion_matrix" : {
      "0" : {
        "0" : 1180,
        "1" : 510
      },
      "1" : {
        "0" : 268,
        "1" : 138
      }
    },
    "accuracy" : {
      "value" : 0.6288167938931297,
      "standard_deviation" : 0.00375663881299405
    },
    "weighted_recall" : {
      "value" : 0.6288167938931297,
      "standard_deviation" : 0.003756638812994008
    },
    "weighted_precision" : {
      "value" : 0.6983172269629505,
      "standard_deviation" : 0.006195912915307507
    },
    "weighted_f0_5" : {
      "value" : 0.6803947317178771,
      "standard_deviation" : 0.005328406973561699
    },
    "weighted_f1" : {
      "value" : 0.6571162346664904,
      "standard_deviation" : 0.004385008075019733
    },
    "weighted_f2" : {
      "value" : 0.6384024354394601,
      "standard_deviation" : 0.003867109755267757
    },
    "accuracy_best_constant_classifier" : {
      "value" : 0.19370229007633588,
      "standard_deviation" : 0.0032049848450732355
    },
    "weighted_recall_best_constant_classifier" : {
      "value" : 0.19370229007633588,
      "standard_deviation" : 0.0032049848450732355
    },
    "weighted_precision_best_constant_classifier" : {
      "value" : 0.03752057718081697,
      "standard_deviation" : 0.001241536088657851
    },
    "weighted_f0_5_best_constant_classifier" : {
      "value" : 0.04473443104152011,
      "standard_deviation" : 0.0014460485504284792
    },
    "weighted_f1_best_constant_classifier" : {
      "value" : 0.06286421244683643,
      "standard_deviation" : 0.0019113576884608862
    },
    "weighted_f2_best_constant_classifier" : {
      "value" : 0.10570313141262414,
      "standard_deviation" : 0.002734216826748117
    }
  }

Memantau metrik kualitas model dengan CloudWatch

Jika Anda menetapkan nilai True saat Anda membuat jadwal pemantauan, pekerjaan pemantauan kualitas model mengirimkan semua metrik ke CloudWatch. enable_cloudwatch_metrics

Metrik kualitas model muncul di namespace berikut:

• Untuk titik akhir real-time: aws/sagemaker/Endpoints/model-metrics

• Untuk pekerjaan transformasi batch: aws/sagemaker/ModelMonitoring/model-metrics

Untuk daftar metrik yang dipancarkan, lihat bagian sebelumnya di halaman ini.

Anda dapat menggunakan CloudWatch metrik untuk membuat alarm ketika metrik tertentu tidak memenuhi ambang batas yang Anda tentukan. Untuk petunjuk tentang cara membuat CloudWatch alarm, lihat Membuat CloudWatch alarm berdasarkan ambang batas statis di Panduan CloudWatch Pengguna.