Insight Model Biner

Menafsirkan Prediksi

Output aktual dari banyak algoritma klasifikasi biner adalah prediksiskor. Skor menunjukkan kepastian sistem bahwa pengamatan yang diberikan milik kelas positif (nilai target sebenarnya adalah 1). Model klasifikasi biner di Amazon MLnya menghasilkan skor yang berkisar dari 0 ke 1. Sebagai konsumen skor ini, untuk membuat keputusan tentang apakah observasi harus diklasifikasikan sebagai 1 atau 0, Anda menafsirkan skor dengan memilih ambang klasifikasi, ataubatas,dan membandingkan skor terhadap itu. Setiap observasi dengan skor lebih tinggi dari batas diperkirakan sebagai target= 1, dan skor lebih rendah dari batas diperkirakan sebagai target= 0.

Di Amazon IL, cut-off skor default adalah 0,5. Anda dapat memilih untuk memperbarui cut-off ini agar sesuai dengan kebutuhan bisnis Anda. Anda dapat menggunakan visualisasi di konsol untuk memahami bagaimana pilihan cut-off akan mempengaruhi aplikasi Anda.

Mengukur Akurasi Model

Amazon IL menyediakan metrik akurasi standar industri untuk model klasifikasi biner yang disebut Area Under the (Receiver Operating Characteristic) Curve (AUC). AUC mengukur kemampuan model untuk memprediksi skor yang lebih tinggi untuk contoh-contoh positif. Karena tidak tergantung pada cut-off skor, Anda bisa mendapatkan rasa keakuratan prediksi model Anda dari metrik AUC tanpa memilih ambang batas.

Metrik AUC mengembalikan nilai desimal dari 0 menjadi 1. Nilai AUC dekat 1 menunjukkan model MLnya yang sangat akurat. Nilai di dekat 0,5 menunjukkan model L yang tidak lebih baik daripada menebak secara acak. Nilai dekat 0 tidak biasa untuk dilihat, dan biasanya menunjukkan masalah dengan data. Pada dasarnya, AUC dekat 0 mengatakan bahwa model L telah mempelajari pola yang benar, tetapi menggunakannya untuk membuat prediksi yang dibalik dari kenyataan ('0 diprediksi sebagai '1's dan sebaliknya). Untuk informasi selengkapnya tentang AUC, bukaKarakteristik operasi penerimahalaman di Wikipedia.

Metrik AUC dasar untuk model biner adalah 0,5. Ini adalah nilai untuk model ML hipotetis yang secara acak memprediksi jawaban 1 atau 0. Model ML biner Anda harus berkinerja lebih baik daripada nilai ini untuk mulai menjadi berharga.

Menggunakan Visualisasi Kinerja

Untuk mengeksplorasi keakuratan model ML, Anda dapat meninjau grafik padaevaluasihalaman di konsol Amazon ML. Halaman ini menunjukkan dua histogram: a) histogram skor untuk positif aktual (targetnya adalah 1) dan b) histogram skor untuk negatif aktual (targetnya adalah 0) dalam data evaluasi.

Model L yang memiliki akurasi prediktif yang baik akan memprediksi skor yang lebih tinggi ke 1s aktual dan skor yang lebih rendah ke 0 yang sebenarnya. Sebuah model yang sempurna akan memiliki dua histogram di dua ujung yang berbeda dari sumbu x menunjukkan bahwa sebenarnya positif semua mendapat skor tinggi dan negatif aktual semua mendapat skor rendah. Namun, model L membuat kesalahan, dan grafik khas akan menunjukkan bahwa kedua histogram tumpang tindih pada skor tertentu. Model kinerja yang sangat buruk tidak akan dapat membedakan antara kelas positif dan negatif, dan kedua kelas akan memiliki histogram sebagian besar tumpang tindih.

Dengan menggunakan visualisasi, Anda dapat mengidentifikasi jumlah prediksi yang termasuk dalam dua jenis prediksi yang benar dan dua jenis prediksi yang salah.

Prediksi yang benar

• Benar positif (TP): Amazon IL memprediksi nilainya sebagai 1, dan nilai sebenarnya adalah 1.

• Benar negatif (TN): Amazon IL memprediksi nilainya sebagai 0, dan nilai sebenarnya adalah 0.

Prediksi yang salah

• Positif palsu (FP): Amazon IL memprediksi nilainya sebagai 1, tetapi nilai sebenarnya adalah 0.

• Negatif palsu (FN): Amazon IL memprediksi nilainya sebagai 0, tetapi nilai sebenarnya adalah 1.

catatan

Jumlah TP, TN, FP, dan FN tergantung pada ambang skor yang dipilih, dan mengoptimalkan salah satu dari angka-angka ini berarti membuat tradeoff pada yang lain. Sejumlah TPS yang tinggi biasanya menghasilkan sejumlah FP yang tinggi dan sejumlah TNs yang rendah.

Menyesuaikan Skor Cut-off

Model L bekerja dengan menghasilkan skor prediksi numerik, dan kemudian menerapkan cut-off untuk mengubah skor ini menjadi biner 0/1 label. Dengan mengubah skor cut-off, Anda dapat menyesuaikan perilaku model ketika membuat kesalahan. Padaevaluasihalaman di konsol Amazon XML, Anda dapat meninjau dampak dari berbagai cut-off skor, dan Anda dapat menyimpan potongan skor yang ingin Anda gunakan untuk model Anda.

Ketika Anda menyesuaikan batas cut-off skor, amati trade-off antara dua jenis kesalahan. Memindahkan cut-off ke kiri menangkap positif yang lebih benar, tetapi trade-off adalah peningkatan jumlah kesalahan positif palsu. Memindahkannya ke kanan menangkap kurang dari kesalahan positif palsu, tetapi trade-off adalah bahwa hal itu akan kehilangan beberapa positif yang benar. Untuk aplikasi prediktif Anda, Anda membuat keputusan jenis kesalahan mana yang lebih dapat ditoleransi dengan memilih skor cut-off yang sesuai.

Meninjau Metrik Lanjutan

Amazon IL menyediakan metrik tambahan berikut untuk mengukur keakuratan prediktif model ML-nya: akurasi, presisi, penarikan kembali, dan tingkat positif palsu.

Akurasi

Akurasi(ACC) mengukur fraksi prediksi yang benar. Rentangnya adalah 0 ke 1. Nilai yang lebih besar menunjukkan akurasi prediktif yang lebih baik:

Presisi

Presisimengukur fraksi positif aktual di antara contoh-contoh yang diprediksi positif. Rentangnya adalah 0 ke 1. Nilai yang lebih besar menunjukkan akurasi prediktif yang lebih baik:

Recall

Recallmengukur fraksi positif aktual yang diprediksi positif. Rentangnya adalah 0 ke 1. Nilai yang lebih besar menunjukkan akurasi prediktif yang lebih baik:

Tingkat Positif Palsu

Parametertingkat positif palsu(FPR) mengukur tingkat alarm palsu atau fraksi negatif aktual yang diprediksi positif. Rentangnya adalah 0 ke 1. Nilai yang lebih kecil menunjukkan akurasi prediktif yang lebih baik:

Tergantung pada masalah bisnis Anda, Anda mungkin lebih tertarik pada model yang berkinerja baik untuk subset tertentu dari metrik ini. Misalnya, dua aplikasi bisnis mungkin memiliki persyaratan yang sangat berbeda untuk model ML-nya:

• Satu aplikasi mungkin perlu sangat yakin tentang prediksi positif yang sebenarnya positif (presisi tinggi), dan mampu mengklasifikasikan beberapa contoh positif sebagai negatif (recall moderat).

• Aplikasi lain mungkin perlu memprediksi dengan benar sebanyak mungkin contoh positif (recall tinggi), dan akan menerima beberapa contoh negatif yang salah diklasifikasikan sebagai positif (presisi moderat).

Amazon IL memungkinkan Anda untuk memilih cut-off skor yang sesuai dengan nilai tertentu dari salah satu metrik lanjutan sebelumnya. Hal ini juga menunjukkan tradeoffs yang terjadi dengan mengoptimalkan untuk satu metrik. Misalnya, jika Anda memilih cut-off yang sesuai dengan presisi tinggi, Anda biasanya harus menukarnya dengan penarikan yang lebih rendah.

catatan

Anda harus menyimpan cut-off skor agar dapat diterapkan pada mengklasifikasikan prediksi masa depan dengan model ML-mu.