Wawasan Model Multiclass

Menafsirkan Prediksi

Output aktual dari algoritma klasifikasi multiclass adalah seperangkat prediksimencetak. Skor menunjukkan kepastian model bahwa pengamatan yang diberikan milik masing-masing kelas. Tidak seperti untuk masalah klasifikasi biner, Anda tidak perlu memilih skor cut-off untuk membuat prediksi. Jawaban yang diprediksi adalah kelas (misalnya, label) dengan skor prediksi tertinggi.

Mengukur Akurasi Model

Metrik tipikal yang digunakan dalam multiclass sama dengan metrik yang digunakan dalam kasus klasifikasi biner setelah rata-rata di semua kelas. Di Amazon IL, skor F1 makro-rata-rata digunakan untuk mengevaluasi keakuratan prediktif metrik multiclass.

Makro Rata-rata Skor F1

Skor F1 adalah metrik klasifikasi biner yang menganggap kedua metrik biner presisi dan recall. Ini adalah mean harmonik antara presisi dan recall. Rentangnya adalah 0 hingga 1. Nilai yang lebih besar menunjukkan akurasi prediktif yang lebih baik:

Skor F1 rata-rata makro adalah rata-rata unweighted dari F1-skor atas semua kelas dalam kasus multiclass. Ini tidak memperhitungkan frekuensi terjadinya kelas dalam dataset evaluasi. Nilai yang lebih besar menunjukkan akurasi prediktif yang lebih baik. Contoh berikut menunjukkan kelas K di datasource evaluasi:

Baseline Makro Rata-rata Skor F1

Amazon IL menyediakan metrik dasar untuk model multiclass. Ini adalah skor F1 rata-rata makro untuk model multiclass hipotetis yang akan selalu memprediksi kelas yang paling sering sebagai jawabannya. Misalnya, jika Anda memprediksi genre film dan genre yang paling umum dalam data pelatihan Anda adalah Romance, maka model dasar akan selalu memprediksi genre sebagai Romance. Anda akan membandingkan model ML-mu dengan baseline ini untuk memvalidasi jika model MLmu lebih baik daripada model ML-mu yang memprediksi jawaban konstan ini.

Menggunakan Visualisasi Kinerja

Amazon ML-nya menyediakanmatriks kebingungansebagai cara untuk memvisualisasikan keakuratan klasifikasi multiclass model prediktif. Matriks kebingungan menggambarkan dalam tabel jumlah atau persentase prediksi yang benar dan salah untuk setiap kelas dengan membandingkan kelas diprediksi pengamatan dan kelas sebenarnya.

Misalnya, jika Anda mencoba mengklasifikasikan film menjadi genre, model prediktif mungkin memprediksi bahwa genre (kelas) adalah Romance. Namun, genre sebenarnya sebenarnya mungkin Thriller. Ketika Anda mengevaluasi keakuratan model ML-klasifikasi multiclass, Amazon IL mengidentifikasi kesalahan klasifikasi ini dan menampilkan hasil dalam matriks kebingungan, seperti yang ditunjukkan dalam ilustrasi berikut.

Informasi berikut ini ditampilkan dalam matriks kebingungan:

• Jumlah prediksi yang benar dan salah untuk setiap kelas: Setiap baris dalam matriks kebingungan sesuai dengan metrik untuk salah satu kelas yang benar. Misalnya, baris pertama menunjukkan bahwa untuk film yang sebenarnya ada dalam genre Romantis, model multiclass ML-nya mendapatkan prediksi yang tepat untuk lebih dari 80% kasus. Ini salah memprediksi genre sebagai Thriller untuk kurang dari 20% dari kasus, dan Adventure kurang dari 20% dari kasus.

• Class-wise F1 Skor: Kolom terakhir menunjukkan F1-skor untuk masing-masing kelas.

• Benar kelas-frekuensi dalam data evaluasi: Kolom kedua untuk terakhir menunjukkan bahwa dalam dataset evaluasi, 57,92% dari pengamatan dalam data evaluasi adalah Romance, 21.23% adalah Thriller, dan 20,85% adalah Petualangan.

• Frekuensi kelas yang diprediksi untuk data evaluasi: Baris terakhir menunjukkan frekuensi masing-masing kelas dalam prediksi. 77.56% pengamatan diprediksi sebagai Romance, 9.33% diprediksi sebagai Thriller, dan 13.12% diprediksi sebagai Petualangan.

Konsol Amazon XML menyediakan tampilan visual yang mengakomodasi hingga 10 kelas dalam matriks kebingungan, yang tercantum dalam urutan kelas yang paling sering hingga paling sering dalam data evaluasi. Jika data evaluasi Anda memiliki lebih dari 10 kelas, Anda akan melihat 9 kelas paling sering terjadi dalam matriks kebingungan, dan semua kelas lainnya akan runtuh ke dalam kelas yang disebut “orang lain.” Amazon IL juga menyediakan kemampuan untuk mengunduh matriks kebingungan penuh melalui tautan di halaman visualisasi multiclass.