Lintas Validasi

Cross-validasi adalah teknik untuk mengevaluasi model ML-dengan melatih beberapa model ML-subset dari data input yang tersedia dan mengevaluasi mereka pada subset pelengkap data. Gunakan cross-validasi untuk mendeteksi overfitting, yaitu, gagal untuk menggeneralisasi pola.

Di Amazon XML, Anda dapat menggunakan metode validasi silang k-fold untuk melakukan validasi silang. Dalam k-fold cross-validasi, Anda membagi data input menjadi k subset data (juga dikenal sebagai lipatan). Anda melatih model ML-pada semua kecuali satu (k-1) dari subset, dan kemudian mengevaluasi model pada subset yang tidak digunakan untuk pelatihan. Proses ini diulang k kali, dengan subset yang berbeda disediakan untuk evaluasi (dan dikecualikan dari pelatihan) setiap kali.

Diagram berikut menunjukkan contoh dari subset pelatihan dan subset evaluasi komplementer yang dihasilkan untuk masing-masing dari empat model yang dibuat dan dilatih selama 4 kali lipat cross-validasi. Model satu menggunakan 25 persen data pertama untuk evaluasi, dan 75 persen sisanya untuk pelatihan. Model dua menggunakan subset kedua sebesar 25 persen (25 persen hingga 50 persen) untuk evaluasi, dan tiga subset data yang tersisa untuk pelatihan, dan seterusnya.

Setiap model dilatih dan dievaluasi menggunakan sumber data komplementer - data dalam sumber data evaluasi mencakup dan terbatas pada semua data yang tidak ada dalam sumber data pelatihan. Anda membuat sumber data untuk masing-masing subset ini denganDataRearrangementparameter dalamcreateDatasourceFromS3,createDatasourceFromRedShift, dancreateDatasourceFromRDSAPI. DiDataRearrangementparameter, tentukan subset data yang akan disertakan dalam sumber data dengan menentukan di mana untuk memulai dan mengakhiri setiap segmen. Untuk membuat sumber data komplementer yang diperlukan untuk validasi silang 4 kali lipat, tentukanDataRearrangementparameter seperti yang ditunjukkan dalam contoh berikut:

Model satu:

Sumber data untuk evaluasi:

{"splitting":{"percentBegin":0, "percentEnd":25}}

Sumber data untuk pelatihan:

{"splitting":{"percentBegin":0, "percentEnd":25, "complement":"true"}}

Model dua:

Sumber data untuk evaluasi:

{"splitting":{"percentBegin":25, "percentEnd":50}}

Sumber data untuk pelatihan:

{"splitting":{"percentBegin":25, "percentEnd":50, "complement":"true"}}

Tiga model:

Sumber data untuk evaluasi:

{"splitting":{"percentBegin":50, "percentEnd":75}}

Sumber data untuk pelatihan:

{"splitting":{"percentBegin":50, "percentEnd":75, "complement":"true"}}

Model empat:

Sumber data untuk evaluasi:

{"splitting":{"percentBegin":75, "percentEnd":100}}

Sumber data untuk pelatihan:

{"splitting":{"percentBegin":75, "percentEnd":100, "complement":"true"}}

Melakukan validasi silang 4 kali lipat menghasilkan empat model, empat sumber data untuk melatih model, empat sumber data untuk mengevaluasi model, dan empat evaluasi, satu untuk setiap model. Amazon ML-menghasilkan metrik kinerja model untuk setiap evaluasi. Misalnya, dalam 4 kali lipat cross-validasi untuk masalah klasifikasi biner, masing-masing evaluasi melaporkan area di bawah kurva (AUC) metrik. Anda bisa mendapatkan ukuran kinerja secara keseluruhan dengan menghitung rata-rata empat metrik AUC. Untuk informasi tentang metrik AUC, lihatMengukur Akurasi Model.

Untuk contoh kode yang menunjukkan cara membuat cross-validasi dan rata-rata skor model, lihatKode sampel Amazon.

Menyesuaikan Model Anda

Setelah Anda memvalidasi model silang, Anda dapat menyesuaikan pengaturan untuk model berikutnya jika model Anda tidak sesuai standar Anda. Untuk informasi lebih lanjut tentang overfitting, lihatCocok model: Overfitting vs. Overfitting. Untuk informasi lebih lanjut tentang regularisasi, lihatRegularisasi. Untuk informasi selengkapnya tentang mengubah pengaturan, lihatMembuat Model ML-nya dengan Opsi Kustom.