Validasi Model Machine Learning

Setelah melatih model, evaluasi untuk menentukan apakah kinerja dan akurasinya memungkinkan Anda untuk mencapai tujuan bisnis Anda. Anda dapat menghasilkan beberapa model menggunakan metode yang berbeda dan mengevaluasi masing-masing. Misalnya, Anda dapat menerapkan aturan bisnis yang berbeda untuk setiap model, dan kemudian menerapkan berbagai ukuran untuk menentukan kesesuaian setiap model. Anda mungkin mempertimbangkan apakah model Anda perlu lebih sensitif daripada spesifik (atau sebaliknya).

Anda dapat mengevaluasi model Anda menggunakan data historis (offline) atau data langsung:

• Pengujian offline —Gunakan data historis, bukan langsung, untuk mengirim permintaan ke model untuk kesimpulan.

  Terapkan model terlatih Anda ke titik akhir alfa, dan gunakan data historis untuk mengirim permintaan inferensi ke sana. Untuk mengirim permintaan, gunakan notebook Jupyter di instance SageMaker notebook Amazon Anda dan pustaka Python tingkat tinggi AWS SDK for Python (Boto) atau yang disediakan oleh. SageMaker

• Pengujian online dengan data langsung — SageMaker mendukung pengujian A/B untuk model dalam produksi dengan menggunakan varian produksi. Varian produksi adalah model yang menggunakan kode inferensi yang sama dan digunakan pada titik akhir yang sama SageMaker . Anda mengonfigurasi varian produksi sehingga sebagian kecil lalu lintas langsung masuk ke model yang ingin Anda validasi. Misalnya, Anda dapat memilih untuk mengirim 10% lalu lintas ke varian model untuk evaluasi. Setelah Anda puas dengan kinerja model, Anda dapat merutekan lalu lintas 100% ke model yang diperbarui. Untuk contoh model pengujian dalam produksi, lihatVarian produksi.

Untuk informasi selengkapnya, lihat artikel dan buku tentang cara mengevaluasi model, misalnya, Mengevaluasi Model Machine Learning.

Opsi untuk evaluasi model offline meliputi:

• Memvalidasi menggunakan set penahanan —Praktisi pembelajaran mesin sering menyisihkan sebagian data sebagai “set penahanan.” Mereka tidak menggunakan data ini untuk pelatihan model.

  Dengan pendekatan ini, Anda mengevaluasi seberapa baik model Anda memberikan kesimpulan pada set penahanan. Anda kemudian menilai seberapa efektif model menggeneralisasi apa yang dipelajari dalam pelatihan awal, sebagai lawan menggunakan memori model. Pendekatan validasi ini memberi Anda gambaran tentang seberapa sering model dapat menyimpulkan jawaban yang benar.

   

  Dalam beberapa hal, pendekatan ini mirip dengan mengajar siswa sekolah dasar. Pertama, Anda memberi mereka serangkaian contoh untuk dipelajari, dan kemudian menguji kemampuan mereka untuk menggeneralisasi dari pembelajaran mereka. Dengan pekerjaan rumah dan tes, Anda menimbulkan masalah yang tidak termasuk dalam pembelajaran awal dan menentukan apakah mereka dapat menggeneralisasi secara efektif. Siswa dengan ingatan yang sempurna dapat menghafal masalah, alih-alih mempelajari aturan.

   

  Biasanya, dataset penahanan adalah 20-30% dari data pelatihan.

   

• validasi k-fold —Dalam pendekatan validasi ini, Anda membagi kumpulan data contoh menjadi k bagian. Anda memperlakukan masing-masing bagian ini sebagai set penahanan untuk k latihan lari, dan menggunakan bagian k -1 lainnya sebagai set pelatihan untuk lari itu. Anda menghasilkan model k menggunakan proses serupa, dan menggabungkan model untuk menghasilkan model akhir Anda. Nilai k biasanya dalam kisaran 5-10.