Kami tidak lagi memperbarui layanan Amazon Machine Learning atau menerima pengguna baru untuk itu. Dokumentasi ini tersedia untuk pengguna yang sudah ada, tetapi kami tidak lagi memperbaruinya. Untuk informasi selengkapnya, lihatApa itu Amazon Machine Learning.
Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Peringatan Evaluasi
Amazon L memberikan wawasan untuk membantu Anda memvalidasi apakah Anda mengevaluasi model dengan benar. Jika salah satu kriteria validasi tidak terpenuhi oleh evaluasi, konsol Amazon ML-memperingatkan Anda dengan menampilkan kriteria validasi yang telah dilanggar, sebagai berikut.
-
Evaluasi model ML dilakukan pada data yang diada-out
Amazon XML memberi tahu Anda jika Anda menggunakan sumber data yang sama untuk pelatihan dan evaluasi. Jika Anda menggunakan Amazon XML untuk membagi data Anda, Anda akan memenuhi kriteria validitas ini. Jika Anda tidak menggunakan Amazon XML untuk membagi data Anda, pastikan untuk mengevaluasi model ML-mu dengan sumber data selain sumber data pelatihan.
-
Data yang cukup digunakan untuk evaluasi model prediktif
Amazon XML memberi tahu Anda jika jumlah pengamatan/catatan dalam data evaluasi Anda kurang dari 10% jumlah pengamatan yang Anda miliki dalam sumber data pelatihan Anda. Untuk mengevaluasi model Anda dengan benar, penting untuk memberikan sampel data yang cukup besar. Kriteria ini memberikan cek untuk memberi tahu Anda jika Anda menggunakan terlalu sedikit data. Jumlah data yang diperlukan untuk mengevaluasi model ML-mu bersifat subjektif. 10% dipilih di sini sebagai stop gap tanpa adanya ukuran yang lebih baik.
-
Skema cocok
Amazon ML-memberi tahu Anda jika skema untuk sumber data pelatihan dan evaluasi tidak sama. Jika Anda memiliki atribut tertentu yang tidak ada dalam sumber data evaluasi atau jika Anda memiliki atribut tambahan, Amazon LL akan menampilkan peringatan ini.
-
Semua catatan dari file evaluasi digunakan untuk evaluasi kinerja model prediktif
Penting untuk mengetahui apakah semua catatan yang disediakan untuk evaluasi sebenarnya digunakan untuk mengevaluasi model. Amazon XML memberi tahu Anda jika beberapa catatan dalam sumber data evaluasi tidak valid dan tidak disertakan dalam perhitungan metrik akurasi. Misalnya, jika variabel target hilang untuk beberapa pengamatan dalam sumber data evaluasi, Amazon L tidak dapat memeriksa apakah prediksi model ML's untuk pengamatan ini benar. Dalam hal ini, catatan dengan nilai target yang hilang dianggap tidak valid.
-
Distribusi variabel target
Amazon XML menunjukkan kepada Anda distribusi atribut target dari sumber data pelatihan dan evaluasi sehingga Anda dapat meninjau apakah target didistribusikan sama di kedua sumber data. Jika model dilatih pada data pelatihan dengan distribusi target yang berbeda dari distribusi target pada data evaluasi, maka kualitas evaluasi bisa menderita karena sedang dihitung pada data dengan statistik yang sangat berbeda. Cara terbaik adalah untuk memiliki data didistribusikan sama melalui pelatihan dan evaluasi data, dan memiliki dataset ini meniru sebanyak mungkin data yang model akan hadapi ketika membuat prediksi.
Jika peringatan ini dipicu, coba gunakan strategi split acak untuk membagi data menjadi sumber data pelatihan dan evaluasi. Dalam kasus yang jarang terjadi, peringatan ini mungkin keliru memperingatkan Anda tentang perbedaan distribusi target meskipun Anda membagi data Anda secara acak. Amazon L menggunakan perkiraan statistik data untuk mengevaluasi distribusi data, kadang-kadang memicu peringatan ini dalam kesalahan.
