Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Mengukur dampak rekomendasi dengan pengujian A/B
Melakukan tes A/B terdiri dari menjalankan eksperimen dengan beberapa variasi dan membandingkan hasilnya. Melakukan pengujian A/B dengan rekomendasi Amazon Personalize melibatkan menampilkan berbagai kelompok pengguna berbagai jenis rekomendasi dan kemudian membandingkan hasilnya. Anda dapat menggunakan pengujian A/B untuk membantu membandingkan dan mengevaluasi berbagai strategi rekomendasi, dan mengukur dampak rekomendasi.
Misalnya, Anda dapat menggunakan pengujian A/B untuk melihat apakah rekomendasi Amazon Personalisasi meningkatkan rasio klik-tayang. Untuk menguji skenario ini, Anda dapat menampilkan satu grup rekomendasi pengguna yang tidak dipersonalisasi, seperti produk unggulan. Dan Anda mungkin menunjukkan rekomendasi yang dipersonalisasi grup lain yang dihasilkan oleh Amazon Personalize. Saat pelanggan berinteraksi dengan item, Anda dapat mencatat hasilnya dan melihat strategi mana yang menghasilkan rasio klik-tayang tertinggi.
Alur kerja untuk melakukan pengujian A/B dengan rekomendasi Amazon Personalize adalah sebagai berikut:
-
Rencanakan eksperimen Anda — Tentukan hipotesis yang dapat diukur, identifikasi tujuan bisnis, tentukan variasi eksperimen, dan tentukan kerangka waktu eksperimen Anda.
-
Pisahkan pengguna Anda — Pisahkan pengguna menjadi dua grup atau lebih, dengan grup kontrol dan satu atau beberapa grup eksperimen.
-
Jalankan eksperimen Anda — Tampilkan rekomendasi modifikasi grup eksperimen kepada pengguna. Tampilkan pengguna dalam rekomendasi grup kontrol tanpa perubahan. Rekam interaksi mereka dengan rekomendasi untuk melacak hasil.
-
Mengevaluasi hasil — Menganalisis hasil eksperimen untuk menentukan apakah modifikasi membuat perbedaan yang signifikan secara statistik untuk kelompok eksperimen.
Anda dapat menggunakan Amazon CloudWatch Evidently untuk melakukan pengujian A/B dengan rekomendasi Amazon Personalize. Dengan CloudWatch Evidently, Anda dapat menentukan eksperimen, melacak indikator kinerja utama (KPIs), merutekan lalu lintas permintaan rekomendasi ke sumber daya Amazon Personalize yang relevan, dan mengevaluasi hasil eksperimen. Untuk informasi selengkapnya, lihat Pengujian A/B dengan CloudWatch Terbukti.
A/B menguji praktik terbaik
Gunakan praktik terbaik berikut untuk membantu Anda merancang dan memelihara pengujian A/B untuk rekomendasi Amazon Personalisasi.
-
Identifikasi tujuan bisnis yang dapat diukur. Verifikasi bahwa rekomendasi berbeda yang ingin Anda bandingkan keduanya selaras dengan tujuan bisnis ini dan tidak terkait dengan tujuan yang berbeda atau tidak dapat diukur.
-
Tentukan hipotesis terukur yang sejalan dengan tujuan bisnis Anda. Misalnya, Anda dapat memprediksi bahwa promosi untuk konten yang dibuat khusus Anda sendiri akan menghasilkan 20% lebih banyak klik dari item ini. Hipotesis Anda menentukan modifikasi yang Anda buat untuk kelompok eksperimen Anda.
-
Tentukan indikator kinerja kunci yang relevan (KPIs) yang terkait dengan hipotesis Anda. Anda gunakan KPIs untuk mengukur hasil eksperimen Anda. Ini mungkin sebagai berikut:
-
Rasio klik-tayang
-
Waktu menonton
-
Harga total
-
-
Verifikasi bahwa jumlah total pengguna dalam percobaan cukup besar untuk mencapai hasil yang signifikan secara statistik, tergantung pada hipotesis Anda.
-
Tentukan strategi pemisahan lalu lintas Anda sebelum memulai eksperimen. Hindari mengubah pemisahan lalu lintas saat percobaan sedang berjalan.
-
Jaga agar pengalaman pengguna aplikasi atau situs web Anda tetap sama untuk grup eksperimen dan grup kontrol Anda, kecuali untuk modifikasi yang terkait dengan eksperimen Anda (misalnya, model). Variasi dalam pengalaman pengguna, seperti UI atau latensi, dapat menyebabkan hasil yang menyesatkan.
-
Kontrol faktor eksternal, seperti hari libur, kampanye pemasaran yang sedang berlangsung, dan batasan browser. Faktor-faktor eksternal ini dapat menyebabkan hasil yang menyesatkan.
-
Hindari mengubah rekomendasi Amazon Personalize kecuali terkait langsung dengan hipotesis atau persyaratan bisnis Anda. Perubahan seperti menerapkan filter atau mengubah urutan secara manual dapat menyebabkan hasil yang menyesatkan.
-
Ketika Anda mengevaluasi hasil, pastikan bahwa hasilnya signifikan secara statistik sebelum menarik kesimpulan. Standar industri adalah tingkat signifikansi 5%.
