Mengukur dampak rekomendasi dengan pengujian A/B - Amazon Personalize
A/B Testing A/B Testing A/B Testing Pr

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Mengukur dampak rekomendasi dengan pengujian A/B

Melakukan tes A/B terdiri dari menjalankan eksperimen dengan berbagai variasi dan membandingkan hasilnya. Melakukan pengujian A/B dengan rekomendasi Amazon Personalize melibatkan menunjukkan berbagai kelompok pengguna berbagai jenis rekomendasi dan kemudian membandingkan hasilnya. Anda dapat menggunakan pengujian A/B untuk membantu membandingkan dan mengevaluasi berbagai strategi rekomendasi, dan mengukur dampak rekomendasi.

Misalnya, Anda dapat menggunakan pengujian A/B untuk melihat apakah rekomendasi Amazon Personalize meningkatkan rasio klik-tayang. Untuk menguji skenario ini, Anda mungkin menunjukkan satu kelompok rekomendasi pengguna yang tidak dipersonalisasi, seperti produk unggulan. Dan Anda mungkin menunjukkan rekomendasi pribadi kelompok lain yang dihasilkan oleh Amazon Personalize. Saat pelanggan berinteraksi dengan item, Anda dapat merekam hasil dan melihat strategi mana yang menghasilkan rasio klik-tayang tertinggi.

Alur kerja untuk melakukan pengujian A/B dengan rekomendasi Amazon Personalize adalah sebagai berikut:

  1. Rencanakan eksperimen Anda — Tentukan hipotesis yang dapat diukur, identifikasi sasaran bisnis, tentukan variasi eksperimen, dan tentukan kerangka waktu eksperimen Anda.

  2. Pisahkan pengguna Anda — Pisahkan pengguna menjadi dua grup atau lebih, dengan grup kontrol dan satu atau beberapa grup eksperimen.

  3. Jalankan eksperimen Anda — Tampilkan pengguna dalam rekomendasi modifikasi grup eksperimen. Tampilkan pengguna dalam rekomendasi grup kontrol tanpa perubahan. Rekam interaksi mereka dengan rekomendasi untuk melacak hasil.

  4. Evaluasi hasil — Analisis hasil eksperimen untuk menentukan apakah modifikasi tersebut membuat perbedaan yang signifikan secara statistik untuk kelompok eksperimen.

Anda dapat menggunakan Amazon CloudWatch Evidently untuk melakukan pengujian A/B dengan rekomendasi Amazon Personalize. Dengan CloudWatch Evidently, Anda dapat menentukan eksperimen, melacak indikator kinerja utama (KPI), mengarahkan lalu lintas permintaan rekomendasi ke sumber daya Amazon Personalize yang relevan, dan mengevaluasi hasil eksperimen. Untuk informasi selengkapnya, lihat Pengujian A/B dengan CloudWatch Terbukti.

Topik

A/B Testing A/B Testing A/B Testing Pr

Gunakan praktik terbaik berikut untuk membantu Anda merancang dan mempertahankan pengujian A/B untuk rekomendasi Amazon Personalize.

  • Identifikasi tujuan bisnis yang dapat diukur. Verifikasi bahwa rekomendasi berbeda yang ingin Anda bandingkan sejajar dengan tujuan bisnis ini dan tidak terkait dengan tujuan yang berbeda atau tidak dapat diukur.

  • Tentukan hipotesis yang dapat diukur yang sejalan dengan tujuan bisnis Anda. Misalnya, Anda mungkin memperkirakan bahwa promosi untuk konten yang dibuat khusus Anda sendiri akan menghasilkan 20% lebih banyak klik dari item ini. Hipotesis Anda menentukan modifikasi yang Anda buat untuk kelompok eksperimen Anda.

  • Tentukan indikator kinerja kunci (KPI) yang relevan terkait dengan hipotesis Anda. Anda menggunakan KPI untuk mengukur hasil eksperimen Anda. Langkah-lamgkah tersebut mungkin berikut berikut berikut berikut berikut berikut berikut berikut

    • Rasio klik-tayang

    • Waktu tonton

    • Total harga

  • Verifikasi bahwa jumlah total pengguna dalam percobaan cukup besar untuk mencapai hasil yang signifikan secara statistik, tergantung pada hipotesis Anda.

  • Tentukan strategi pemisahan lalu lintas Anda sebelum memulai eksperimen. Hindari mengubah pemecahan lalu lintas saat percobaan berjalan.

  • Jaga agar pengalaman pengguna aplikasi atau situs web Anda tetap sama untuk grup eksperimen dan grup kontrol, kecuali untuk modifikasi yang terkait dengan eksperimen Anda (misalnya, model). Variasi pengalaman pengguna, seperti UI atau latensi, dapat menyebabkan hasil yang menyesatkan.

  • Kontrol faktor eksternal, seperti hari libur, kampanye pemasaran yang sedang berlangsung, dan batasan browser. Faktor-faktor eksternal ini dapat menyebabkan hasil yang menyesatkan.

  • Hindari mengubah rekomendasi Amazon Personalize kecuali terkait langsung dengan hipotesis atau persyaratan bisnis Anda. Perubahan seperti menerapkan filter atau mengubah pesanan secara manual dapat menyebabkan hasil yang menyesatkan.

  • Saat Anda mengevaluasi hasil, pastikan hasilnya signifikan secara statistik sebelum menarik kesimpulan. Standar industri adalah tingkat signifikansi 5%. Untuk informasi lebih lanjut tentang signifikansi statistik, lihat Penyegaran tentang Signifikansi Statistik.