Buat tes bayangan

Anda dapat membuat tes bayangan untuk membandingkan kinerja varian bayangan dengan varian produksi. Anda dapat menjalankan pengujian pada titik akhir yang ada yang menyajikan permintaan inferensi atau Anda dapat membuat titik akhir baru untuk menjalankan pengujian.

Untuk membuat tes bayangan, Anda perlu menentukan yang berikut:

• Varian produksi yang menerima dan menanggapi 100 persen permintaan inferensi yang masuk.

• Varian bayangan yang menerima persentase permintaan yang masuk, direplikasi dari varian produksi, tetapi tidak mengembalikan tanggapan apa pun.

Untuk setiap varian, Anda dapat menggunakan SageMaker untuk mengontrol model, tipe instance, dan jumlah instance. Anda dapat mengonfigurasi persentase permintaan masuk, yang dikenal sebagai persentase sampling lalu lintas, yang ingin direplikasi ke varian bayangan Anda. SageMaker mengelola replikasi permintaan ke varian bayangan Anda dan Anda dapat memodifikasi persentase sampling lalu lintas saat pengujian dijadwalkan atau berjalan. Anda juga dapat mengaktifkan Pengambilan Data secara opsional untuk mencatat permintaan dan respons varian produksi dan bayangan Anda.

catatan

SageMaker mendukung maksimal satu varian bayangan per titik akhir. Untuk titik akhir dengan varian bayangan, bisa ada maksimal satu varian produksi.

Anda dapat menjadwalkan tes untuk memulai kapan saja dan melanjutkan untuk durasi tertentu. Durasi default adalah 7 hari dan maksimum adalah 30 hari. Setelah pengujian selesai, titik akhir kembali ke keadaan sebelum memulai pengujian. Ini memastikan bahwa Anda tidak perlu membersihkan sumber daya secara manual setelah menyelesaikan tes.

Anda dapat memantau pengujian yang berjalan melalui dasbor di SageMaker konsol. Dasbor menyediakan perbandingan berdampingan metrik pemanggilan dan metrik instance antara varian produksi dan bayangan, bersama dengan tampilan tabel dengan statistik metrik yang relevan. Dasbor ini juga tersedia untuk pengujian yang diselesaikan. Setelah meninjau metrik, Anda dapat memilih untuk mempromosikan varian bayangan menjadi varian produksi baru atau mempertahankan varian produksi yang ada. Setelah Anda mempromosikan varian bayangan, itu merespons semua permintaan yang masuk. Untuk informasi selengkapnya, lihat Promosikan varian bayangan.

Prosedur berikut menjelaskan cara membuat tes bayangan melalui SageMaker konsol. Ada variasi dalam alur kerja tergantung pada apakah Anda ingin menggunakan titik akhir yang ada atau untuk membuat titik akhir baru untuk pengujian bayangan.

Prasyarat

Sebelum membuat tes bayangan dengan SageMaker konsol, Anda harus memiliki SageMaker model yang siap digunakan. Untuk informasi selengkapnya tentang cara membuat SageMaker model, lihatTerapkan model untuk inferensi waktu nyata.

Anda dapat memulai dengan pengujian bayangan dengan titik akhir yang ada dengan varian produksi dan varian bayangan, titik akhir yang ada hanya dengan varian produksi, atau hanya SageMaker model yang ingin Anda bandingkan. Tes bayangan mendukung pembuatan titik akhir dan menambahkan varian sebelum pengujian Anda dimulai.

catatan

Fitur titik akhir tertentu dapat membuat titik akhir Anda tidak kompatibel dengan pengujian bayangan. Jika titik akhir Anda menggunakan salah satu fitur berikut, Anda tidak dapat menggunakan pengujian bayangan pada titik akhir Anda, dan permintaan Anda untuk menyiapkan pengujian bayangan akan menyebabkan kesalahan validasi.

• Inferensi tanpa server

• Inferensi asinkron

• Kontainer Marketplace

• Titik akhir multi-kontainer

• Titik akhir multi-model

• Titik akhir yang menggunakan instance Inf1 (berbasis inferensia)

• Titik akhir Amazon Elastic Inference

Masukkan detail tes bayangan

Untuk mulai membuat tes bayangan Anda, isi halaman Enter shadow test details dengan melakukan hal berikut:

1. Buka konsol SageMaker .

2. Di panel navigasi kiri, pilih Inferensi, lalu pilih Tes bayangan.

3. Pilih Buat tes bayangan.

4. Di bawah Nama, masukkan nama untuk pengujian.

5. (Opsional) Di bawah Deskripsi, masukkan deskripsi untuk pengujian.

6. (Opsional) Tentukan Tag menggunakan pasangan Kunci dan Nilai.

7. Pilih Selanjutnya.

Masukkan pengaturan uji bayangan

Setelah mengisi halaman Enter shadow test details, isi halaman Enter shadow test settings. Jika Anda sudah memiliki endpoint SageMaker Inference dan varian produksi, ikuti alur kerja Use an existing endpoint. Jika Anda belum memiliki endpoint, ikuti alur kerja Create a new endpoint.

Use an existing endpoint

Jika Anda ingin menggunakan endpoint yang ada untuk pengujian Anda, isi halaman Enter shadow test settings dengan melakukan hal berikut:

1. Pilih peran yang memiliki kebijakan AmazonSageMakerFullAccess IAM terlampir.

2. Pilih Gunakan titik akhir yang ada, lalu pilih salah satu titik akhir yang tersedia.

3. (Opsional) Untuk mengenkripsi volume penyimpanan pada titik akhir Anda, pilih kunci KMS yang ada atau pilih Masukkan ARN kunci KMS dari daftar tarik-turun di bawah Kunci enkripsi. Jika Anda memilih opsi kedua, bidang untuk memasukkan ARN kunci KMS muncul. Masukkan ARN kunci KMS di bidang itu.

4. Jika Anda memiliki beberapa varian produksi di belakang titik akhir itu, hapus yang tidak ingin Anda gunakan untuk pengujian. Anda dapat menghapus varian model dengan memilihnya dan kemudian memilih Hapus.

5. Jika Anda belum memiliki varian bayangan, tambahkan varian bayangan. Untuk menambahkan varian bayangan, lakukan hal berikut:

   1. Pilih Tambahkan.

   2. Pilih varian Shadow.

   3. Dalam kotak dialog Add model, pilih model yang ingin Anda gunakan untuk varian bayangan Anda.

   4. Pilih Simpan.

6. (Opsional) Pada langkah sebelumnya, varian bayangan ditambahkan dengan pengaturan default. Untuk mengubah pengaturan ini, pilih varian bayangan dan pilih Edit. Kotak dialog Edit shadow varian muncul. Untuk informasi selengkapnya tentang mengisi kotak dialog ini, lihatEdit tes bayangan.

7. Di bagian Jadwal, masukkan durasi tes dengan melakukan hal berikut:

   1. Pilih kotak di bawah Durasi. Kalender popup muncul.

   2. Pilih tanggal mulai dan berakhir dari kalender, atau masukkan tanggal mulai dan berakhir di bidang untuk Tanggal mulai dan Tanggal akhir, masing-masing.

   3. (Opsional) Untuk bidang Waktu mulai dan Waktu akhir, masukkan waktu mulai dan akhir, masing-masing, dalam format 24 jam.

   4. Pilih Terapkan.

   Durasi minimum adalah 1 jam, dan durasi maksimum adalah 30 hari.

8. (Opsional) Aktifkan pengambilan data untuk menyimpan permintaan inferensi dan informasi respons dari titik akhir Anda ke bucket Amazon S3, lalu masukkan lokasi bucket Amazon S3.

9. Pilih Buat tes bayangan.

Create a new endpoint

Jika Anda tidak memiliki titik akhir yang ada, atau Anda ingin membuat titik akhir baru untuk pengujian Anda, isi halaman Enter shadow test settings dengan melakukan hal berikut:

1. Pilih peran yang memiliki kebijakan AmazonSageMakerFullAccess IAM terlampir.

2. Pilih Buat titik akhir baru.

3. Di bawah Nama, masukkan nama untuk titik akhir.

4. Tambahkan satu varian produksi dan satu varian bayangan ke titik akhir:

   • Untuk menambahkan varian produksi pilih Tambah, lalu pilih varian Produksi. Dalam kotak dialog Tambah model, pilih model yang ingin Anda gunakan untuk varian produksi Anda, lalu pilih Simpan.

   • Untuk menambahkan varian bayangan pilih Tambah, lalu pilih varian Shadow. Dalam kotak dialog Tambah model, pilih model yang ingin Anda gunakan untuk varian bayangan Anda, lalu pilih Simpan.

5. (Opsional) Pada langkah sebelumnya, varian bayangan ditambahkan dengan pengaturan default. Untuk mengubah pengaturan ini, pilih varian bayangan dan pilih Edit. Kotak dialog Edit shadow varian muncul. Untuk informasi selengkapnya tentang mengisi kotak dialog ini, lihatEdit tes bayangan.

6. Di bagian Jadwal, masukkan durasi tes dengan melakukan hal berikut:

   1. Pilih kotak di bawah Durasi. Kalender popup muncul.

   2. Pilih tanggal mulai dan berakhir dari kalender, atau masukkan tanggal mulai dan berakhir di bawah Tanggal mulai dan Tanggal akhir, masing-masing.

   3. (Opsional) Di bawah Waktu mulai dan Waktu akhir, masukkan waktu mulai dan akhir, masing-masing, dalam format 24 jam.

   4. Pilih Terapkan.

   Durasi minimum adalah 1 jam, dan durasi maksimum adalah 30 hari.

7. (Opsional) Aktifkan pengambilan data untuk menyimpan permintaan inferensi dan informasi respons dari titik akhir Anda ke bucket Amazon S3, lalu masukkan lokasi bucket Amazon S3.

8. Pilih Buat tes bayangan.

Setelah menyelesaikan prosedur sebelumnya, Anda sekarang harus memiliki tes yang dijadwalkan untuk dimulai pada tanggal dan waktu mulai yang ditentukan. Anda dapat melihat kemajuan tes dari dasbor. Untuk informasi selengkapnya tentang melihat tes Anda dan tindakan yang dapat Anda lakukan, lihatLihat, pantau, dan edit tes bayangan.