Terapkan model Autopilot untuk inferensi waktu nyata

Setelah Anda melatih model Amazon SageMaker Autopilot Anda, Anda dapat mengatur titik akhir dan mendapatkan prediksi secara interaktif. Bagian berikut menjelaskan langkah-langkah untuk menerapkan model Anda ke titik akhir inferensi SageMaker real-time untuk mendapatkan prediksi dari model Anda.

Inferensi waktu nyata

Inferensi real-time sangat ideal untuk beban kerja inferensi di mana Anda memiliki persyaratan real-time, interaktif, latensi rendah. Bagian ini menunjukkan bagaimana Anda dapat menggunakan inferensi waktu nyata untuk mendapatkan prediksi secara interaktif dari model Anda.

Anda dapat menggunakan SageMaker APIs untuk menyebarkan model secara manual yang menghasilkan metrik validasi terbaik dalam eksperimen Autopilot sebagai berikut.

Atau, Anda dapat memilih opsi penerapan otomatis saat membuat eksperimen Autopilot Anda. Untuk informasi tentang pengaturan penerapan otomatis model, lihat ModelDeployConfig di parameter permintaan. CreateAutoMLJobV2 Ini menciptakan titik akhir secara otomatis.

catatan

Untuk menghindari biaya yang tidak perlu, Anda dapat menghapus titik akhir yang tidak diperlukan dan sumber daya yang dibuat dari penerapan model. Untuk informasi tentang penetapan harga instans menurut Wilayah, lihat SageMaker Harga Amazon.

1. Dapatkan definisi wadah kandidat

   Dapatkan definisi wadah kandidat dari InferenceContainers. Definisi kontainer untuk inferensi mengacu pada lingkungan kontainer yang dirancang untuk menerapkan dan menjalankan SageMaker model terlatih Anda untuk membuat prediksi.

   Contoh AWS CLI perintah berikut menggunakan DescribeAutoMLJobV2APIuntuk mendapatkan definisi kandidat untuk kandidat model terbaik.

   aws sagemaker describe-auto-ml-job-v2 --auto-ml-job-name job-name --region region

2. Daftar kandidat

   Contoh AWS CLI perintah berikut menggunakan daftar semua kandidat model. ListCandidatesForAutoMLJobAPI

   aws sagemaker list-candidates-for-auto-ml-job --auto-ml-job-name <job-name> --region <region>

3. Buat SageMaker model

   Gunakan definisi kontainer dari langkah sebelumnya dan kandidat pilihan Anda untuk membuat SageMaker model dengan menggunakan CreateModelAPI. Lihat AWS CLI perintah berikut sebagai contoh.

   aws sagemaker create-model --model-name '<your-candidate-name>' \
                       --containers ['<container-definition1>, <container-definition2>, <container-definition3>]' \
                       --execution-role-arn '<execution-role-arn>' --region '<region>

4. Buat konfigurasi titik akhir

   Contoh AWS CLI perintah berikut menggunakan CreateEndpointConfigAPIuntuk membuat konfigurasi endpoint.

   aws sagemaker create-endpoint-config --endpoint-config-name '<your-endpoint-config-name>' \
                       --production-variants '<list-of-production-variants>' \
                       --region '<region>'

5. Buat titik akhir

   AWS CLI Contoh berikut menggunakan CreateEndpointAPIuntuk membuat endpoint.

   aws sagemaker create-endpoint --endpoint-name '<your-endpoint-name>' \
                       --endpoint-config-name '<endpoint-config-name-you-just-created>' \
                       --region '<region>'

   Periksa kemajuan penerapan titik akhir Anda dengan menggunakan file. DescribeEndpointAPI Lihat AWS CLI perintah berikut sebagai contoh.

   aws sagemaker describe-endpoint —endpoint-name '<endpoint-name>' —region <region>

   Setelah EndpointStatus perubahanInService, titik akhir siap digunakan untuk inferensi waktu nyata.

6. Memanggil titik akhir

   Struktur perintah berikut memanggil titik akhir untuk inferensi real-time.

   aws sagemaker invoke-endpoint --endpoint-name '<endpoint-name>' \ 
                     --region '<region>' --body '<your-data>' [--content-type] '<content-type>' <outfile>