Menerapkan Model Terkompilasi Menggunakan Konsol

Anda harus memenuhi bagian prasyarat jika model dikompilasi menggunakan AWS SDK for Python (Boto3), konsol, AWS CLI atau Amazon. SageMaker Ikuti langkah-langkah di bawah ini untuk membuat dan menerapkan model yang SageMaker dikompilasi NEO menggunakan konsol/. SageMaker https://console.aws.amazon.com SageMaker

Menyebarkan Model

Setelah Anda memenuhi prasyarat, gunakan langkah-langkah berikut untuk menerapkan model yang dikompilasi dengan Neo:

1. Pilih Model, lalu pilih Buat model dari grup Inferensi. Pada halaman Buat model, lengkapi nama Model, IAMperan, dan VPCbidang (opsional), jika diperlukan.

   

2. Untuk menambahkan informasi tentang kontainer yang digunakan untuk menyebarkan model Anda, pilih Tambahkan kontainer kontainer, lalu pilih Berikutnya. Lengkapi opsi input Container, Lokasi gambar kode inferensi, dan Lokasi artefak model, dan opsional, nama host kontainer, dan bidang variabel Lingkungan.

   

3. Untuk menerapkan model yang dikompilasi NEO, pilih yang berikut ini:

   • Opsi input kontainer: Pilih Berikan artefak model dan gambar inferensi.

   • Lokasi gambar kode inferensi: Pilih gambar inferensi URI dari Neo Inference Container Images, tergantung pada AWS Wilayah dan jenis aplikasi.

   • Lokasi artefak model: Masukkan URI bucket Amazon S3 dari artefak model terkompilasi yang dihasilkan oleh kompilasi Neo. API

   • Variabel lingkungan:

     • Biarkan bidang ini kosong untuk SageMakerXGBoost.

     • Jika Anda melatih model Anda menggunakan SageMaker, tentukan variabel lingkungan SAGEMAKER_SUBMIT_DIRECTORY sebagai bucket Amazon S3 URI yang berisi skrip pelatihan.

     • Jika Anda tidak melatih model Anda menggunakan SageMaker, tentukan variabel lingkungan berikut:

       Kunci	Nilai untuk MXNet dan PyTorch	Nilai TensorFlow
       SAGEMAKER_PROGRAM	inference.py	inference.py
       SAGEMAKER_SUBMIT_DIRECTORY	/opt/ml/model/kode	/opt/ml/model/kode
       SAGEMAKER_CONTAINER_LOG_LEVEL	20	20
       SAGEMAKER_REGION	<your region>	<your region>
       MMS_DEFAULT_RESPONSE_TIMEOUT	500	Biarkan bidang ini kosong untuk TF

4. Konfirmasikan bahwa informasi untuk kontainer akurat, lalu pilih Buat model. Pada halaman landing Create model, pilih Create endpoint.

   

5. Di Buat dan konfigurasikan diagram titik akhir, tentukan nama Endpoint. Untuk konfigurasi Attach endpoint, pilih Create a new endpoint configuration.

   

6. Di halaman konfigurasi titik akhir baru, tentukan nama konfigurasi Endpoint.

   

7. Pilih Edit di samping nama model dan tentukan jenis Instance yang benar pada halaman Edit Production Variant. Sangat penting bahwa nilai tipe Instance cocok dengan yang ditentukan dalam pekerjaan kompilasi Anda.

   

8. Pilih Simpan.

9. Pada halaman konfigurasi titik akhir baru, pilih Buat konfigurasi titik akhir, lalu pilih Buat titik akhir.