Dapatkan rekomendasi yang dikompilasi dengan Neo

Di Inference Recommender, Anda dapat mengkompilasi model Anda dengan Neo dan mendapatkan rekomendasi endpoint untuk model kompilasi Anda. SageMaker Neo adalah layanan yang dapat mengoptimalkan model Anda untuk platform perangkat keras target (yaitu, jenis atau lingkungan instans tertentu). Mengoptimalkan model dengan Neo dapat meningkatkan kinerja model host Anda.

Untuk kerangka kerja dan kontainer yang didukung NEO, Inference Recommender secara otomatis menyarankan rekomendasi yang dioptimalkan oleh NEO. Agar memenuhi syarat untuk kompilasi Neo, masukan Anda harus memenuhi prasyarat berikut:

• Anda menggunakan wadah DLC atau XGBoost yang SageMaker dimiliki.

• Anda menggunakan versi kerangka kerja yang didukung oleh Neo. Untuk versi kerangka kerja yang didukung oleh Neo, lihat Instans Cloud di dokumentasi SageMaker Neo.

• Neo mengharuskan Anda memberikan bentuk data input yang benar untuk model Anda. Anda dapat menentukan bentuk data ini seperti DataInputConfig pada InferenceSpecification saat Anda membuat paket model. Untuk informasi tentang bentuk data yang benar untuk setiap framework, lihat Mempersiapkan Model untuk Kompilasi dalam dokumentasi SageMaker Neo.

  Contoh berikut menunjukkan bagaimana menentukan DataInputConfig bidang diInferenceSpecification, di mana data_input_configuration adalah variabel yang berisi bentuk data dalam format kamus (misalnya,{'input':[1,1024,1024,3]}).

  "InferenceSpecification": {
          "Containers": [
              {
                  "Image": dlc_uri,
                  "Framework": framework.upper(),
                  "FrameworkVersion": framework_version,
                  "NearestModelName": model_name,
                  "ModelInput": {"DataInputConfig": data_input_configuration},
              }
          ],
          "SupportedContentTypes": input_mime_types,  # required, must be non-null
          "SupportedResponseMIMETypes": [],
          "SupportedRealtimeInferenceInstanceTypes": supported_realtime_inference_types,  # optional
      }

Jika kondisi ini terpenuhi dalam permintaan Anda, maka Inference Recommender menjalankan skenario untuk versi model Anda yang dikompilasi dan tidak dikompilasi, memberi Anda beberapa kombinasi rekomendasi untuk dipilih. Anda dapat membandingkan konfigurasi untuk versi yang dikompilasi dan tidak dikompilasi dari rekomendasi inferensi yang sama dan menentukan mana yang paling sesuai dengan kasus penggunaan Anda. Rekomendasi diberi peringkat berdasarkan biaya per inferensi.

Untuk mendapatkan rekomendasi kompilasi Neo, Anda tidak perlu melakukan konfigurasi tambahan selain memastikan bahwa input Anda memenuhi persyaratan sebelumnya. Inference Recommender secara otomatis menjalankan kompilasi Neo pada model Anda jika input Anda memenuhi persyaratan, dan Anda menerima respons yang menyertakan rekomendasi Neo.

Jika Anda mengalami kesalahan selama kompilasi Neo Anda, lihatMemecahkan Masalah Kesalahan Kompilasi Neo.

Tabel berikut adalah contoh respons yang mungkin Anda dapatkan dari pekerjaan Inference Recommender yang mencakup rekomendasi untuk model yang dikompilasi. Jika InferenceSpecificationName bidangnyaNone, maka rekomendasinya adalah model yang tidak dikompilasi. Baris terakhir, di mana nilai untuk InferenceSpecificationNamebidang tersebutneo-00011122-2333-4445-5566-677788899900, adalah untuk model yang dikompilasi dengan Neo. Nilai di bidang adalah nama pekerjaan Neo yang digunakan untuk mengkompilasi dan mengoptimalkan model Anda.

EndpointName	InstanceType	InitialInstanceCount	EnvironmentParameters	CostPerHour	CostPerInference	MaxInvocations	ModelLatency	InferenceSpecificationName
sm-epc-example-000111222	ml.c5.9xlarge	1	[]	1.836	9.15E-07	33456	7	Tidak ada
sm-epc-example-111222333	ml.c5.2xlarge	1	[]	0,408	2.11E-07	32211	21	Tidak ada
sm-epc-example-222333444	ml.c5.xlarge	1	[]	0,204	1.86E-07	18276	92	Tidak ada
sm-epc-example-333444555	ml.c5.xlarge	1	[]	0,204	1.60E-07	21286	42	neo-00011122-2333-4445-5566-677788899900

Memulai

Langkah-langkah umum untuk membuat pekerjaan Inference Recommender yang mencakup rekomendasi yang dioptimalkan NEO adalah sebagai berikut:

• Siapkan model ML Anda untuk kompilasi. Untuk informasi selengkapnya, lihat Mempersiapkan Model untuk Kompilasi dalam dokumentasi Neo.

• Package model Anda dalam arsip model (.tar.gzfile).

• Buat contoh arsip payload.

• Daftarkan model Anda di SageMaker Model Registry.

• Buat pekerjaan Inference Recommender.

• Lihat hasil pekerjaan Inference Recommender dan pilih konfigurasi.

• Kegagalan kompilasi debug, jika ada. Untuk informasi selengkapnya, lihat Memecahkan Masalah Kesalahan Kompilasi Neo.

Untuk contoh yang menunjukkan alur kerja sebelumnya dan cara mendapatkan rekomendasi yang dioptimalkan NEO menggunakan XGBoost, lihat contoh buku catatan berikut. Untuk contoh yang menunjukkan cara mendapatkan rekomendasi yang dioptimalkan NEO menggunakan TensorFlow, lihat contoh buku catatan berikut.