Host beberapa model yang menggunakan wadah berbeda di belakang satu titik akhir

SageMaker titik akhir multi-kontainer memungkinkan pelanggan untuk menerapkan beberapa kontainer, yang menggunakan model atau kerangka kerja yang berbeda, pada satu titik akhir. SageMaker Kontainer dapat dijalankan secara berurutan sebagai pipa inferensi, atau setiap kontainer dapat diakses secara individual dengan menggunakan pemanggilan langsung untuk meningkatkan pemanfaatan titik akhir dan mengoptimalkan biaya.

Untuk informasi tentang menjalankan kontainer di titik akhir multi-kontainer secara berurutan, lihat. Model host bersama dengan logika pra-pemrosesan sebagai pipa inferensi serial di belakang satu titik akhir

Untuk informasi tentang menjalankan kontainer tertentu di titik akhir multi-kontainer, lihat Gunakan titik akhir multi-kontainer dengan pemanggilan langsung

Topik

• Buat titik akhir multi-kontainer (Boto 3)
• Memperbarui titik akhir multi-kontainer
• Hapus titik akhir multi-kontainer
• Gunakan titik akhir multi-kontainer dengan pemanggilan langsung

Buat titik akhir multi-kontainer (Boto 3)

Buat titik akhir Multi-kontainer dengan memanggil CreateModel, CreateEndpointConfig, dan CreateEndpointAPI seperti yang Anda lakukan untuk membuat titik akhir lainnya. Anda dapat menjalankan kontainer ini secara berurutan sebagai pipeline inferensi, atau menjalankan setiap kontainer individu dengan menggunakan pemanggilan langsung. Titik akhir multi-kontainer memiliki persyaratan berikut saat Anda menelepon: create_model

• Gunakan Containers parameter alih-alihPrimaryContainer, dan sertakan lebih dari satu wadah dalam Containers parameter.

• ContainerHostnameParameter diperlukan untuk setiap kontainer di titik akhir multi-kontainer dengan pemanggilan langsung.

• Atur Mode parameter InferenceExecutionConfig bidang Direct untuk pemanggilan langsung dari setiap kontainer, atau Serial gunakan kontainer sebagai pipa inferensi. Mode default adalahSerial.

catatan

Saat ini ada batas hingga 15 kontainer yang didukung pada titik akhir multi-kontainer.

Contoh berikut membuat model multi-container untuk pemanggilan langsung.

1. Buat elemen wadah dan InferenceExecutionConfig dengan pemanggilan langsung.

   container1 = {
                    'Image': '123456789012.dkr.ecr.us-east-1.amazonaws.com/myimage1:mytag',
                    'ContainerHostname': 'firstContainer'
                }
   
   container2 = {
                    'Image': '123456789012.dkr.ecr.us-east-1.amazonaws.com/myimage2:mytag',
                    'ContainerHostname': 'secondContainer'
                }
   inferenceExecutionConfig = {'Mode': 'Direct'}
                   

2. Buat model dengan elemen wadah dan atur InferenceExecutionConfig bidang.

   import boto3
   sm_client = boto3.Session().client('sagemaker')
   
   response = sm_client.create_model(
                  ModelName = 'my-direct-mode-model-name',
                  InferenceExecutionConfig = inferenceExecutionConfig,
                  ExecutionRoleArn = role,
                  Containers = [container1, container2]
              )
                   

Untuk membuat endoint, Anda kemudian akan memanggil create_endpoint_config dan create_endpoint seperti yang Anda lakukan untuk membuat titik akhir lainnya.

Memperbarui titik akhir multi-kontainer

Untuk memperbarui titik akhir multi-kontainer, selesaikan langkah-langkah berikut.

1. Panggil create_model untuk membuat model baru dengan nilai baru untuk Mode parameter di bidang. InferenceExecutionConfig

2. Panggil create_endpoint_config untuk membuat konfigurasi titik akhir baru dengan nama yang berbeda dengan menggunakan model baru yang Anda buat pada langkah sebelumnya.

3. Panggil update_endpoint untuk memperbarui titik akhir dengan konfigurasi titik akhir baru yang Anda buat di langkah sebelumnya.

Hapus titik akhir multi-kontainer

Untuk menghapus titik akhir, panggil delete_endpoint, dan berikan nama titik akhir yang ingin Anda hapus sebagai parameter. EndpointName