As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Criar um endpoint de vários modelos
Você pode usar o SageMaker console ou o AWS SDK for Python (Boto) para criar um endpoint multimodelo. Para criar um endpoint CPU ou GPU um endpoint protegido por meio do console, consulte o procedimento do console nas seções a seguir. Se você quiser criar um endpoint de vários modelos com o AWS SDK for Python (Boto), use o GPU procedimento CPU ou nas seções a seguir. Os GPU fluxos de trabalho CPU e são semelhantes, mas têm várias diferenças, como os requisitos do contêiner.
Tópicos
Criar um endpoint multimodelo (console)
Você pode criar endpoints multimodelo com GPU suporte CPU e suporte por meio do console. Use o procedimento a seguir para criar um endpoint multimodelo por meio do SageMaker console.
Como criar um endpoint de vários modelos (console)
-
Abra o SageMaker console da Amazon em https://console.aws.amazon.com/sagemaker/
. -
Escolha Model (Modelo). No grupo Inference (Inferência), escolha Create model (Criar modelo).
-
Em Model name (Nome do modelo), insira um nome.
-
Para IAMfunção, escolha ou crie uma IAM função que tenha a
AmazonSageMakerFullAccess
IAM política anexada. -
Na seção Definição do contêiner para Fornecer opções de imagem de inferência e artefatos de modelo, escolha Usar vários modelos.
-
Para a imagem do contêiner Inference, insira o ECR caminho da Amazon para a imagem de contêiner desejada.
Para GPU modelos, você deve usar um contêiner apoiado pelo NVIDIA Triton Inference Server. Para obter uma lista de imagens de contêiner que funcionam com endpoints GPU protegidos, consulte os NVIDIATriton Inference Containers (somente suporte para SM)
. Para obter mais informações sobre o NVIDIA Triton Inference Server, consulte Usar o Triton Inference Server com. SageMaker -
Escolha Criar modelo.
-
Implante seu endpoint de vários modelos como faria com um endpoint de modelo único. Para obter instruções, consulte Implante o modelo em serviços SageMaker de hospedagem.
Crie um endpoint multimodelo usando com o CPUs AWS SDK for Python (Boto3)
Use a seção a seguir para criar um endpoint multimodelo apoiado por CPU instâncias. Você cria um endpoint multimodelo usando o Amazon SageMaker create_model
create_endpoint_config
create_endpoint
Mode
valor de parâmetro, MultiModel
. Você também precisa passar o campo ModelDataUrl
que especifica o prefixo do Amazon S3 em que os artefatos do modelo estão localizados, em vez do caminho para um artefato de modelo único como faria ao implantar um único modelo.
Para um exemplo de notebook usado SageMaker para implantar vários XGBoost modelos em um endpoint, consulte Notebook de amostra de endpoint XGBoost multimodelo
O procedimento a seguir descreve as principais etapas usadas nessa amostra para criar um endpoint multimodelo CPU suportado.
Para implantar o modelo (AWS SDKpara Python (Boto 3))
-
Obtenha um contêiner com uma imagem que ofereça suporte à implantação de endpoints de vários modelos. Para obter uma lista de algoritmos integrados e contêineres de framework que oferecem suporte a endpoints de vários modelos, consulte Algoritmos, frameworks e instâncias compatíveis. Neste exemplo, usamos o algoritmo integrado Algoritmo k-nearest neighbors (k-NN). Chamamos a função SDK utilitária SageMaker Python
image_uris.retrieve()
para obter o endereço da imagem do algoritmo integrado K-Nearest Neighbors.import sagemaker region = sagemaker_session.boto_region_name image = sagemaker.image_uris.retrieve("knn",region=region) container = { 'Image': image, 'ModelDataUrl': 's3://
<BUCKET_NAME>
/<PATH_TO_ARTIFACTS>
', 'Mode': 'MultiModel' } -
Obtenha um AWS SDK for Python (Boto3) SageMaker cliente e crie o modelo que usa esse contêiner.
import boto3 sagemaker_client = boto3.client('sagemaker') response = sagemaker_client.create_model( ModelName =
'<MODEL_NAME>'
, ExecutionRoleArn = role, Containers = [container]) -
(Opcional) Se você estiver usando um pipeline de inferência serial, obtenha os contêineres adicionais para inclusão no pipeline e inclua-os no argumento
Containers
doCreateModel
:preprocessor_container = { 'Image': '
<ACCOUNT_ID>
.dkr.ecr.<REGION_NAME>
.amazonaws.com/<PREPROCESSOR_IMAGE>
:<TAG>
' } multi_model_container = { 'Image': '<ACCOUNT_ID>
.dkr.ecr.<REGION_NAME>
.amazonaws.com/<IMAGE>
:<TAG>
', 'ModelDataUrl': 's3://<BUCKET_NAME>
/<PATH_TO_ARTIFACTS>
', 'Mode': 'MultiModel' } response = sagemaker_client.create_model( ModelName ='<MODEL_NAME>'
, ExecutionRoleArn = role, Containers = [preprocessor_container, multi_model_container] )nota
Você pode usar somente um multi-model-enabled endpoint em um pipeline de inferência serial.
-
(Opcional) Se o seu caso de uso não se beneficia do cache de modelo, defina o valor do campo
ModelCacheSetting
do parâmetroMultiModelConfig
comoDisabled
e inclua-o no argumentoContainer
da chamada paracreate_model
. O valor do campoModelCacheSetting
éEnabled
por padrão.container = { 'Image': image, 'ModelDataUrl': 's3://
<BUCKET_NAME>
/<PATH_TO_ARTIFACTS>
', 'Mode': 'MultiModel' 'MultiModelConfig': { // Default value is 'Enabled' 'ModelCacheSetting': 'Disabled' } } response = sagemaker_client.create_model( ModelName ='<MODEL_NAME>'
, ExecutionRoleArn = role, Containers = [container] ) -
Configure o endpoint de vários modelos para o modelo. Recomendamos configurar seus endpoints com pelo menos duas instâncias. Isso permite SageMaker fornecer um conjunto altamente disponível de previsões em várias zonas de disponibilidade para os modelos.
response = sagemaker_client.create_endpoint_config( EndpointConfigName =
'<ENDPOINT_CONFIG_NAME>'
, ProductionVariants=[ { 'InstanceType': 'ml.m4.xlarge', 'InitialInstanceCount': 2, 'InitialVariantWeight': 1, 'ModelName':'<MODEL_NAME>'
, 'VariantName': 'AllTraffic' } ] )nota
Você pode usar somente um multi-model-enabled endpoint em um pipeline de inferência serial.
-
Crie o endpoint de vários modelos usando os parâmetros
EndpointName
eEndpointConfigName
.response = sagemaker_client.create_endpoint( EndpointName =
'<ENDPOINT_NAME>'
, EndpointConfigName ='<ENDPOINT_CONFIG_NAME>'
)
Crie um endpoint multimodelo usando com o GPUs AWS SDK for Python (Boto3)
Use a seção a seguir para criar um endpoint multimodelo GPU suportado. Você cria um endpoint multimodelo usando o Amazon SageMaker create_model
create_endpoint_config
create_endpoint
Mode
valor de parâmetro, MultiModel
. Você também precisa passar o campo ModelDataUrl
que especifica o prefixo do Amazon S3 em que os artefatos do modelo estão localizados, em vez do caminho para um artefato de modelo único como faria ao implantar um único modelo. Para endpoints multimodelo GPU suportados, você também deve usar um contêiner com o NVIDIA Triton Inference Server que seja otimizado para execução em instâncias. GPU Para obter uma lista de imagens de contêiner que funcionam com endpoints GPU protegidos, consulte os NVIDIATriton Inference Containers (somente suporte para SM)
Para ver um exemplo de notebook que demonstra como criar um endpoint multimodelo apoiado porGPUs, consulte Executar vários modelos de aprendizado profundo com os endpoints multimodelo GPUs da Amazon SageMaker
O procedimento a seguir descreve as principais etapas para criar um endpoint multimodelo GPU suportado.
Para implantar o modelo (AWS SDKpara Python (Boto 3))
-
Defina a imagem de contêiner. Para criar um endpoint multimodelo com GPU suporte para ResNet modelos, defina o contêiner para usar a imagem do NVIDIATriton Server. Esse contêiner oferece suporte a endpoints de vários modelos e é otimizado para execução em GPU instâncias. Chamamos a função SDK utilitária do SageMaker Python
image_uris.retrieve()
para obter o endereço da imagem. Por exemplo:import sagemaker region = sagemaker_session.boto_region_name // Find the sagemaker-tritonserver image at // https://github.com/aws/amazon-sagemaker-examples/blob/main/sagemaker-triton/resnet50/triton_resnet50.ipynb // Find available tags at https://github.com/aws/deep-learning-containers/blob/master/available_images.md#nvidia-triton-inference-containers-sm-support-only image = "
<ACCOUNT_ID>
.dkr.ecr.<REGION_NAME>
.amazonaws.com/sagemaker-tritonserver:<TAG>
".format( account_id=account_id_map[region], region=region ) container = { 'Image': image, 'ModelDataUrl': 's3://<BUCKET_NAME>
/<PATH_TO_ARTIFACTS>
', 'Mode': 'MultiModel', "Environment": {"SAGEMAKER_TRITON_DEFAULT_MODEL_NAME": "resnet"}, } -
Obtenha um AWS SDK for Python (Boto3) SageMaker cliente e crie o modelo que usa esse contêiner.
import boto3 sagemaker_client = boto3.client('sagemaker') response = sagemaker_client.create_model( ModelName =
'<MODEL_NAME>'
, ExecutionRoleArn = role, Containers = [container]) -
(Opcional) Se você estiver usando um pipeline de inferência serial, obtenha os contêineres adicionais para inclusão no pipeline e inclua-os no argumento
Containers
doCreateModel
:preprocessor_container = { 'Image': '
<ACCOUNT_ID>
.dkr.ecr.<REGION_NAME>
.amazonaws.com/<PREPROCESSOR_IMAGE>
:<TAG>
' } multi_model_container = { 'Image': '<ACCOUNT_ID>
.dkr.ecr.<REGION_NAME>
.amazonaws.com/<IMAGE>
:<TAG>
', 'ModelDataUrl': 's3://<BUCKET_NAME>
/<PATH_TO_ARTIFACTS>
', 'Mode': 'MultiModel' } response = sagemaker_client.create_model( ModelName ='<MODEL_NAME>'
, ExecutionRoleArn = role, Containers = [preprocessor_container, multi_model_container] )nota
Você pode usar somente um multi-model-enabled endpoint em um pipeline de inferência serial.
-
(Opcional) Se o seu caso de uso não se beneficia do cache de modelo, defina o valor do campo
ModelCacheSetting
do parâmetroMultiModelConfig
comoDisabled
e inclua-o no argumentoContainer
da chamada paracreate_model
. O valor do campoModelCacheSetting
éEnabled
por padrão.container = { 'Image': image, 'ModelDataUrl': 's3://
<BUCKET_NAME>
/<PATH_TO_ARTIFACTS>
', 'Mode': 'MultiModel' 'MultiModelConfig': { // Default value is 'Enabled' 'ModelCacheSetting': 'Disabled' } } response = sagemaker_client.create_model( ModelName ='<MODEL_NAME>'
, ExecutionRoleArn = role, Containers = [container] ) -
Configure o endpoint multimodelo com instâncias GPU apoiadas para o modelo. Recomendamos configurar seus endpoints com mais de uma instância para permitir alta disponibilidade e maiores ocorrências no cache.
response = sagemaker_client.create_endpoint_config( EndpointConfigName =
'<ENDPOINT_CONFIG_NAME>'
, ProductionVariants=[ { 'InstanceType': 'ml.g4dn.4xlarge', 'InitialInstanceCount': 2, 'InitialVariantWeight': 1, 'ModelName':'<MODEL_NAME>'
, 'VariantName': 'AllTraffic' } ] ) -
Crie o endpoint de vários modelos usando os parâmetros
EndpointName
eEndpointConfigName
.response = sagemaker_client.create_endpoint( EndpointName =
'<ENDPOINT_NAME>'
, EndpointConfigName ='<ENDPOINT_CONFIG_NAME>'
)