Implantar um modelo

Para implantar um modelo SageMaker compilado pelo Amazon Neo em um endpoint HTTPS, você deve configurar e criar o endpoint para o modelo usando os serviços de hospedagem da Amazon. SageMaker Atualmente, os desenvolvedores podem usar as SageMaker APIs da Amazon para implantar módulos em instâncias ml.c5, ml.c4, ml.m5, ml.m4, ml.p3, ml.p2 e ml.inf1.

Para instâncias Inferentia e Trainium, os modelos precisam ser compilados especificamente para aquelas instâncias. Não há garantias de que os modelos compilados para outros tipos de instância funcionem com instâncias Inferentia ou Trainium.

Para aceleradores Elastic Inference, os modelos precisam ser compilados especificamente para dispositivos ml_eia2. Para obter informações sobre como implantar seu modelo compilado em um acelerador do Elastic Inference, consulte. Use EI em endpoints SageMaker hospedados pela Amazon

Quando você implanta um modelo compilado, é necessário usar a mesma instância para o destino usado para compilação. Isso cria um SageMaker endpoint que você pode usar para realizar inferências. Você pode implantar um modelo compilado pelo NEO usando qualquer um dos seguintes: Amazon SageMaker SDK para Python, SDK for Python(Boto3) e o console. AWS Command Line InterfaceSageMaker

nota

Para implantar um modelo usando AWS CLI o console ou o Boto3, consulte Neo Inference Container Images para selecionar o URI da imagem de inferência para seu contêiner primário.

Tópicos

• Pré-requisitos
• Implemente um modelo compilado usando o SageMaker SDK
• Implante um modelo compilado usando o Boto3
• Implemente um modelo compilado usando o AWS CLI
• Implante um modelo compilado usando o console