Opções de implantação de modelos na Amazon SageMaker

Depois de treinar seu modelo de aprendizado de máquina, você pode implantá-lo usando SageMaker a Amazon para obter previsões. A Amazon SageMaker oferece suporte às seguintes formas de implantar um modelo, dependendo do seu caso de uso:

• Para endpoints persistentes e em tempo real que fazem uma previsão por vez, use serviços de hospedagem SageMaker em tempo real. Consulte Inferência em tempo real.

• Cargas de trabalho que têm períodos de inatividade entre picos de tráfego e podem tolerar arranques a frio usam a inferência sem servidor. Consulte Implante modelos com o Amazon SageMaker Serverless Inference.

• Solicitações com grandes tamanhos de carga útil de até 1 GB, tempos de processamento longos e requisitos de latência quase em tempo real usam o Amazon SageMaker Asynchronous Inference. Consulte Inferência assíncrona.

• Para obter previsões para um conjunto de dados inteiro, use a transformação SageMaker em lote. Consulte Transformação em lote para inferência com a Amazon SageMaker.

SageMaker também fornece recursos para gerenciar recursos e otimizar o desempenho de inferência ao implantar modelos de aprendizado de máquina:

• Para gerenciar modelos em dispositivos periféricos para que você possa otimizar, proteger, monitorar e manter modelos de aprendizado de máquina em frotas de dispositivos periféricos, consulteImplantação de modelos na borda com o SageMaker Edge Manager. Isso se aplica a dispositivos de ponta, como câmeras inteligentes, robôs, computadores pessoais e dispositivos móveis.

• Para otimizar Gluon, Keras,,MXNet, PyTorch TensorFlow, TensorFlow -Lite e ONNX modelos para inferência em máquinas Android, Linux e Windows com base em processadores da Ambarella, Intel, Nvidia, QualcommARM, Texas Instruments e XilinxNXP, consulte. Otimização do desempenho do modelo com SageMaker o Neo

Para obter mais informações sobre todas as opções de implantação, consulte Implantar modelos para inferência.