Opções de implantação de modelos na Amazon SageMaker AI

Depois de treinar seu modelo de aprendizado de máquina, você pode implantá-lo usando o Amazon SageMaker AI para obter previsões. A Amazon SageMaker AI oferece suporte às seguintes formas de implantar um modelo, dependendo do seu caso de uso:

• Para endpoints persistentes e em tempo real que fazem uma previsão por vez, use serviços de hospedagem em tempo real com SageMaker IA. Consulte Inferência em tempo real.

• Workloads que têm períodos de inatividade entre surtos de tráfego e podem tolerar arranques a frio usam a Inferência Sem Servidor. Consulte Implante modelos com o Amazon SageMaker Serverless Inference.

• Solicitações com grandes tamanhos de carga útil de até 1 GB, tempos de processamento longos e requisitos de latência quase em tempo real usam o Amazon SageMaker Asynchronous Inference. Consulte Inferência assíncrona.

• Para obter previsões para um conjunto de dados inteiro, use a transformação em lote de SageMaker IA. Consulte Transformação em lote para inferência com a Amazon AI SageMaker .

SageMaker A IA também fornece recursos para gerenciar recursos e otimizar o desempenho de inferência ao implantar modelos de aprendizado de máquina:

• Para gerenciar modelos em dispositivos de borda para que você possa otimizar, proteger, monitorar e manter modelos de machine learning em frotas de dispositivos periféricos, consulte Implantação de modelos na borda com o SageMaker Edge Manager. Isso se aplica a dispositivos de borda, como câmeras inteligentes, robôs, computadores pessoais e dispositivos móveis.

• Para otimizar os modelos Gluon, Keras, MXNet,, PyTorch TensorFlow, TensorFlow -Lite e ONNX para inferência em máquinas Android, Linux e Windows com base em processadores da Ambarella, ARM, Intel, Nvidia, NXP, Qualcomm, Texas Instruments e Xilinx, consulte. Otimização do desempenho do modelo com SageMaker o Neo

Para obter mais informações sobre todas as opções de implantação, consulte Implantar modelos para inferência.