Recomendador de SageMaker inferência da Amazon

O Amazon SageMaker Inference Recommender é um recurso da Amazon. SageMaker Ele reduz o tempo necessário para colocar modelos de aprendizado de máquina (ML) em produção ao automatizar o teste de carga e o ajuste do modelo em todas as instâncias de SageMaker ML. Você pode usar o recomendador de inferência para implantar seu modelo em um endpoint de inferência em tempo real ou de tecnologia sem servidor que ofereça melhor performance com custo mais baixo. O Inference Recommender ajuda você a selecionar o melhor tipo de instância e configuração para seus modelos e cargas de trabalho de ML. Ele considera fatores como contagem de instâncias, parâmetros de contêiner, otimizações de modelo, simultaneidade máxima e tamanho da memória.

O Amazon SageMaker Inference Recommender cobra apenas pelas instâncias usadas durante a execução dos trabalhos.

Como funciona

Para usar o Amazon SageMaker Inference Recommender, você pode criar um SageMaker modelo ou registrar um modelo no registro do SageMaker modelo com seus artefatos de modelo. Use o console AWS SDK for Python (Boto3) ou o SageMaker console para executar trabalhos de benchmarking para diferentes configurações de SageMaker endpoint. Os trabalhos do recomendador de inferência ajudam você a coletar e visualizar métricas de performance e utilização de recursos para ajudá-lo a decidir qual tipo de endpoint e configuração escolher.

Como começar

Se você for um usuário iniciante do Amazon SageMaker Inference Recommender, recomendamos que você faça o seguinte:

1. Leia a Pré-requisitos seção para se certificar de que você atendeu aos requisitos para usar o Amazon SageMaker Inference Recommender.

2. Leia a seção Trabalhos de recomendação para iniciar seus primeiros trabalhos de recomendação do recomendador de inferência.

3. Explore o exemplo introdutório do caderno Jupyter do Amazon SageMaker Inference Recommender ou analise os exemplos de cadernos na seção a seguir.

Cadernos de exemplo

O exemplo a seguir de notebooks Jupyter pode ajudá-lo com os fluxos de trabalho para vários casos de uso no recomendador de inferência:

• Se você quiser um caderno introdutório que compare um TensorFlow modelo, consulte o caderno SageMaker Inference Recommender. TensorFlow

• Se você quiser comparar um HuggingFace modelo, consulte o SageMaker Inference Recommender para notebook. HuggingFace

• Se você quiser comparar um XGBoost modelo, consulte o caderno SageMaker Inference XGBoost Recommender.

• Se você quiser revisar CloudWatch as métricas de seus trabalhos do Inference Recommender, consulte o caderno de métricas do SageMaker Inference CloudWatch Recommender.