As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
A documentação do contêiner large model inference (LMI)
A documentação do contêiner Large Model Inference (LMI) é fornecida no site de documentação
A documentação foi escrita para desenvolvedores, cientistas de dados e engenheiros de aprendizado de máquina que precisam implantar e otimizar grandes modelos de linguagem (LLMs) na Amazon SageMaker. Ele ajuda você a usar LMI contêineres, que são contêineres Docker especializados para LLM inferência, fornecidos pela. AWS Ele fornece uma visão geral, guias de implantação, guias de usuário para bibliotecas de inferência suportadas e tutoriais avançados.
Ao usar a documentação do LMI contêiner, você pode:
-
Entenda os componentes e a arquitetura dos LMI contêineres
-
Saiba como selecionar o tipo de instância e o back-end apropriados para seu caso de uso
-
Configure e implante LLMs SageMaker usando LMI contêineres
-
Otimize o desempenho usando recursos como quantização, paralelismo de tensores e batching contínuo
-
Compare e ajuste seus SageMaker endpoints para otimizar a taxa de transferência e a latência
