대형 모델 추론(LMI) 컨테이너 설명서

대규모 모델 추론(LMI) 컨테이너 설명서는 Deep Java Library 설명서 사이트에서 제공됩니다.

이 설명서는 Amazon SageMaker AI에서 대규모 언어 모델(LLMs)을 배포하고 최적화해야 하는 개발자, 데이터 과학자 및 기계 학습 엔지니어를 위해 작성되었습니다. 에서 제공하는 LLM 추론을 위한 특수 Docker 컨테이너인 LMI 컨테이너를 사용하는 데 도움이 됩니다 AWS. 개요, 배포 가이드, 지원되는 추론 라이브러리에 대한 사용 설명서 및 고급 자습서를 제공합니다.

LMI 컨테이너 설명서를 사용하여 다음을 수행할 수 있습니다.

• LMI 컨테이너의 구성 요소 및 아키텍처 이해

• 사용 사례에 적합한 인스턴스 유형과 백엔드를 선택하는 방법을 알아봅니다.

• LLMs 구성 및 배포 SageMaker

• 퀀타이즈, 텐서 병렬 처리 및 지속적 배치와 같은 기능을 사용하여 성능 최적화

• 최적의 처리량과 지연 시간을 위해 SageMaker AI 엔드포인트 벤치마킹 및 튜닝