블로그, 예제 노트북 및 추가 리소스

다음 섹션에는 Amazon에 대해 자세히 알아볼 수 있는 예제와 추가 리소스가 포함되어 SageMaker 있습니다.

블로그 및 사례 연구

SageMaker Inference의 다양한 기능에 대한 블로그 및 사례 연구 목록은 다음 표를 참조하십시오. 블로그를 사용하여 사용 사례에 맞는 솔루션을 준비할 수 있습니다.

기능	리소스
실시간 추론	Amazon에서 실시간 모델 배포 시작하기 SageMaker 대규모 모델 추론 딥 러닝 컨테이너를 SageMaker 사용하여 Amazon에 BLOOM-176B 및 OPT-30B 배포하기 DeepSpeed Amazon API Gateway 매핑 템플릿과 Amazon을 사용하여 기계 학습 기반 REST API 생성 SageMaker
AutoScaling	Amazon에서 자동 크기 조정 추론 엔드포인트 구성 SageMaker
서버리스 추론	Amazon SageMaker 서버리스 추론 — 서버 걱정 없는 Machine Learning 추론 SageMaker Amazon 서버리스 추론을 사용하는 호스트 허깅 페이스 트랜스포머 모델 Amazon SageMaker 서버리스 추론 벤치마킹 툴킷 소개
비동기식 추론	Amazon SageMaker 비동기 엔드포인트로 대형 동영상에서 컴퓨터 비전 추론 실행 Amazon Kinesis AWS Glue, 및 Amazon과 함께 예측 유지 관리 솔루션을 구축하십시오. SageMaker Hugging Face 및 Amazon SageMaker 비동기 추론 엔드포인트로 고부가가치 연구를 개선하세요
배치 변환	Amazon SageMaker Batch Transform을 사용하여 예측 결과를 입력 데이터와 연결
다중 모델 엔드포인트	Amazon SageMaker 다중 모델 엔드포인트를 사용하여 추론 비용을 절약하세요. Amazon SageMaker 다중 모델 엔드포인트를 사용하여 GPU에서 여러 딥 러닝 모델 실행 다중 테넌트 SaaS 사용 사례를 위한 기계 학습 추론을 확장하는 방법 Amazon SageMaker 다중 모델 엔드포인트를 사용하여 다중 모델 추론을 실행하고 최적화합니다.
직렬 추론 파이프라인	Amazon의 직렬 추론을 위한 디자인 패턴 SageMaker
다중 컨테이너 엔드포인트	Amazon의 다중 프레임워크 모델을 사용한 비용 효율적인 ML 추론 SageMaker
모델 앙상블 실행	Amazon에서 앙상블 ML 모델 실행 SageMaker
Inference Recommender	SageMaker 인퍼런스 추천 예제 노트북 SageMaker HuggingFace BERT 감성 분석을 위한 추론 추천 프로그램 예제 노트북 Amazon의 NVIDIA Triton 추론 서버를 사용하여 모델 서비스를 위한 하이퍼스케일 성능을 달성하십시오. SageMaker
고급 모델 호스팅 블로그 시리즈	1부: Amazon에서 ML 애플리케이션을 빌드하기 위한 일반적인 디자인 패턴 SageMaker 2부: 실시간 모델 배포 시작하기 SageMaker 3부: Amazon SageMaker 다중 모델 엔드포인트를 사용하여 다중 모델 추론 실행 및 최적화 4부: Amazon에서의 직렬 추론을 위한 패턴 설계 SageMaker 5부: Amazon의 다중 프레임워크 모델을 사용한 비용 효율적인 ML 추론 SageMaker 6부: 모델 테스트 및 업데이트 모범 사례 SageMaker 7부: Amazon에서 앙상블 ML 모델 실행 SageMaker

예제 노트북

추론에 대해 자세히 알아보는 데 도움이 되는 예제 노트북은 다음 표를 참조하십시오. SageMaker

기능	예제 노트북
Inference Recommender	SageMaker 인퍼런스 추천자 예제 노트북 SageMaker HuggingFace BERT 감성 분석을 위한 추론 추천 프로그램 예제 노트북
대형 언어 모델 (LLM) 을 최적화하려면 다음을 수행하십시오. SageMaker	생성형 AI LLM 워크숍

추가적인 리소스

각 SageMaker 추론 옵션에 대한 자세한 내용은 다음 비디오를 참조하십시오.