Amazon SageMaker 추론 추천

Amazon SageMaker Inference Recommender는 Amazon 의 기능입니다 SageMaker. ML 인스턴스 전체에서 SageMaker 로드 테스트 및 모델 튜닝을 자동화하여 기계 학습(ML) 모델을 프로덕션 환경에서 가져오는 데 필요한 시간을 줄입니다. Inference Recommender를 사용하면 최저 비용으로 최고의 성능을 제공하는 실시간 또는 서버리스 추론 엔드포인트에 모델을 배포할 수 있습니다. Inference Recommender를 사용하면 ML 모델 및 워크로드에 가장 적합한 인스턴스 유형과 구성을 선택할 수 있습니다. 인스턴스 수, 컨테이너 파라미터, 모델 최적화, 최대 동시성 및 메모리 크기와 같은 요소를 고려합니다.

Amazon SageMaker Inference Recommender는 작업이 실행되는 동안 사용된 인스턴스에 대해서만 요금을 청구합니다.

작동 방식

Amazon SageMaker Inference Recommender를 사용하려면 SageMaker 모델을 생성하거나 모델 아티팩트로 SageMaker 모델 레지스트리에 모델을 등록할 수 있습니다. AWS SDK for Python (Boto3) 또는 SageMaker 콘솔을 사용하여 다양한 SageMaker 엔드포인트 구성에 대한 벤치마킹 작업을 실행합니다. Inference Recommender 작업은 성능 및 리소스 활용 전반에서 메트릭을 수집하고 시각화하여 선택할 엔드포인트 유형 및 구성을 결정하는 데 도움이 됩니다.

시작하는 방법

Amazon SageMaker Inference Recommender를 처음 사용하는 경우 다음을 수행하는 것이 좋습니다.

1. Amazon SageMaker Inference Recommender를 사용하기 위한 사전 조건 섹션을 읽고 Amazon SageMaker Inference Recommender를 사용하기 위한 요구 사항을 충족했는지 확인하세요.

2. Amazon SageMaker Inference Recommender를 사용한 권장 작업 섹션을 자세히 읽고 첫 번째 Inference Recommender 권장 작업을 시작합니다.

3. 소개 Amazon SageMaker Inference Recommender Jupyter 노트북 예제를 살펴보거나 다음 섹션의 예제 노트북을 검토하세요.

예제 노트북

다음 예제 Jupyter Notebook은 Inference Recommender의 여러 사용 사례에 대한 워크플로를 처리하는 데 도움이 될 수 있습니다.

• TensorFlow 모델을 벤치마킹하는 소개 노트북을 원하는 경우 SageMaker 추론 추천 TensorFlow 노트북을 참조하세요.

• HuggingFace 모델을 벤치마킹하려면 노트북용 SageMaker 추론 추천자를 참조하세요 HuggingFace.

• XGBoost 모델을 벤치마킹하려면 SageMaker 추론 추천 XGBoost 노트북을 참조하세요.

• 추론 추천 작업에 대한 CloudWatch 지표를 검토하려면 SageMaker 추론 추천 CloudWatch 지표 노트북을 참조하세요.