온디맨드 추론을 위한 사용자 지정 모델 배포

모델 사용자 지정 작업을 사용하여 사용자 지정 모델을 생성하거나 SageMaker AI 훈련 사용자 지정 Amazon Nova 모델을 가져온 후 모델에 대한 온디맨드 추론을 설정할 수 있습니다. 온디맨드 추론을 사용하면 사용한 만큼만 비용을 지불하고 프로비저닝된 컴퓨팅 리소스를 설정할 필요가 없습니다.

사용자 지정 모델에 대한 온디맨드 추론을 설정하려면 사용자 지정 모델 배포를 사용하여 배포합니다. 사용자 지정 모델을 배포한 후 프롬프트를 제출하고 모델 추론을 통해 응답을 생성할 때 배포의 Amazon 리소스 이름(ARN)을 modelId 파라미터로 사용합니다.

온디맨드 추론 요금에 대한 자세한 내용은 Amazon Bedrock 요금을 참조하세요. 다음 리전에서 온디맨드 추론을 위한 사용자 지정 모델을 배포할 수 있습니다(Amazon Bedrock에서 지원되는 리전에 대한 자세한 내용은 Amazon Bedrock 엔드포인트 및 할당량 참조).

• 미국 동부(버지니아 북부)

주제

• 온디맨드 추론을 위해 사용자 지정 모델을 배포하기 위한 사전 조건

• 지원되는 기본 모델

• 사용자 지정 모델 배포

• 온디맨드 추론에 배포 사용

• 사용자 지정 모델 배포 삭제

지원되는 기본 모델

다음 기본 모델에 대한 온디맨드 추론을 설정할 수 있습니다.

• Amazon Nova Lite

• Amazon Nova Micro

• Amazon Nova Pro