커스텀 모델 사용

사용자 지정 모델을 사용하려면 먼저 해당 모델의 프로비저닝된 처리량을 구매해야 합니다. 프로비저닝된 처리량에 대한 자세한 내용은 을 참조하십시오. Amazon Bedrock의 프로비저닝된 처리량 그런 다음 생성된 프로비저닝 모델을 추론에 사용할 수 있습니다. 선택한 방법에 해당하는 탭을 선택하고 단계를 따르세요.

Console

사용자 지정 모델을 위한 프로비저닝된 처리량을 구매하려면

1. Amazon Bedrock 콘솔의 왼쪽 탐색 창에서 Foundation 모델 아래에서 사용자 지정 모델을 선택합니다.

2. 모델 탭에서 프로비저닝된 처리량을 구매하려는 모델 옆의 라디오 버튼을 선택하거나 모델 이름을 선택하여 세부 정보 페이지로 이동합니다.

3. 프로비저닝된 처리량 구매를 선택합니다.

4. 자세한 내용은 의 단계를 따르십시오. Amazon Bedrock 모델용 프로비저닝 처리량 구매

5. 커스텀 모델용 프로비저닝된 처리량을 구매한 후 의 단계를 따르세요. 프로비저닝된 처리량을 사용하여 추론 실행

커스텀 모델 사용을 지원하는 작업을 수행하면 모델 선택 메뉴에 커스텀 모델이 옵션으로 표시됩니다.

API

사용자 지정 모델용 프로비저닝된 처리량을 구매하려면 의 단계에 Amazon Bedrock 모델용 프로비저닝 처리량 구매 따라 Amazon Bedrock 컨트롤 플레인 엔드포인트로 요청을 보내십시오 CreateProvisionedModelThroughput(요청 및 응답 형식과 필드 세부 정보는 링크 참조). 사용자 지정 모델의 이름 또는 ARN을 로 사용합니다. modelId 응답은 InvokeModelor InvokeModelWithResponseStream요청 modelId 시 사용할 수 provisionedModelArn 있는 a를 반환합니다.

코드 예제를 참조하십시오.