사용자 지정 모델 사용

사용자 지정 모델을 사용하려면 먼저 프로비저닝된 처리량을 구매해야 합니다. 프로비저닝된 처리량에 대한 자세한 내용은 섹션을 참조하세요Amazon Bedrock의 프로비저닝된 처리량으로 모델 호출 용량 증가. 그런 다음 프로비저닝된 모델을 추론에 사용할 수 있습니다. 선택한 방법에 해당하는 탭을 선택하고 다음 단계를 따릅니다.

Console

사용자 지정 모델을 위한 프로비저닝된 처리량을 구매하려면

1. Amazon Bedrock 권한이 있는 역할을 AWS Management Console 사용하여 에 로그인하고 에서 Amazon Bedrock 콘솔을 엽니다https://console.aws.amazon.com/bedrock/. IAM

2. 왼쪽 탐색 창에서 파운데이션 모델 에서 사용자 지정 모델을 선택합니다.

3. 모델 탭에서 프로비저닝된 처리량을 구매하려는 모델 옆의 라디오 버튼을 선택하거나 모델 이름을 선택하여 세부 정보 페이지로 이동합니다.

4. 프로비저닝된 처리량 구매를 선택합니다.

5. 자세한 내용은 의 단계를 따르세요Amazon Bedrock 모델의 프로비저닝된 처리량 구매.

6. 사용자 지정 모델에 대해 프로비저닝된 처리량을 구매한 후 의 단계를 따릅니다Amazon Bedrock 리소스에서 프로비저닝된 처리량 사용.

사용자 지정 모델 사용을 지원하는 작업을 수행하면 모델 선택 메뉴에서 사용자 지정 모델을 옵션으로 볼 수 있습니다.

API

사용자 지정 모델의 프로비저닝된 처리량을 구매하려면 의 단계에 따라 Amazon Bedrock 제어 영역 엔드포인트 로 CreateProvisionedModelThroughput (요청 및 응답 형식과 필드 세부 정보는 링크 참조) 요청을 Amazon Bedrock 모델의 프로비저닝된 처리량 구매 보냅니다. 사용자 ARN 지정 모델의 이름 또는 를 로 사용합니다modelId. 응답은 InvokeModel 또는 InvokeModelWithResponseStream 요청을 할 modelId 때 로 사용할 수 provisionedModelArn 있는 를 반환합니다.

코드 예제 참조