Amazon Bedrock 리소스에서 프로비저닝된 처리량 사용

프로비저닝된 처리량을 구매한 후 다음 기능과 함께 사용하여 처리량을 늘릴 수 있습니다.

• 모델 추론 - Amazon Bedrock 콘솔 플레이그라운드에서 프로비저닝된 처리량을 테스트할 수 있습니다. 프로비저닝된 처리량을 배포할 준비가 되면 프로비저닝된 모델을 호출하도록 애플리케이션을 설정합니다. 선택한 메서드에 해당하는 탭을 선택하고 다음 단계를 따릅니다.

  Console

  Amazon Bedrock 콘솔 플레이그라운드에서 프로비저닝된 처리량을 사용하려면

  1. Amazon Bedrock 권한이 있는 역할을 AWS Management Console 사용하여 에 로그인하고 에서 Amazon Bedrock 콘솔을 엽니다https://console.aws.amazon.com/bedrock/. IAM

  2. 왼쪽 탐색 창에서 사용 사례에 따라 Playgrounds에서 채팅, 텍스트 또는 이미지를 선택합니다.

  3. 모델 선택을 선택합니다.

  4. 의 1. 범주 열에서 공급자 또는 사용자 지정 모델 범주를 선택합니다. 그런 다음 2에서 모델 열에서 프로비저닝된 처리량이 연결된 모델을 선택합니다.

  5. 의 3. 처리량 열에서 프로비저닝된 처리량을 선택합니다.

  6. 적용을 선택합니다.

  Amazon Bedrock 플레이그라운드를 사용하는 방법을 알아보려면 섹션을 참조하세요플레이그라운드를 사용하여 시각적 인터페이스에서 응답 생성.

  API

  프로비저닝된 처리량을 사용하여 추론을 실행하려면 Amazon Bedrock 런타임 엔드포인트 를 사용하여 InvokeModel, , InvokeModelWithResponseStreamConverse 또는 ConverseStream 요청(요청 및 응답 형식과 필드 세부 정보는 링크 참조)을 전송합니다. https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_Converse.html 프로비저닝된 모델을 modelId 파라미터ARN로 지정합니다. 다양한 모델에 대한 요청 본문의 요구 사항을 보려면 섹션을 참조하세요파운데이션 모델의 추론 요청 파라미터 및 응답 필드.

  코드 예제 참조

• 프로비저닝된 처리량을 에이전트 별칭과 연결 - 에이전트 별칭을 생성하거나 업데이트할 때 프로비저닝된 처리량을 연결할 수 있습니다. Amazon Bedrock 콘솔에서 별칭을 설정하거나 편집할 때 프로비저닝된 처리량을 선택합니다. Amazon Bedrock 에서 CreateAgentAlias 또는 UpdateAgentAlias; 요청을 보낼 routingConfiguration 때 provisionedThroughput에서 를 API지정합니다.