搭配 Amazon Bedrock 資源使用佈建輸送量

購買佈建輸送量後，您可以搭配下列功能使用它來增加輸送量：

• 模型推論 – 您可以在 Amazon Bedrock 主控台遊樂場測試佈建輸送量。當您準備好部署佈建輸送量時，請設定您的應用程式來叫用佈建模型。選擇您偏好方法的索引標籤，然後遵循下列步驟：

  Console

  在 Amazon Bedrock 主控台遊樂場中使用佈建輸送量

  1. AWS Management Console 使用IAM具有 Amazon Bedrock 許可的角色登入 ，並在 開啟 Amazon Bedrock 主控台https://console.aws.amazon.com/bedrock/。

  2. 在左側導覽窗格中，根據使用案例，選取遊樂場下的聊天、文字或影像。

  3. 選擇選取模型。

  4. 在 1 中。類別欄，選取提供者或自訂模型類別。然後，在 2 中。模型欄，選取與佈建輸送量相關聯的模型。

  5. 在 3 中。輸送量欄，選取您的佈建輸送量。

  6. 選擇套用。

  若要了解如何使用 Amazon Bedrock 遊樂場，請參閱 使用遊樂場在主控台中產生回應。

  API

  若要使用佈建輸送量執行推論，請傳送 InvokeModel、、InvokeModelWithResponseStreamConverse 或 ConverseStream請求與 Amazon Bedrock 執行時間端點。指定佈建模型ARN做為 modelId 參數。若要查看不同模型的請求內文需求，請參閱 基礎模型的推論請求參數和回應欄位。

  請參閱程式碼範例

• 將佈建輸送量與客服人員別名建立關聯 – 您可以在建立或更新客服人員別名時建立佈建輸送量的關聯。在 Amazon Bedrock 主控台中，您可以在設定別名或編輯別名時選擇佈建輸送量。在 Amazon Bedrock 中API，當您傳送 CreateAgentAlias或 UpdateAgentAlias； 請求routingConfiguration時，您可以在 provisionedThroughput中指定 。