Utiliser un débit provisionné

Après avoir acheté un débit provisionné, vous pouvez l'utiliser avec les fonctionnalités suivantes pour augmenter votre débit :

• Inférence du modèle : vous pouvez tester le débit provisionné dans une console de jeu Amazon Bedrock. Lorsque vous êtes prêt à déployer le débit provisionné, vous configurez votre application pour qu'elle invoque le modèle provisionné. Sélectionnez l'onglet correspondant à la méthode de votre choix et suivez les étapes.

  Console

  Pour utiliser un débit provisionné dans le terrain de jeu de la console Amazon Bedrock

  1. Connectez-vous à l' AWS Management Console aide d'un rôle IAM avec les autorisations Amazon Bedrock et ouvrez la console Amazon Bedrock à l'adresse https://console.aws.amazon.com/bedrock/.

  2. Dans le volet de navigation de gauche, sélectionnez Chat, Texte ou Image sous Playgrounds, selon votre cas d'utilisation.

  3. Choisissez Sélectionner un modèle.

  4. Dans le 1. Colonne Catégorie, sélectionnez un fournisseur ou une catégorie de modèle personnalisée. Ensuite, dans le 2. Colonne Modèle, sélectionnez le modèle auquel votre débit provisionné est associé.

  5. Dans le 3. Colonne Débit, sélectionnez votre débit provisionné.

  6. Choisissez Appliquer.

  Pour savoir comment utiliser les aires de jeu Amazon Bedrock, consultez. Terrains de jeu

  API

  Pour exécuter une inférence à l'aide d'un débit provisionné, envoyez une InvokeModelWithResponseStreamdemande InvokeModelOR (voir le lien pour les formats de demande et de réponse et les détails des champs) avec un point de terminaison d'exécution Amazon Bedrock. Spécifiez l’ARN du modèle provisionné en tant que paramètre modelId. Pour connaître les exigences relatives au corps de la demande pour les différents modèles, voirParamètres d’inférence pour les modèles de fondation.

  Voir des exemples de code

• Associer un débit provisionné à un alias d'agent : vous pouvez associer un débit provisionné lorsque vous créez ou mettez à jour un alias d'agent. Dans la console Amazon Bedrock, vous choisissez le débit provisionné lorsque vous configurez l'alias ou lorsque vous le modifiez. Dans l'API Amazon Bedrock, vous spécifiez provisionedThroughput le routingConfiguration moment où vous envoyez une demande CreateAgentAliasou UpdateAgentAlias;.