Utiliser un modèle personnalisé

Avant de pouvoir utiliser un modèle personnalisé, vous devez acheter le Provisioned Throughput correspondant. Pour plus d'informations sur le débit provisionné, consultez. Débit provisionné pour Amazon Bedrock Vous pouvez ensuite utiliser le modèle provisionné obtenu à des fins d'inférence. Sélectionnez l'onglet correspondant à la méthode de votre choix et suivez les étapes.

Console

Pour acheter du débit provisionné pour un modèle personnalisé.

1. Dans la console Amazon Bedrock, choisissez Modèles personnalisés sous Modèles Foundation dans le volet de navigation de gauche.

2. Dans l'onglet Modèles, cliquez sur le bouton radio à côté du modèle pour lequel vous souhaitez acheter Provisioned Throughput ou sélectionnez le nom du modèle pour accéder à la page de détails.

3. Sélectionnez Acheter un débit provisionné.

4. Pour plus de détails, suivez les étapes indiquées surAcheter un débit provisionné pour un modèle Amazon Bedrock.

5. Après avoir acheté Provisioned Throughput pour votre modèle personnalisé, suivez les étapes décrites dans. Exécuter une inférence à l'aide d'un débit provisionné

Lorsque vous effectuez une opération prenant en charge l'utilisation de modèles personnalisés, vous verrez votre modèle personnalisé en option dans le menu de sélection du modèle.

API

Pour acheter du débit provisionné pour un modèle personnalisé, suivez les étapes décrites dans la section pour envoyer une demande CreateProvisionedModelThroughput(voir le lien pour les formats de demande et de réponse et les détails des champs) avec un point de terminaison du plan de contrôle Amazon Bedrock. Acheter un débit provisionné pour un modèle Amazon Bedrock Utilisez le nom ou l'ARN de votre modèle personnalisé commemodelId. La réponse renvoie un provisionedModelArn que vous pouvez utiliser modelId lorsque vous faites une InvokeModelWithResponseStreamdemande InvokeModelOR.

Voir des exemples de code