Déployez un modèle personnalisé pour une inférence à la demande

Après avoir créé un modèle personnalisé à l'aide d'une tâche de personnalisation du modèle ou importé un Amazon Nova modèle personnalisé SageMaker entraîné par l'IA, vous pouvez configurer l'inférence à la demande pour le modèle. Avec l'inférence à la demande, vous ne payez que pour ce que vous utilisez et vous n'avez pas besoin de configurer des ressources informatiques provisionnées.

Pour configurer l'inférence à la demande pour un modèle personnalisé, vous devez le déployer avec un déploiement de modèle personnalisé. Après avoir déployé votre modèle personnalisé, vous utilisez le Amazon Resource Name (ARN) du déploiement comme modelId paramètre lorsque vous soumettez des invites et générez des réponses par inférence de modèle.

Pour plus d'informations sur la tarification par inférence à la demande, consultez la section Tarification d'Amazon Bedrock. Vous pouvez déployer un modèle personnalisé pour l'inférence à la demande dans les régions suivantes (pour plus d'informations sur les régions prises en charge par Amazon Bedrock, consultez la section Points de terminaison et quotas Amazon Bedrock) :

• USA Est (Virginie du Nord)

Rubriques

• Conditions préalables au déploiement d'un modèle personnalisé pour l'inférence à la demande

• Modèles de base pris en charge

• Déployer un modèle personnalisé

• Utiliser un déploiement pour une inférence à la demande

• Supprimer un déploiement de modèle personnalisé

Modèles de base pris en charge

Vous pouvez configurer l'inférence à la demande pour les modèles de base suivants :

• Amazon Nova Lite

• Amazon Nova Micro

• Amazon Nova Pro