Exécution de l’inférence par lots - Amazon Bedrock

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Exécution de l’inférence par lots

Note

L’inférence par lots est actuellement disponible en version préliminaire et susceptible d’être modifiée. L’inférence par lots n’est actuellement disponible que via l’API. Accédez aux API par lots via les kits SDK suivants.

Nous vous recommandons de créer un environnement virtuel pour utiliser le SDK. Les API d'inférence par lots ne étant pas disponibles dans les derniers SDK, nous vous recommandons de désinstaller la dernière version du SDK de l'environnement virtuel avant d'installer la version avec les API d'inférence par lots. Pour un exemple guidé, voirExemples de code.

Avec l’inférence par lots, vous pouvez exécuter plusieurs demandes d’inférence de manière asynchrone afin de traiter efficacement un grand nombre de demandes en exécutant l’inférence sur des données stockées dans un compartiment S3. Vous pouvez utiliser l’inférence par lots pour améliorer les performances de l’inférence des modèles sur les jeux de données volumineux.

Note

L'inférence par lots n'est pas prise en charge pour les modèles provisionnés.

Pour voir les quotas pour l’inférence par lots, consultez Quotas d’inférence par lots.

Amazon Bedrock prend en charge l’inférence par lots selon les modalités suivantes.

  • Texte vers représentations vectorielles continues

  • Texte vers texte

  • Texte vers image

  • Image vers image

  • De l'image aux intégrations

Stockez vos données dans un compartiment Amazon S3 pour les préparer à une inférence par lots. Vous pouvez ensuite exécuter et gérer les tâches d’inférence par lots à l’aide des API ModelInvocationJob.

Avant de pouvoir effectuer une inférence par lots, vous devez être autorisé à appeler les API d’inférence par lots. Configurez ensuite une fonction du service IAM Amazon Bedrock afin d’être autorisé à effectuer des tâches d’inférence par lots.

Vous pouvez utiliser les API d'inférence par lots en téléchargeant et en installant l'un des packages AWS SDK suivants.

Rubriques