Mise en forme et chargement des données d’inférence

Note

L’inférence par lots est actuellement disponible en version préliminaire et susceptible d’être modifiée. L’inférence par lots n’est actuellement disponible que via l’API. Accédez aux API par lots via les kits SDK suivants.

• AWS SDK pour Python.

• AWS SDK pour Java.

Nous vous recommandons de créer un environnement virtuel pour utiliser le SDK. Les API d'inférence par lots ne étant pas disponibles dans les derniers SDK, nous vous recommandons de désinstaller la dernière version du SDK de l'environnement virtuel avant d'installer la version avec les API d'inférence par lots. Pour un exemple guidé, voirExemples de code.

Chargez dans le compartiment S3 les fichiers JSONL contenant les données à saisir dans le modèle, au format suivant. Chaque ligne doit correspondre au format suivant et constitue un élément d’inférence différent. Si vous omettez le champ recordId, Amazon Bedrock l’ajoutera dans la sortie.

Note

Le format de l’objet JSON modelInput doit correspondre au champ body du modèle que vous utilisez dans la demande InvokeModel. Pour plus d’informations, consultez Paramètres d’inférence pour les modèles de fondation.

{ "recordId" : "11 character alphanumeric string", "modelInput" : {JSON body} }
...

Par exemple, vous pouvez fournir un fichier JSONL contenant les données suivantes et exécuter une inférence par lots sur un Titan modèle de texte.

{ "recordId" : "3223593EFGH", "modelInput" : {"inputText": "Roses are red, violets are"} }
{ "recordId" : "1223213ABCD", "modelInput" : {"inputText": "Hello world"} }