Mise en forme et chargement des données d’inférence par lots

Vous devez ajouter vos données d’inférence par lots à un emplacement S3 que vous choisirez ou spécifierez lors de la soumission d’un modèle de tâche d’invocation. L’emplacement S3 doit contenir les éléments suivants :

• Au moins un fichier JSONL qui définit les entrées du modèle. Un ficher JSONL contient des lignes d’objets JSON. Votre format JSONL doit se terminer par l’extension .jsonl et être au format suivant :

  { "recordId" : "alphanumeric string", "modelInput" : {JSON body} }
  ...
  

  Chaque ligne contient un objet JSON avec un champ recordId et un champ modelInput contenant le corps de la demande pour une entrée que vous souhaitez soumettre. Le format de l’objet JSON modelInput doit correspondre au champ body du modèle que vous utilisez dans la demande InvokeModel. Pour de plus amples informations, veuillez consulter Paramètres de demande d’inférence et champs de réponse pour les modèles de fondation.

  Note

  • Si vous omettez le champ recordId, Amazon Bedrock l’ajoutera dans la sortie.

  • Il n’est pas garanti que l’ordre des enregistrements dans le fichier JSONL de sortie corresponde à l’ordre des enregistrements dans le fichier JSONL d’entrée.

  • Vous spécifiez le modèle que vous souhaitez utiliser lorsque vous créez la tâche d’inférence par lots.

• (Si le contenu de votre entrée contient un emplacement Amazon S3) Certains modèles vous permettent de définir le contenu de l'entrée comme un emplacement S3. Consultez Exemple d’entrée vidéo pour Amazon Nova.

  Avertissement

  Lorsque vous utilisez S3 URIs dans vos instructions, toutes les ressources doivent se trouver dans le même compartiment et le même dossier S3. Le InputDataConfig paramètre doit spécifier le chemin du dossier contenant toutes les ressources liées (telles que des vidéos ou des images), et pas uniquement un .jsonl fichier individuel. Notez que les chemins S3 distinguent les majuscules et minuscules. Assurez-vous donc de URIs correspondre exactement à la structure de dossiers.

Assurez-vous que vos entrées sont conformes aux quotas d’inférence par lots. Vous pouvez rechercher les quotas suivants dans Amazon Bedrock service quotas :

• Nombre minimum d’enregistrements par tâche d’inférence par lots : nombre minimal d’enregistrements (objets JSON) dans les fichiers JSONL de la tâche.

• Enregistrements par fichier d’entrée par tâche d’inférence par lots : nombre maximal d’enregistrements (objets JSON) dans un seul fichier JSONL de la tâche.

• Enregistrements par tâche d’inférence par lots : nombre maximal d’enregistrements (objets JSON) dans les fichiers JSONL de la tâche.

• Taille du fichier d’entrée par inférence par lots : taille maximale d’un seul fichier dans la tâche.

• Taille de la tâche d’inférence par lots : taille cumulée maximale de tous les fichiers d’entrée.

Pour mieux comprendre comment configurer des entrées d’inférence par lots, consultez les exemples suivants :

Exemple de saisie de texte pour Anthropic Claude 3 Haiku

Si vous envisagez d’exécuter une inférence par lots à l’aide du format de l’API Messages pour le modèle Anthropic Claude 3 Haiku, vous pouvez fournir un fichier JSONL contenant l’objet JSON suivant sous forme de ligne :

{
    "recordId": "CALL0000001", 
    "modelInput": {
        "anthropic_version": "bedrock-2023-05-31", 
        "max_tokens": 1024,
        "messages": [ 
            { 
                "role": "user", 
                "content": [
                    {
                        "type": "text", 
                        "text": "Summarize the following call transcript: ..." 
                    } 
                ]
            }
        ]
    }
}

Exemple d’entrée vidéo pour Amazon Nova

Si vous envisagez d’exécuter une inférence par lots sur les entrées vidéo à l’aide des modèles Amazon Nova Lite ou Amazon Nova Pro, vous avez la possibilité de définir la vidéo en octets ou en tant qu’emplacement S3 dans le fichier JSONL. Par exemple, vous pouvez avoir un compartiment S3 dont le chemin est s3://batch-inference-input-bucket et contient les fichiers suivants :

s3://batch-inference-input-bucket/
├── videos/
│   ├── video1.mp4
│   ├── video2.mp4
│   ├── ...
│   └── video50.mp4
└── input.jsonl

Voici un exemple d’enregistrement à partir du fichier input.jsonl :

{
    "recordId": "RECORD01",
    "modelInput": {
        "messages": [
            {
                "role": "user",
                "content": [
                    {
                        "text": "You are an expert in recipe videos. Describe this video in less than 200 words following these guidelines: ..."
                    },
                    {
                        "video": {
                            "format": "mp4",
                            "source": {
                                "s3Location": {
                                    "uri": "s3://batch-inference-input-bucket/videos/video1.mp4",
                                    "bucketOwner": "111122223333"
                                }
                            }
                        }
                    }
                ]
            }
        ]
    }
}

Lorsque vous créez la tâche d'inférence par lots, vous devez spécifier le chemin du dossier s3://batch-inference-input-bucket dans vos InputDataConfig paramètres. L'inférence par lots traitera le input.jsonl fichier à cet emplacement, ainsi que toutes les ressources référencées (telles que les fichiers vidéo du videos sous-dossier).

Les ressources suivantes fournissent plus d’informations sur la soumission d’entrées vidéo pour l’inférence par lots :

• Pour savoir comment valider de manière proactive Amazon S3 URIs dans une demande d'entrée, consultez le blog Amazon S3 URL Parsing.

• Pour plus d’informations sur la configuration des enregistrements d’invocation pour la compréhension vidéo avec Nova, consultez les directives relatives aux invites visuelles Amazon Nova.

La rubrique suivante décrit comment configurer l’accès S3 et les autorisations d’inférence par lots pour une identité afin de pouvoir effectuer une inférence par lots.