Préparation des jeux de données

Avant de commencer une tâche de personnalisation d'un modèle, vous devez au minimum préparer un jeu de données d'apprentissage. La prise en charge d'un ensemble de données de validation et le format de votre ensemble de données d'entraînement et de validation dépendent des facteurs suivants.

• Type de tâche de personnalisation (réglage précis ou formation préalable continue).

• Les modalités d'entrée et de sortie des données.

Pour connaître les exigences relatives aux ensembles de données et aux fichiers pour les différents modèles, voirQuotas de personnalisation des modèles.

Sélectionnez l'onglet correspondant à votre cas d'utilisation.

Fine-tuning: Text-to-text

Pour affiner un text-to-text modèle, préparez un ensemble de données d'entraînement et de validation facultatif en créant un fichier JSONL avec plusieurs lignes JSON. Chaque ligne JSON est un exemple contenant à la fois un completion champ prompt et. Utilisez six caractères par jeton comme approximation du nombre de jetons. Le format est le suivant :

{"prompt": "<prompt1>", "completion": "<expected generated text>"}
{"prompt": "<prompt2>", "completion": "<expected generated text>"}
{"prompt": "<prompt3>", "completion": "<expected generated text>"}      

Voici un exemple d'élément pour une tâche de question-réponse :

{"prompt": "what is AWS", "completion": "it's Amazon Web Services"}

Fine-tuning: Text-to-image & Image-to-embeddings

Pour affiner un image-to-embedding modèle text-to-image OR, préparez un jeu de données d'entraînement en créant un fichier JSONL avec plusieurs lignes JSON. Les ensembles de données de validation ne sont pas pris en charge. Chaque ligne JSON est un échantillon contenant un élément image-ref, l’URI Amazon S3 d’une image et un élément caption qui peut être une invite pour cette image.

Les images doivent être au format JPEG ou PNG.

{"image-ref": "s3://bucket/path/to/image001.png", "caption": "<prompt text>"}
{"image-ref": "s3://bucket/path/to/image002.png", "caption": "<prompt text>"}
{"image-ref": "s3://bucket/path/to/image003.png", "caption": "<prompt text>"}    

Voici un exemple d’élément :

{"image-ref": "s3://my-bucket/my-pets/cat.png", "caption": "an orange cat with white spots"}

Pour autoriser Amazon Bedrock à accéder aux fichiers image, ajoutez une politique IAM similaire Autorisations d'accès aux fichiers de formation et de validation et d'écriture de fichiers de sortie dans S3 à celle du rôle de service de personnalisation des modèles Amazon Bedrock que vous avez configuré ou qui a été automatiquement configuré pour vous dans la console. Les chemins Amazon S3 que vous fournissez dans le jeu de données d’entraînement doivent se trouver dans des dossiers que vous spécifiez dans la politique.

Continued Pre-training: Text-to-text

Pour effectuer une pré-formation continue sur un text-to-text modèle, préparez un ensemble de données d'entraînement et de validation facultatif en créant un fichier JSONL avec plusieurs lignes JSON. Comme le pré-entraînement continu implique des données non étiquetées, chaque ligne JSON est un échantillon contenant uniquement un input champ. Utilisez six caractères par jeton comme approximation du nombre de jetons. Le format est le suivant :

{"input": "<input text>"}
{"input": "<input text>"}
{"input": "<input text>"}

Voici un exemple d’élément qui pourrait figurer dans les données d’entraînement.

{"input": "AWS stands for Amazon Web Services"}