Importer un modèle personnalisé sur Amazon Bedrock

L'importation de modèles personnalisés est en version préliminaire pour Amazon Bedrock et est susceptible d'être modifiée.

Vous pouvez créer un modèle personnalisé dans Amazon Bedrock en utilisant la fonction d'importation de modèles personnalisés pour importer des modèles de base que vous avez personnalisés dans d'autres environnements, tels qu'Amazon SageMaker. Par exemple, vous pouvez avoir un modèle que vous avez créé sur Amazon SageMaker qui possède des pondérations de modèle propriétaires. Vous pouvez désormais importer ce modèle dans Amazon Bedrock, puis utiliser les fonctionnalités d'Amazon Bedrock pour effectuer des appels d'inférence vers le modèle.

Vous pouvez utiliser un modèle que vous importez avec un débit à la demande. Utilisez les InvokeModelWithResponseStreamopérations InvokeModelor pour effectuer des appels d'inférence vers le modèle. Pour de plus amples informations, veuillez consulter Soumettre une seule invite avec les InvokeModel API opérations.

Note

Pour la version préliminaire, l'importation de modèles personnalisés est uniquement disponible dans les AWS régions USA Est (Virginie du Nord) et USA Ouest (Oregon). Vous ne pouvez pas utiliser l'importation de modèles personnalisés avec les fonctionnalités Amazon Bedrock suivantes.

• Agents Amazon Bedrock

• Bases de connaissances Amazon Bedrock

• Rambardes Amazon Bedrock

• Inférence par lots

• AWS CloudFormation

Avant de pouvoir utiliser l'importation de modèles personnalisés, vous devez d'abord demander une augmentation du Imported models per account quota. Pour plus d'informations, consultez Demande d'augmentation de quota.

Avec l'importation de modèles personnalisés, vous pouvez créer un modèle personnalisé qui prend en charge les modèles suivants.

• Modèle affiné ou de pré-entraînement continu : vous pouvez personnaliser les pondérations du modèle à l'aide de données propriétaires, tout en conservant la configuration du modèle de base.

• Adaptation Vous pouvez personnaliser le modèle en fonction de votre domaine pour les cas d'utilisation où le modèle ne se généralise pas bien. L'adaptation par domaine modifie un modèle afin de le généraliser pour un domaine cible et de gérer les divergences entre les domaines, par exemple si le secteur financier souhaite créer un modèle qui généralise bien les prix. L'adaptation linguistique est un autre exemple. Par exemple, vous pouvez personnaliser un modèle pour générer des réponses en portugais ou en tamoul. Le plus souvent, cela implique de modifier le vocabulaire du modèle que vous utilisez.

• Préparation initiale : en plus de personnaliser les poids et le vocabulaire du modèle, vous pouvez également modifier les paramètres de configuration du modèle, tels que le nombre de têtes d'attention, les couches masquées ou la longueur du contexte.

Architectures prises en charge

Le modèle que vous importez doit se trouver dans l'une des architectures suivantes.

• Mistral— Une architecture basée sur un transformateur uniquement avec Sliding Window Attention (SWA) et des options pour Grouped Query Attention (GQA). Pour plus d’informations, consultez .Mistral dans la documentation de Hugging Face.

• Flan — Une version améliorée de l'architecture T5, un modèle de transformateur basé sur un encodeur-décodeur. Pour plus d’informations, consultez .Flan T5dans la documentation de Hugging Face.

• Llama 2 and Llama3— Une version améliorée de Llama avec Grouped Query Attention (GQA). Pour plus d’informations, consultez .Llama 2 et Llama 3dans la documentation de Hugging Face.

Source d'importation

Vous importez un modèle dans Amazon Bedrock en créant une tâche d'importation de modèle dans la console Amazon Bedrock. Dans la tâche, vous spécifiez l'Amazon S3 URI comme source des fichiers de modèle. Sinon, si vous avez créé le modèle sur Amazon SageMaker, vous pouvez le SageMaker spécifier. Pendant l'entraînement du modèle, la tâche d'importation détecte automatiquement l'architecture de votre modèle.

Si vous effectuez une importation depuis un compartiment Amazon S3, vous devez fournir les fichiers de modèle dans le Hugging Face format de poids. Vous pouvez créer les fichiers à l'aide de la bibliothèque Hugging Face Transformer. Pour créer des fichiers modèles pour un Llama modèle, voir convert_llama_weights_to_hf.py. Pour créer les fichiers d'un Mistral AI modèle, voir convert_mistral_weights_to_hf.py.

Pour importer le modèle depuis Amazon S3, vous avez au minimum besoin des fichiers suivants créés par la bibliothèque Hugging Face Transformer.

• .safetensor : les poids du modèle au format Safetensor. Safetensors est un format créé par Hugging Face qui stocke les poids d'un modèle sous forme de tenseurs. Vous devez stocker les tenseurs de votre modèle dans un fichier portant l'extension.safetensors. Pour plus d'informations, consultez Safetensors. Pour plus d'informations sur la conversion des poids des modèles au format Safetensor, voir Convertir les poids en Safetensors.

  Note

  • À l'heure actuelle, Amazon Bedrock ne prend en charge que les pondérations des modèles avec FP32FP16, et BF16 précision. Amazon Bedrock rejettera les poids des modèles si vous les fournissez avec une autre précision. En interne, Amazon Bedrock convertira FP32 les modèles en modèles de BF16 précision.

  • Amazon Bedrock ne prend pas en charge l'importation de modèles quantifiés.

• config.json — Pour des exemples, voir LlamaConfiget. MistralConfig

• tokenizer_config.json — Pour un exemple, consultez. LlamaTokenizer

• tokenizer.json

• tokenizer.model

Importation d'un modèle

La procédure suivante explique comment créer un modèle personnalisé en important un modèle que vous avez déjà personnalisé. La tâche d'importation du modèle peut prendre plusieurs minutes. Au cours de la tâche d'importation, Amazon Bedrock vérifie que le modèle utilise une architecture de modèle compatible.

Pour soumettre une tâche d'importation de modèles, effectuez les étapes suivantes.

1. Demandez une augmentation de quota pour le Imported models per account quota. Pour plus d'informations, consultez Demande d'augmentation de quota.

2. Si vous importez vos fichiers de modèle depuis Amazon S3, convertissez le modèle au Hugging Face .

   1. Si votre modèle est un Mistral AI modèle, utilisez convert_mistral_weights_to_hf.py.

   2. Si votre modèle est un Llama modèle, voir convert_llama_weights_to_hf.py.

   3. Téléchargez les fichiers modèles dans un compartiment Amazon S3 de votre AWS compte. Pour plus d'informations, consultez la section Charger un objet dans votre compartiment.

3. Connectez-vous à l' AWS Management Console aide d'un IAMrôle avec les autorisations Amazon Bedrock et ouvrez la console Amazon Bedrock à l'adresse. https://console.aws.amazon.com/bedrock/

4. Choisissez Modèles importés sous Modèles de base dans le volet de navigation de gauche.

5. Choisissez l’onglet Modèles.

6. Choisissez Import model (Importer un modèle).

7. Dans l'onglet Importé, choisissez Importer un modèle pour ouvrir la page Importer un modèle.

8. Dans la section Détails du modèle, procédez comme suit :

   1. Dans Nom du modèle, entrez le nom du modèle.

   2. (Facultatif) Pour associer des balises au modèle, développez la section Balises et sélectionnez Ajouter une nouvelle balise.

9. Dans la section Nom de la tâche d'importation, procédez comme suit :

   1. Dans Nom de la tâche, entrez le nom de la tâche d'importation du modèle.

   2. (Facultatif) Pour associer des balises au modèle personnalisé, développez la section Balises et sélectionnez Ajouter une nouvelle balise.

10. Dans Paramètres d'importation du modèle, sélectionnez les options d'importation que vous souhaitez utiliser.

    • Si vous importez vos fichiers de modèle depuis un compartiment Amazon S3, choisissez le compartiment Amazon S3 et entrez l'emplacement Amazon S3 dans l'emplacement S3. Vous pouvez éventuellement choisir Browse S3 pour choisir l'emplacement du fichier.

    • Si vous importez votre modèle depuis Amazon SageMaker, choisissez le SageMaker modèle Amazon, puis choisissez le SageMaker modèle que vous souhaitez importer dans les SageMaker modèles.

11. Dans la section Accès au service, sélectionnez l’une des options suivantes :

    • Créer et utiliser une nouvelle fonction du service : entrez un nom pour la fonction du service.

    • Utiliser une fonction du service existante : sélectionnez une fonction du service dans la liste déroulante. Pour voir les autorisations dont votre rôle de service existant a besoin, choisissez Afficher les détails des autorisations.

      Pour plus d'informations sur la configuration d'un rôle de service doté des autorisations appropriées, consultezCréation d'un rôle de service pour l'importation de modèles.

12. Choisissez Import (Importer).

13. Sur la page Modèles personnalisés, choisissez Importé.

14. Dans la section Tâches, vérifiez le statut de la tâche d'importation. Le nom du modèle que vous avez choisi identifie la tâche d'importation du modèle. La tâche est terminée si la valeur de Status pour le modèle est Terminé.

15. Obtenez l'identifiant de votre modèle en procédant comme suit.

    1. Sur la page Modèles importés, choisissez l'onglet Modèles.

    2. Copiez ARN le modèle que vous souhaitez utiliser depuis la ARNcolonne.

16. Utilisez votre modèle pour les appels d'inférence. Pour de plus amples informations, veuillez consulter Soumettre une seule invite avec les InvokeModel API opérations. Vous pouvez utiliser le modèle avec un débit à la demande.

    Vous pouvez également utiliser votre modèle dans le terrain de jeu de texte Amazon Bedrock.