Utilisation de l'IA générative avec des modèles de fondation

Amazon SageMaker Canvas fournit des modèles de base d'IA génératifs que vous pouvez utiliser pour démarrer des discussions conversationnelles. Ces modèles de génération de contenu sont entraînés sur de grandes quantités de données texte pour apprendre les modèles statistiques et les relations entre les mots. Ils peuvent produire un texte cohérent statistiquement similaire au texte sur lequel ils ont été entraînés. Vous pouvez utiliser cette fonctionnalité pour augmenter votre productivité en effectuant les tâches suivantes :

• Générer du contenu, tel que des plans de documents, des rapports et des blogs

• Résumer du texte à partir de grands corps de textes, tels que des transcriptions de conférences téléphoniques, des rapports annuels ou des chapitres de manuels d'utilisation

• Extraire des informations et des points à retenir de grands passages de texte, tels que des notes de réunion ou des récits

• Améliorer le texte et détecter les erreurs grammaticales ou les fautes de frappe

Les modèles de base sont une combinaison des grands modèles linguistiques (LLM) d'Amazon SageMaker JumpStart et d'Amazon Bedrock. Canvas propose les modèles suivants :

Modèle	Type	Description
Amazon Titan	Modèle Amazon Bedrock	Amazon Titan est un modèle de langage puissant et polyvalent que vous pouvez utiliser pour des tâches telles que le résumé, la génération de texte (comme la création d'un billet de blog), la classification, les questions-réponses ouvertes et l'extraction d'informations. Il est pré-entraîné sur de grands jeux de données, ce qui le rend adapté aux tâches et aux raisonnements complexes. Pour continuer à soutenir les meilleures pratiques en matière d'utilisation responsable de l'IA, les modèles Amazon Titan Foundation sont conçus pour détecter et supprimer le contenu préjudiciable des données, rejeter le contenu inapproprié des entrées utilisateur et filtrer les résultats des modèles contenant du contenu inapproprié (tel que les discours de haine, les blasphèmes et la violence).
Anthropic Claude Instant	Modèle Amazon Bedrock	Le modèle Claude Instant d'Anthropic est plus rapide et plus rentable tout en restant très performant. Ce modèle peut gérer une gamme de tâches, notamment le dialogue informel, l'analyse de texte, le résumé et la réponse aux questions sur des documents. Tout comme Claude-2, Claude Instant peut prendre en charge jusqu'à 100 000 jetons par invite, soit l'équivalent d'environ 200 pages d'informations.
Anthropic Claude-2	Modèle Amazon Bedrock	Claude-2 est le modèle le plus puissant d'Anthropic, qui excelle dans un large éventail de tâches, qu'il s'agisse de dialogues sophistiqués, de génération de contenu créatif ou de suivi d'instructions détaillées. Claude-2 peut prendre en charge jusqu'à 100 000 jetons par invite, soit l'équivalent d'environ 200 pages d'informations. Il peut générer des réponses plus longues par rapport à sa version précédente. Il prend en charge des cas d'utilisation tels que la réponse aux questions, l'extraction d'informations, la suppression d'informations personnelles identifiables, la génération de contenu, la classification à choix multiples, le jeu de rôle, la comparaison de texte, le résumé et les questions-réponses sur les documents avec citation.
Falcon-7B-Instruct	JumpStart modèle	Falcon-7B-Instruct possède 7 milliards de paramètres et a été optimisé sur la base d'un mélange de jeux de données de chat et d'instructions. Il convient comme assistant virtuel et fonctionne mieux lorsque vous suivez des instructions ou que vous engagez une conversation. Étant donné que le modèle a été entraîné sur de grandes quantités de données Web en anglais, il reprend les stéréotypes et les préjugés courants qu'on peut trouver en ligne et ne convient pas aux langues autres que l'anglais. Comparé au Falcon-40B-Instruct, le modèle Falcon-7B-Instruct est légèrement plus petit et plus compact.
Falcon-40B-Instruct	JumpStart modèle	Falcon-40B-Instruct possède 40 milliards de paramètres et a été optimisé sur la base d'un mélange de jeux de données de chat et d'instructions. Il convient comme assistant virtuel et fonctionne mieux lorsque vous suivez des instructions ou que vous engagez une conversation. Étant donné que le modèle a été entraîné sur de grandes quantités de données Web en anglais, il reprend les stéréotypes et les préjugés courants qu'on peut trouver en ligne et ne convient pas aux langues autres que l'anglais. Comparé au Falcon-7B-Instruct, le modèle Falcon-40B-Instruct est légèrement plus grand et plus puissant.
Jurassic-2 Mid	Modèle Amazon Bedrock	Jurassic-2 Mid est un modèle de génération de texte à haute performance entraîné sur un corpus de texte massif (actuel jusqu'à mi-2022). Il est très polyvalent et capable de composer du texte de type humain et de résoudre des tâches complexes telles que la réponse à des questions, la classification de texte et bien d'autres. Ce modèle offre des fonctionnalités d'instruction en zéro coup, ce qui permet de l'orienter uniquement avec un langage naturel, sans utiliser d'exemples. Il est jusqu'à 30 % plus rapide que son prédécesseur, le modèle Jurassic-1. Le Jurassic-2 Mid est le modèle de taille moyenne d'AI21, soigneusement conçu pour trouver le juste équilibre entre qualité exceptionnelle et accessibilité.
Jurassic-2 Ultra	Modèle Amazon Bedrock	Jurassic-2 Ultra est un modèle de génération de texte à haute performance entraîné sur un corpus de texte massif (actuel jusqu'à mi-2022). Il est très polyvalent et capable de composer du texte de type humain et de résoudre des tâches complexes telles que la réponse à des questions, la classification de texte et bien d'autres. Ce modèle offre des fonctionnalités d'instruction en zéro coup, ce qui permet de l'orienter uniquement avec un langage naturel, sans utiliser d'exemples. Il est jusqu'à 30 % plus rapide que son prédécesseur, le modèle Jurassic-1. Comparé à Jurassic-2 Mid, le modèle Jurassic-2 Ultra est légèrement plus grand et plus puissant.
Chat Llama-2-7B	JumpStart modèle	Llama-2-7B-Chat est un modèle de base de Meta qui convient pour engager des conversations significatives et cohérentes, générer du nouveau contenu et extraire des réponses à partir de notes existantes. Comme le modèle a été formé sur de grandes quantités de données Internet en anglais, il présente les biais et les limites couramment rencontrés en ligne et convient parfaitement aux tâches en anglais.
Llama-2-13B-Chat	Modèle Amazon Bedrock	Llama-2-13B-Chat de Meta a été peaufiné sur les données conversationnelles après une formation initiale sur les données Internet. Il est optimisé pour un dialogue naturel et des capacités de chat engageantes, ce qui le rend idéal en tant qu'agent conversationnel. Comparé au plus petit Llama-2-7B-Chat, le Llama-2-13B-Chat possède presque deux fois plus de paramètres, ce qui lui permet de mémoriser plus de contexte et de produire des réponses conversationnelles plus nuancées. Comme Llama-2-7B-Chat, Llama-2-13B-Chat a été formé sur des données en anglais et convient parfaitement aux tâches en anglais.
Llama-2-70B-Chat	Modèle Amazon Bedrock	Comme Llama-2-7B-Chat et Llama-2-13B-Chat, le modèle Llama-2-70B-Chat de Meta est optimisé pour engager un dialogue naturel et significatif. Avec 70 milliards de paramètres, ce grand modèle conversationnel peut mémoriser un contexte plus étendu et produire des réponses très cohérentes par rapport aux versions de modèle plus compactes. Cependant, cela se fait au prix de réponses plus lentes et de besoins en ressources plus élevés. Llama-2-70B-Chat a été formé sur de grandes quantités de données Internet en anglais et convient parfaitement aux tâches en anglais.
Mistral-7B	JumpStart modèle	Mistral-7B de Mistral.AI est un excellent modèle de langage à usage général adapté à un large éventail de tâches en langage naturel (NLP) telles que la génération de texte, la synthèse et la réponse à des questions. Il utilise l'attention aux requêtes groupées (GQA) qui permet des vitesses d'inférence plus rapides, ce qui lui permet de fonctionner de manière comparable à celle des modèles comportant deux ou trois fois plus de paramètres. Il a été formé sur un mélange de données textuelles, notamment des livres, des sites Web et des articles scientifiques en anglais. Il est donc parfaitement adapté aux tâches en anglais.
Mistral 7B Chat	JumpStart modèle	Mistral-7B-Chat est un modèle conversationnel de Mistral.AI basé sur Mistral-7B. Bien que Mistral-7B soit idéal pour les tâches de PNL générales, Mistral-7B-Chat a été affiné davantage sur les données conversationnelles afin d'optimiser ses capacités pour un chat naturel et engageant. Par conséquent, Mistral-7B-Chat génère des réponses plus humaines et mémorise le contexte des réponses précédentes. Comme le Mistral-7B, ce modèle est le mieux adapté aux tâches linguistiques en anglais.
MPT-7B-Instruct	JumpStart modèle	MPT-7B-Instruct est un modèle pour les tâches de suivi d'instructions longues qui peut vous aider à rédiger des tâches, notamment à résumer des textes et à répondre aux questions, afin de vous faire gagner du temps et de l'énergie. Ce modèle a été entraîné sur de grandes quantités de données optimisées et peut gérer des entrées plus importantes, telles que des documents complexes. Utilisez ce modèle lorsque vous souhaitez traiter de grands corps de texte ou que vous souhaitez que le modèle génère de longues réponses.

Les modèles de fondation d'Amazon Bedrock ne sont actuellement disponibles que dans les régions USA Est (Virginie du Nord) et USA Ouest (Oregon). En outre, lorsque vous utilisez des modèles de fondation d'Amazon Bedrock, vous êtes facturé en fonction du volume de jetons d'entrée et de jetons de sortie, tel que spécifié par chaque fournisseur de modèle. Pour plus d'informations, consultez la page Tarification Amazon Bedrock (langue française non garantie). Les modèles de JumpStart base sont déployés sur des instances SageMaker d'hébergement, et la durée d'utilisation vous est facturée en fonction du type d'instance utilisé. Pour plus d'informations sur le coût des différents types d'instances, consultez la section Amazon SageMaker Hosting : Real-Time Inference sur la page de SageMaker tarification.

L'interrogation de documents est une fonctionnalité supplémentaire que vous pouvez utiliser pour interroger et obtenir des informations à partir de documents stockés dans des index à l'aide d'Amazon Kendra. Grâce à cette fonctionnalité, vous pouvez générer du contenu à partir du contexte de ces documents et recevoir des réponses spécifiques à votre cas d'utilisation métier, par opposition à des réponses génériques aux grandes quantités de données sur lesquelles les modèles de base ont été formés. Pour plus d'informations sur les index dans Amazon Kendra, consultez le guide du développeur Amazon Kendra.

Si vous souhaitez obtenir des réponses de l'un des modèles de base personnalisés en fonction de vos données et de votre cas d'utilisation, vous pouvez affiner les modèles de base. Pour en savoir plus, veuillez consulter la section Ajustez les modèles de base.

Pour commencer, consultez les sections suivantes.

Prérequis

Les sections suivantes décrivent les conditions préalables à l'interaction avec les modèles de base et à l'utilisation de la fonctionnalité de requête de documents dans Canvas. Le reste du contenu de cette page suppose que vous avez rempli les conditions requises pour les modèles de base. La fonctionnalité de recherche de documents nécessite des autorisations supplémentaires.

Conditions préalables pour les modèles de base

Les autorisations dont vous avez besoin pour interagir avec les modèles sont incluses dans les autorisations eady-to-use des modèles Canvas R. Pour utiliser les modèles basés sur l'IA générative dans Canvas, vous devez activer les autorisations de configuration des eady-to-use modèles Canvas R lors de la configuration de votre domaine Amazon SageMaker . Pour plus d’informations, consultez Conditions préalables à la configuration d'Amazon Canvas SageMaker . La configuration eady-to-use des modèles Canvas R associe la ServicesAccess politique d'AmazonSageMakerCanvasIA au rôle d'exécution de votre utilisateur Canvas AWS Identity and Access Management (IAM). Si vous rencontrez des problèmes lors de l'octroi d'autorisations, consultez la rubrique Résolution des problèmes liés à l'octroi d'autorisations via la SageMaker console.

Si vous avez déjà configuré votre domaine, vous pouvez modifier ses paramètres et activer les autorisations. Pour obtenir des instructions sur la façon de modifier les paramètres de votre domaine, consultezAfficher et modifier des domaines. Lorsque vous modifiez les paramètres de votre domaine, accédez aux paramètres Canvas et activez l'option Activer les eady-to-use modèles Canvas R.

Certains modèles de JumpStart base nécessitent également que vous demandiez une augmentation du quota d' SageMakerinstances. Canvas héberge les modèles avec lesquels vous interagissez actuellement sur ces instances, mais le quota par défaut pour votre compte est peut-être insuffisant. Si vous rencontrez une erreur lors de l'exécution de l'un des modèles suivants, demandez une augmentation de quota pour les types d'instances associés :

• Falcon-40B – ml.g5.12xlarge, ml.g5.24xlarge

• Falcon-13B – ml.g5.2xlarge, ml.g5.4xlarge, ml.g5.8xlarge

• MPT-7B-Instruct – ml.g5.2xlarge, ml.g5.4xlarge, ml.g5.8xlarge

Pour les types d'instances précédents, demandez une augmentation de 0 à 1 pour le quota d'utilisation des points de terminaison. Pour plus d'informations sur l'augmentation d'un quota d'instances pour votre compte, consultez Demande d'augmentation de quota dans le Guide de l'utilisateur Service Quotas (langue française non garantie).

Conditions préalables à l'interrogation de documents

Note

L'interrogation de documents est prise en charge dans les pays suivants Régions AWS : USA Est (Virginie du Nord), USA Est (Ohio), USA Ouest (Oregon), Europe (Irlande), Asie-Pacifique (Singapour), Asie-Pacifique (Sydney), Asie-Pacifique (Tokyo) et Asie-Pacifique (Mumbai).

La fonctionnalité de recherche de documents nécessite que vous disposiez déjà d'un index Amazon Kendra qui stocke vos documents et leurs métadonnées. Pour plus d'informations sur Amazon Kendra, consultez le guide du développeur Amazon Kendra. Pour en savoir plus sur les quotas d'interrogation des index, consultez la section Quotas du manuel Amazon Kendra Developer Guide.

Vous devez également vous assurer que votre profil utilisateur Canvas dispose des autorisations nécessaires pour interroger des documents. La AmazonSageMakerCanvasFullAccesspolitique doit être attachée au rôle d'exécution AWS IAM pour le SageMaker domaine qui héberge votre application Canvas (cette politique est attachée par défaut à tous les profils utilisateur Canvas nouveaux et existants). Vous devez également accorder spécifiquement des autorisations d'interrogation de documents et spécifier l'accès à un ou plusieurs index Amazon Kendra.

Si votre administrateur Canvas est en train de configurer un nouveau domaine ou un nouveau profil utilisateur, demandez-lui de configurer le domaine en suivant les instructions figurant dansConditions préalables à la configuration d'Amazon Canvas SageMaker . Lors de la configuration du domaine, ils peuvent activer le document demandant des autorisations via la configuration des eady-to-use modèles Canvas R.

L'administrateur Canvas peut également gérer les autorisations d'interrogation de documents au niveau du profil utilisateur. Par exemple, si l'administrateur souhaite accorder des autorisations d'interrogation de documents à certains profils utilisateur mais supprimer des autorisations pour d'autres, il peut modifier les autorisations pour un utilisateur spécifique.

La procédure suivante indique comment activer les autorisations d'interrogation de documents pour un profil utilisateur spécifique :

1. Ouvrez la SageMaker console à l'adresse https://console.aws.amazon.com/sagemaker/.

2. Dans le panneau de navigation de gauche, choisissez Configurations d'administrateur.

3. Sous Configurations d'administration, sélectionnez les domaines.

4. Dans la liste des domaines, sélectionnez le domaine du profil utilisateur.

5. Sur la page des détails du domaine, choisissez le profil utilisateur dont vous souhaitez modifier les autorisations.

6. Sur la page User Details (Détails de l'utilisateur), choisissez Edit (Modifier).

7. Dans le panneau de navigation de gauche, choisissez Paramètres de Canvas.

8. Dans la section de configuration eady-to-use des modèles Canvas R, activez le bouton Activer la requête de document à l'aide d'Amazon Kendra.

9. Dans le menu déroulant, sélectionnez un ou plusieurs index Amazon Kendra auxquels vous souhaitez accorder l'accès.

10. Choisissez Soumettre pour enregistrer les modifications apportées aux paramètres de votre domaine.

Vous devriez désormais être en mesure d'utiliser les modèles de base Canvas pour interroger des documents dans les index Amazon Kendra spécifiés.

Démarrage d'une nouvelle conversation pour générer, extraire ou résumer du contenu

Pour commencer à utiliser les modèles de fondation d'IA générative dans Canvas, vous pouvez lancer une nouvelle session de discussion avec l'un des modèles. Pour les JumpStart modèles, vous êtes débité lorsque le modèle est actif. Vous devez donc démarrer les modèles lorsque vous souhaitez les utiliser et les arrêter lorsque vous avez terminé d'interagir. Si vous n'arrêtez pas un JumpStart modèle, Canvas l'arrête après 2 heures d'inactivité. Pour les modèles Amazon Bedrock (tels qu'Amazon Titan), vous êtes débité sur demande ; les modèles sont déjà actifs et n'ont pas besoin d'être démarrés ou arrêtés. L'utilisation de ces modèles vous est facturée directement par Amazon Bedrock.

Pour ouvrir une discussion avec un modèle, procédez comme suit :

1. Ouvrez l'application SageMaker Canvas.

2. Dans le volet de navigation de gauche, sélectionnez R eady-to-use models.

3. Choisissez Générer, extraire et résumer du contenu.

4. Sur la page d'accueil, vous recevrez une recommandation pour démarrer le modèle par défaut. Vous pouvez démarrer le modèle recommandé ou choisir Sélectionner un autre modèle dans la liste déroulante pour en choisir un autre.

5. Si vous avez sélectionné un modèle de JumpStart base, vous devez le démarrer avant de pouvoir l'utiliser. Choisissez Démarrer le modèle, puis le modèle est déployé sur une SageMaker instance. Le processus peut prendre plusieurs minutes. Lorsque le modèle est prêt, vous pouvez entrer des invites et poser des questions au modèle.

   Si vous avez sélectionné un modèle de fondation d'Amazon Bedrock, vous pouvez commencer à l'utiliser instantanément en entrant une invite et en posant des questions.

Selon le modèle, vous pouvez effectuer différentes tâches. Par exemple, vous pouvez entrer un passage de texte et demander au modèle de le résumer. Vous pouvez également demander au modèle de vous fournir un bref résumé des tendances du marché dans votre domaine.

Les réponses du modèle dans une discussion sont basées sur le contexte de vos invites précédentes. Si vous souhaitez poser une nouvelle question dans la discussion, qui n'a aucun rapport avec le sujet de conversation précédent, nous vous recommandons de démarrer une nouvelle discussion avec le modèle.

Extraire des informations à partir de documents à l'aide de requêtes de documents

Note

Cette section suppose que vous avez terminé la section ci-dessusConditions préalables à l'interrogation de documents.

L'interrogation de documents est une fonctionnalité que vous pouvez utiliser lorsque vous interagissez avec des modèles de base dans Canvas. Grâce aux requêtes de documents, vous pouvez accéder à un corpus de documents stockés dans un index Amazon Kendra, qui contient le contenu de vos documents et est structuré de manière à rendre les documents consultables. Vous pouvez poser des questions spécifiques qui concernent les données de votre index Amazon Kendra, et le modèle de base vous fournira les réponses à vos questions. Par exemple, vous pouvez interroger une base de connaissances interne contenant des informations informatiques et poser des questions telles que « Comment me connecter au réseau de mon entreprise ? » Pour plus d'informations sur la configuration d'un index, consultez le guide du développeur Amazon Kendra.

Lorsque vous utilisez la fonction de requête documentaire, les modèles de base limitent leurs réponses au contenu des documents de votre index à l'aide d'une technique appelée Retrieval Augmented Generation (RAG). Cette technique regroupe les informations les plus pertinentes de l'index ainsi que l'invite de l'utilisateur et les envoie au modèle de base pour obtenir une réponse. Les réponses sont limitées à ce qui peut être trouvé dans votre index, ce qui empêche le modèle de vous donner des réponses incorrectes basées sur des données externes. Pour plus d'informations sur ce processus, consultez le billet de blog Créez rapidement des applications d'IA générative de haute précision sur des données d'entreprise.

Pour commencer, lors d'une discussion avec un modèle de base dans Canvas, activez le bouton de requête de document en haut de la page. Dans le menu déroulant, sélectionnez l'index Amazon Kendra que vous souhaitez interroger. Ensuite, vous pouvez commencer à poser des questions relatives aux documents de votre index.

Important

L'interrogation de documents prend en charge Comparaison des résultats de modèle cette fonctionnalité. Tout historique de discussion existant est remplacé lorsque vous démarrez un nouveau chat afin de comparer les résultats du modèle.

Gestion des modèles

Note

La section suivante décrit le démarrage et l'arrêt des modèles, qui ne s'appliquent qu'aux modèles de JumpStart base, tels que Falcon-40B-Instruct. Vous pouvez accéder aux modèles Amazon Bedrock, tels qu'Amazon Titan, instantanément et à tout moment.

Vous pouvez démarrer autant de JumpStart modèles que vous le souhaitez. Chaque JumpStart modèle actif entraîne des frais sur votre compte. Nous vous recommandons donc de ne pas démarrer plus de modèles que ceux que vous utilisez actuellement.

Pour démarrer un autre modèle, procédez comme suit :

1. Sur la page Générer, extraire et résumer du contenu, choisissez Nouvelle discussion.

2. Choisissez le modèle dans le menu déroulant. Si vous souhaitez choisir un modèle qui ne figure pas dans le menu déroulant, choisissez Démarrer un autre modèle, puis sélectionnez le modèle que vous souhaitez démarrer.

3. Choisissez Démarrer le modèle.

Le modèle devrait commencer à démarrer et vous pourrez discuter avec lui en quelques minutes.

Nous vous recommandons vivement d'arrêter les modèles que vous n'utilisez pas. Les modèles s'arrêtent automatiquement après 2 heures d'inactivité. Pour arrêter manuellement un modèle, procédez comme suit :

1. Sur la page Générer, extraire et résumer du contenu, ouvrez la discussion du modèle que vous souhaitez arrêter.

2. Sur la page de discussion, choisissez l'icône Plus d'options ( ).

3. Choisissez Arrêter le modèle.

4. Dans la zone de confirmation Arrêter le modèle, choisissez Arrêter.

Le modèle commence à s'arrêter. Si votre discussion compare deux modèles ou plus, vous pouvez arrêter un modèle individuel à partir de la page de discussion en choisissant l'icône Plus d'options du modèle ( ), puis en choisissant Arrêter le modèle.

Comparaison des résultats de modèle

Vous souhaiterez peut-être comparer les résultats de différents modèles côte à côte afin de déterminer celui que vous préférez. Cela peut vous aider à choisir le modèle le mieux adapté à votre cas d'utilisation. Vous pouvez comparer jusqu'à trois modèles dans les discussions.

Note

Chaque modèle individuel entraîne des frais sur votre compte.

Vous devez démarrer une nouvelle discussion pour ajouter des modèles à comparer. Pour comparer les résultats des modèles côte à côte dans une discussion, procédez comme suit :

1. Dans une discussion, choisissez Nouvelle discussion.

2. Choisissez Comparer, puis utilisez le menu déroulant pour sélectionner le modèle que vous souhaitez ajouter. Pour ajouter un troisième modèle, choisissez à nouveau Comparer pour ajouter un autre modèle.

   Note

   Si vous souhaitez utiliser un JumpStart modèle qui n'est pas actif actuellement, vous êtes invité à le démarrer.

Lorsque les modèles sont actifs, vous pouvez voir les deux modèles côte à côte dans la discussion. Vous pouvez envoyer votre invite et chaque modèle répond dans la même discussion, comme illustré dans la capture d'écran suivante.

Lorsque vous avez terminé d'interagir, assurez-vous d'éteindre tous les JumpStart modèles individuellement pour éviter d'encourir des frais supplémentaires.

Déployer un modèle de JumpStart base

Si vous souhaitez obtenir des prédictions à partir d'un modèle Amazon SageMaker JumpStart Foundation via une application ou un site Web, vous pouvez déployer le modèle sur un SageMaker point de terminaison. SageMaker les points de terminaison hébergent votre modèle, et vous pouvez envoyer des demandes au point de terminaison via le code de votre application pour recevoir les prédictions du modèle. Pour plus d’informations, consultez Déployez vos modèles sur un terminal.