Simulation
La simulation vous permet d'évaluer votre agent par rapport à des conversations dynamiques à plusieurs tours générées par des LLM-backed acteurs. Au lieu de rejouer des scripts fixes, vous définissez des profils d'acteurs avec des personnages et des objectifs, et le moteur de simulation anime des conversations réalistes avec votre agent.
Les scénarios simulés s'intègrent aux mêmes exécuteurs de jeux de données que ceux utilisés pour les scénarios prédéfinis. Vous incluez des scénarios simulés dans votre jeu de données, définissez une configuration de simulation sur le coureur, et celui-ci gère le cycle de vie de l'acteur en interne.
Types de simulation
Amazon Bedrock AgentCore prend en charge les types de simulation suivants :
-
Simulation utilisateur : un LLM-backed acteur joue le rôle d'un utilisateur final interagissant avec votre agent. L'acteur possède un personnage (traits, contexte) et un objectif, et génère des messages réalistes à l'utilisateur jusqu'à ce que l'objectif soit atteint ou qu'une limite de tours soit atteinte. Utilisez la simulation utilisateur pour tester la façon dont votre agent gère les différents comportements des utilisateurs, les conversations ouvertes et les cas extrêmes à grande échelle.
Conditions préalables
-
La simulation en plus :
pip install 'bedrock-agentcore[simulation]'Cela installe le moteur de simulation d'acteur utilisé pour générer des tournants de conversation dynamiques.
-
AWS informations d'identification avec autorisations pour invoquer le modèle d'acteur via Amazon Bedrock. L'acteur s'exécute dans le cadre d'un appel LLM distinct. Les informations d'identification utilisées par le coureur doivent donc être
bedrock:InvokeModelautorisées pour le modèle spécifié dansSimulationConfig.model_id. -
Toutes les conditions préalables à l'évaluation des ensembles de données s'appliquent.
Rubriques
