シミュレーション
シミュレーションでは、LLM-backed アクターによって生成された動的なマルチターン会話に対してエージェントを評価できます。固定スクリプトを再生する代わりに、ペルソナと目標を使用してアクタープロファイルを定義し、シミュレーションエンジンがエージェントとの現実的な会話を促進します。
シミュレートされたシナリオは、事前定義されたシナリオに使用されるのと同じデータセットランナーと統合されます。データセットにシミュレートされたシナリオを含め、ランナーにシミュレーション設定を設定すると、ランナーはアクターのライフサイクルを内部で処理します。
シミュレーションタイプ
Amazon Bedrock AgentCore は、次のシミュレーションタイプをサポートしています。
-
ユーザーシミュレーション: LLM-backed アクターは、エージェントとやり取りするエンドユーザーの役割を果たします。アクターにはペルソナ (特性、コンテキスト) と目標があり、目標が達成されるか、ターン制限に達するまでリアルなユーザーメッセージを生成します。ユーザーシミュレーションを使用して、エージェントがさまざまなユーザー動作、オープンエンドの会話、エッジケースを大規模にどのように処理するかをテストします。
前提条件
-
シミュレーションの追加:
pip install 'bedrock-agentcore[simulation]'これにより、動的な会話ターンの生成に使用されるアクターシミュレーションエンジンがインストールされます。
-
AWS Amazon Bedrock 経由でアクターモデルを呼び出すアクセス許可を持つ 認証情報。アクターは別の LLM 呼び出しとして実行されるため、ランナーが使用する認証情報には、 で指定されたモデルの
bedrock:InvokeModelアクセス許可が必要ですSimulationConfig.model_id。 -
すべてのデータセット評価の前提条件が適用されます。
トピック
