生成 AI オブザーバビリティ - Amazon CloudWatch

生成 AI オブザーバビリティ

Amazon CloudWatch を使用すると、Amazon Bedrock AgentCore エージェントなどの生成 AI ワークロードを監視し、AI のパフォーマンス、ヘルス、精度に関するインサイトを得ることができます。CloudWatch は、AI ワークロードのレイテンシー、使用状況、エラーに関する事前設定済みのビューを提供するため、モデルやエージェントなどのコンポーネントの問題をより迅速に検出できます。エンドツーエンドのプロンプトトレーシングは、ナレッジベース、ツール、モデルなどのコンポーネントの問題をすばやく特定するのに役立ちます。CloudWatch の AI モニタリング機能は、AWS Strands、LangChain、LangGraph などの一般的な生成 AI オーケストレーションフレームワークと互換性があり、選択したフレームワークに柔軟性を提供します。

CloudWatch 生成 AI オブザーバビリティを使用すると、以下のことが可能になります。

  • ヒューマンインザループ (HITL) 評価の負担を軽減しながら、エンドユーザーの結果、AI のパフォーマンス、ヘルス、精度に関するインサイトを取得する

  • モデル呼び出し、エージェント (マネージド型、セルフホスト型、サードパーティー)、ナレッジベース、ガードレール、ツールをモニタリングする

  • 優れた品質、パフォーマンス、信頼性を確保しながら、エージェントの実験から革新的な GenAI アプリケーションの制作までの進捗状況。詳細については、「What is Amazon Bedrock AgentCore?」を参照してください

  • エンドツーエンドのプロンプトトレース、厳選されたメトリクス、ログを使用して、エラーの原因をすばやく特定する

  • Application Signals、アラーム、ダッシュボード、機密データ保護、Logs Insights などの既存の CloudWatch オブザーバビリティツールを活用して、GenAI アプリケーション全体および基盤となるインフラストラクチャ全体の問題をトラブルシューティングする

  • Amazon Bedrock の使用中にプロンプトトレースにアクセスし、ADOT SDK を使用してサードパーティーモデルの構造化トレースを CloudWatch に送信する。Amazon Bedrock AgentCore エージェントまたはツールにオブザーバビリティを追加する方法については、「Amazon Bedrock AgentCore」を参照してください

CloudWatch 生成 AI オブザーバビリティは、2 つの構築済みダッシュボードを提供します。

注記

[モデル呼び出し] ダッシュボードを表示するには、Amazon Bedrock を有効にする必要があります。

  • モデル呼び出し – モデルの使用、トークンの消費、コストに関する詳細なメトリクス

  • Amazon Bedrock AgentCore エージェント – Amazon Bedrock エージェントのパフォーマンスと決定メトリクス

これらのダッシュボードで使用できる主要なメトリクスは以下のとおりです。

  • 合計呼び出し数と平均呼び出し数

  • トークンの使用 (合計、クエリあたりの平均、入力、出力)

  • レイテンシー (平均、P90、P99)

  • エラー率とスロットリングイベント

  • アプリケーション、ユーザーロール、または特定のユーザー別のコスト属性

トピック