生成式 AI 可觀測性

透過 Amazon CloudWatch，您可以觀察生成式 AI 工作負載，包括 Amazon Bedrock AgentCore 代理程式，並深入了解 AI 效能、運作狀態和準確性。CloudWatch 提供 AI 工作負載延遲、用量和錯誤的預先設定檢視，可讓您更快速地偵測模型和代理程式等元件中的問題。End-to-end提示追蹤可協助您快速識別元件中的問題，例如知識庫、工具和模型。CloudWatch 的 AI 監控功能與熱門的生成式 AI 協同運作架構相容，例如 AWS Strands、LangChain 和 LangGraph，提供您選擇的架構彈性。

CloudWatch 生成式 AI 可觀測性可讓您：

• 深入了解最終使用者成果、AI 效能、運作狀態和準確性，同時減少human-in-the-loop(HITL) 評估負擔

• 監控模型調用、客服人員 （受管、自我託管和第三方）、知識庫、護欄和工具

• 從代理程式實驗到創新 GenAI 應用程式生產的進展，同時確保卓越的品質、效能和可靠性。如需詳細資訊，請參閱什麼是 Amazon Bedrock AgentCore？

• 使用end-to-end提示追蹤、策劃指標和日誌快速識別錯誤來源

• 對整個 GenAI 應用程式和基礎基礎設施的問題進行故障診斷，利用現有的 CloudWatch 可觀測性工具，例如 Application Signals、警示、儀表板、敏感資料保護和 Logs Insights

• 使用 Amazon Bedrock 時存取提示追蹤，並使用 ADOT SDK 將第三方模型的結構化追蹤傳送至 CloudWatch。如需將可觀測性新增至 Amazon Bedrock AgentCore 代理程式或工具的詳細資訊，請參閱 Amazon Bedrock AgentCore

CloudWatch 生成式 AI 可觀測性提供兩個預先建置的儀表板：

注意

您必須啟用 Amazon Bedrock 才能檢視模型調用儀表板。

• 模型調用 – 模型用量、字符使用量和成本的詳細指標

• Amazon Bedrock AgentCore 代理程式 – Amazon Bedrock 代理程式的效能和決策指標

這些儀表板中可用的關鍵指標包括：

• 呼叫總數和平均數

• 字符用量 （總計、每個查詢的平均數、輸入、輸出）

• 延遲 （平均值、P90, P99)

• 錯誤率和限流事件

• 依應用程式、使用者角色或特定使用者的成本歸因

主題

• 模型調用

• Amazon Bedrock AgentCore 代理程式