監控 Amazon 基岩的運行狀況和性能 - Amazon Bedrock

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

監控 Amazon 基岩的運行狀況和性能

您可以使用 Amazon 監控 Amazon 基岩應用程式的所有部分 CloudWatch,Amazon 會收集原始資料並將其處理為近乎即時的可讀指標。您可以使用 CloudWatch 控制台繪製指標的圖形。您也可以設定留意特定閾值的警示,當超出這些閾值時傳送通知或採取動作。

有關更多信息,請參閱 Amazon 用 CloudWatch 戶指南 CloudWatch中的 Amazon 是什麼

Amazon 基岩執行階段指標

下表說明 Amazon Bedrock 提供的執行期指標。

指標名稱 單位 描述
調用 SampleCount 匡威ConverseStream、和InvokeModelWithResponseStreamAPI作業發出的要求數目。InvokeModel

InvocationLatency

MilliSeconds

調用的延遲。

InvocationClientErrors

SampleCount

導致用戶端錯誤的調用數量。

InvocationServerErrors

SampleCount

導致的呼叫次數 AWS 伺服器端錯誤。

InvocationThrottles

SampleCount

系統限流的調用數量。

InputTokenCount

SampleCount

輸入中的令牌數量。

LegacyModelInvocations SampleCount 使用舊版模型的調用次數

OutputTokenCount

SampleCount

輸出中的令牌數量。

OutputImageCount

SampleCount

輸出中的影像數量 (僅適用於影像產生型號)。

CloudWatch Amazon 基岩指標

對於每次交付成功或失敗嘗試,會在命名空間AWS/BedrockAcross all model IDs維度下發出以下 Amazon CloudWatch 指標:

  • ModelInvocationLogsCloudWatchDeliverySuccess

  • ModelInvocationLogsCloudWatchDeliveryFailure

  • ModelInvocationLogsS3DeliverySuccess

  • ModelInvocationLogsS3DeliveryFailure

  • ModelInvocationLargeDataS3DeliverySuccess

  • ModelInvocationLargeDataS3DeliveryFailure

若要擷取 Amazon Bedrock 操作的指標,您必須指定下列資訊:

  • 指標維度。維度是一組用來識別指標的名稱與數值對。Amazon Bedrock 支援以下維度:

    • ModelId – 所有指標

    • ModelId + ImageSize + BucketedStepSize – OutputImageCount

  • 指標名稱,例如 InvocationClientErrors

您可以使用 Amazon 基岩獲取指標 AWS Management Console,該 AWS CLI,或 CloudWatch API. 您可以使用 CloudWatch API通過其中一個 AWS 軟體開發套件 (SDKs) 或工 CloudWatch API具。

若要在 CloudWatch 主控台中檢視 Amazon 基岩指標,請前往導覽窗格中的指標區段,選取所有指標選項,然後搜尋模型 ID。

您必須擁有適當的 CloudWatch 許可才能監控 Amazon 基岩如 CloudWatch 需詳細資訊,請參閱 Amazon CloudWatch 使用者指南 CloudWatch中的 Amazon 身份驗證和存取控制