Monitore a integridade e o desempenho do Amazon Bedrock

Você pode monitorar todas as partes do seu aplicativo Amazon Bedrock usando a Amazon CloudWatch, que coleta dados brutos e os processa em métricas legíveis, quase em tempo real. Você pode representar graficamente as métricas usando o CloudWatch console. Também é possível definir alarmes que observam determinados limites e enviam notificações ou realizam ações quando os valores excedem esse limites.

Para obter mais informações, consulte O que é a Amazon CloudWatch no Guia CloudWatch do usuário da Amazon.

Tópicos

• Monitore a invocação do modelo usando Logs CloudWatch
• Monitore as bases de conhecimento usando o CloudWatch Logs
• Monitore os guardrails do Amazon Bedrock usando métricas CloudWatch
• Monitore o Amazon Bedrock Studio usando registros CloudWatch
• Métricas de tempo de execução do Amazon Bedrock
• CloudWatch métricas para Amazon Bedrock
• Monitore as mudanças no estado de trabalho do Amazon Bedrock usando a Amazon EventBridge
• Monitore API chamadas do Amazon Bedrock usando CloudTrail

Métricas de tempo de execução do Amazon Bedrock

A tabela a seguir descreve as métricas de tempo de execução fornecidas pelo Amazon Bedrock.

Nome da métrica	Unidade	Descrição
Invocações	SampleCount	Número de solicitações para as InvokeModelWithResponseStreamAPIoperações Converse ConverseStreamInvokeModel,, e.
InvocationLatency	MilliSeconds	Latência das invocações.
InvocationClientErrors	SampleCount	Número de invocações que resultam em erros do lado do cliente.
InvocationServerErrors	SampleCount	Número de invocações que resultam em erros do lado do AWS servidor.
InvocationThrottles	SampleCount	Número de invocações que o sistema limitou.
InputTokenCount	SampleCount	Número de tokens na entrada.
LegacyModelInvocations	SampleCount	Número de invocações usando modelos herdados
OutputTokenCount	SampleCount	Número de tokens na saída.
OutputImageCount	SampleCount	Número de imagens na saída (aplicável somente para modelos de geração de imagens).

CloudWatch métricas para Amazon Bedrock

Para cada tentativa de entrega bem-sucedida ou falha, as seguintes CloudWatch métricas da Amazon são emitidas sob o namespace AWS/Bedrock e a dimensão: Across all model IDs

• ModelInvocationLogsCloudWatchDeliverySuccess

• ModelInvocationLogsCloudWatchDeliveryFailure

• ModelInvocationLogsS3DeliverySuccess

• ModelInvocationLogsS3DeliveryFailure

• ModelInvocationLargeDataS3DeliverySuccess

• ModelInvocationLargeDataS3DeliveryFailure

Para recuperar métricas para as operações do Amazon Bedrock, especifique as seguintes informações:

• A dimensão da métrica. Uma dimensão é um conjunto de pares de nome-valor que você usa para identificar uma métrica. O Amazon Bedrock é compatível com as seguintes dimensões:

  • ModelId: todas as métricas

  • ModelId + ImageSize + BucketedStepSize – OutputImageCount

• O nome da métrica, como InvocationClientErrors.

Você pode obter métricas para o Amazon Bedrock com o AWS Management Console AWS CLI, o ou o. CloudWatch API Você pode usar o CloudWatch API por meio de um dos kits de desenvolvimento de AWS software (SDKs) ou das CloudWatch API ferramentas.

Para visualizar as métricas do Amazon Bedrock no CloudWatch console, acesse a seção de métricas no painel de navegação, selecione a opção Todas as métricas e, em seguida, pesquise o ID do modelo.

Você deve ter as CloudWatch permissões apropriadas para monitorar o Amazon Bedrock com. CloudWatch Para obter mais informações, consulte Autenticação e controle de acesso para a Amazon CloudWatch no Guia CloudWatch do usuário da Amazon.