Observabilidade de IA generativa
Com o Amazon CloudWatch, é possível verificar as workloads de IA generativa, incluindo os agentes do Amazon Bedrock AgentCore
A funcionalidade de observabilidade de IA generativa do CloudWatch possibilita que você:
Obtenha insights sobre os resultados destinados ao usuário final e a performance, a integridade e a precisão da IA, ao mesmo tempo em que reduz a carga de avaliações realizadas com supervisão humana (HITL, na sigla em inglês).
Monitore as invocações de modelos, os agentes (gerenciados, com hospedagem própria e de entidades externas), as bases de conhecimento, as barreiras de proteção e as ferramentas.
Avance da fase de experimentação com agentes para a implementação em ambientes de produção de aplicações inovadoras de IA generativa, ao mesmo em que garante alta qualidade, performance e confiabilidade. Para obter mais informações, consulte What is Amazon Bedrock AgentCore?
Identifique rapidamente a origem dos erros usando o rastreamento abrangente de prompt, as métricas selecionadas e os logs.
Solucione problemas em toda a sua aplicação de IA generativa e na infraestrutura subjacente, aproveitando as ferramentas de observabilidade já existentes do CloudWatch, como o Application Signals, os alarmes, os painéis, a proteção de dados sensíveis e o Logs Insights.
Obtenha acesso aos rastreamentos de prompt enquanto usa o Amazon Bedrock e envie rastreamentos estruturados de modelos provenientes de entidades externas para o CloudWatch com o uso do SDK do ADOT. Para obter informações sobre como adicionar observabilidade ao agente ou à ferramenta do Amazon Bedrock AgentCore, consulte Amazon Bedrock AgentCore.
A funcionalidade de observabilidade de IA generativa do CloudWatch fornece dois painéis desenvolvidos previamente:
nota
É necessário habilitar o Amazon Bedrock para visualizar o painel Invocação de modelos.
Invocações de modelos: métricas detalhadas referentes ao uso de modelos, ao consumo de tokens e aos respectivos custos.
Agentes do Amazon Bedrock AgentCore: métricas referentes à performance e à tomada de decisão para os agentes do Amazon Bedrock.
As principais métricas disponíveis nesses painéis incluem:
Número total e médio de invocações
Uso de tokens (incluindo o uso total, médio por consulta, de entrada e de saída)
Latência (incluindo a latência média e os percentis P90 e P99)
Taxas de erro e eventos de controle de utilização
Atribuição de custos por aplicação, perfil do usuário ou usuário específico
