# Observabilidade de IA generativa
Com o Amazon CloudWatch, é possível verificar as workloads de IA generativa, incluindo os [agentes do Amazon Bedrock AgentCore](https://aws.amazon.com/bedrock/agentcore/), e obter insights sobre a performance, a integridade e a precisão da IA. O CloudWatch disponibiliza visualizações configuradas previamente sobre a latência, o uso e os erros referentes às workloads de IA, permitindo a detecção mais rápida de problemas em componentes como modelos e agentes. O rastreamento abrangente de prompt ajuda você a identificar rapidamente problemas em componentes como bases de conhecimento, ferramentas e modelos. Os recursos de monitoramento por IA do CloudWatch são compatíveis com estruturas conhecidas de orquestração por IA generativa, como [AWS Strands](https://strandsagents.com/latest/), LangChain e LangGraph, oferecendo flexibilidade na escolha da estrutura.
A funcionalidade de observabilidade de IA generativa do CloudWatch possibilita que você:
+ Avalie a qualidade e a precisão das aplicações de IA em grande escala por meio de monitoramento automatizado, o que reduz os requisitos de revisão manual capturando os resultados do modelo, as métricas de qualidade de resposta e as interações com o usuário final
+ Monitore as invocações de modelos, os agentes (gerenciados, com hospedagem própria e de entidades externas), as bases de conhecimento, as barreiras de proteção e as ferramentas.
+ Avance da fase de experimentação com agentes para a implementação em ambientes de produção de aplicações inovadoras de IA generativa, ao mesmo em que garante alta qualidade, performance e confiabilidade. Para saber mais, consulte [O que é o Amazon Bedrock AgentCore?](https://docs.aws.amazon.com/bedrock-agentcore/latest/devguide/what-is-genesis.html)
+ Identifique rapidamente a origem dos erros usando o rastreamento abrangente de prompt, as métricas selecionadas e os logs.
+ Solucione problemas em toda a sua aplicação de IA generativa e na infraestrutura subjacente, aproveitando as ferramentas de observabilidade já existentes do CloudWatch, como o [Application Signals](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/CloudWatch-Application-Monitoring-Sections.html), os [alarmes](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/CloudWatch_Alarms.html), os [painéis](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/CloudWatch_Dashboards.html), a [proteção de dados sensíveis](https://docs.aws.amazon.com/AmazonCloudWatch/latest/logs/cloudwatch-logs-data-protection-policies.html) e o [Logs Insights](https://docs.aws.amazon.com/AmazonCloudWatch/latest/logs/AnalyzingLogData.html).
+ Obtenha acesso aos rastreamentos de prompt enquanto usa o Amazon Bedrock e envie rastreamentos estruturados de modelos provenientes de entidades externas para o CloudWatch com o uso do SDK do ADOT. Para obter informações sobre como adicionar observabilidade ao agente ou à ferramenta do Amazon Bedrock AgentCore, consulte [Amazon Bedrock AgentCore](https://docs.aws.amazon.com/bedrock-agentcore/latest/devguide/what-is-genesis.html).
A observabilidade por IA generativa do CloudWatch fornece dois recursos pré-compilados:
**nota**
Você pode usar o painel **Invocação de modelos** usando qualquer modelo para inferência no Amazon Bedrock.
+ **Invocações de modelos**: painel de métricas detalhadas de utilização de modelos, consumo de tokens e uma tabela de logs de invocação selecionados para visualizar o conteúdo detalhado de entrada e saída das inferências do modelo
+ **Agentes do Amazon Bedrock AgentCore**: métricas de performance e decisão para os primitivos do Amazon Bedrock AgentCore, como agentes, memória, ferramentas incorporadas, gateways e identidade
As principais métricas disponíveis nesses painéis incluem:
+ Número total e médio de invocações
+ Uso de tokens (incluindo o uso total, médio por consulta, de entrada e de saída)
+ Latência (incluindo a latência média e os percentis P90 e P99)
+ Taxas de erro e eventos de controle de utilização
+ Atribuição de custos por aplicação, perfil do usuário ou usuário específico
**Topics**
+ [Invocações de modelos](model-invocations.md)
+ [Amazon Bedrock AgentCore](AgentCore-Agents.md)
# Invocações de modelos
A funcionalidade de observabilidade de IA generativa do CloudWatch permite monitorar a performance das invocações de modelos. É possível acompanhar métricas, como a contagem de invocações, o uso de tokens e os erros, usando visualizações prontas para uso. Para obter uma visibilidade detalhada sobre o conteúdo relacionado à invocação, como as entradas e as saídas, habilite o **registro em log de invocação do Bedrock** e envie os logs para o CloudWatch. Para saber mais, consulte [Set up a CloudWatch Logs destination](https://docs.aws.amazon.com/bedrock/latest/userguide/model-invocation-logging.html#setup-cloudwatch-logs-destination) e [Help protect sensitive log data with masking](https://docs.aws.amazon.com/AmazonCloudWatch/latest/logs/mask-sensitive-log-data.html).
## Como habilitar a invocação de modelos no Amazon Bedrock
**nota**
É necessário habilitar o registro em log de invocação do modelo no Amazon Bedrock para visualizar as invocações.
Para habilitar o registro em log de invocações e modelo no Amazon Bedrock, siga estas etapas:
1. Abra o console do Amazon Bedrock em [https://console.aws.amazon.com/bedrock/](https://console.aws.amazon.com/bedrock/).
1. Escolha **Configurações**.
1. Em **Registro em log de invocação do modelo**, selecione **Registro em log de invocação do modelo**.
1. Escolha os tipos de dados obrigatórios a serem incluídos nos logs. Escolha enviar os logs apenas para o CloudWatch Logs ou para o Amazon S3 e o CloudWatch Logs se você já publicar no Amazon S3.
1. Nas configurações do CloudWatch Logs, crie um nome para o grupo de logs e selecione os perfis de serviços apropriados.
1. Escolha os tipos de dados obrigatórios a serem incluídos nos logs.
1. Escolha **Salvar configurações**.
É possível visualizar os painéis configurados previamente de forma automática ao começar a usar as invocações do Amazon Bedrock. Após habilitar `Model Invocation logging`, você pode visualizar os painéis padrão e acessar a tabela de invocação localizada abaixo deles.
![\[observabilidade de IA generativa\]](http://docs.aws.amazon.com/pt_br/AmazonCloudWatch/latest/monitoring/images/GenAI.png)
+ **Contagem de invocação**: número de solicitações bem-sucedidas às operações de API [Converse](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_Converse.html), [ConverseStream](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_ConverseStream.html), [InvokeModel](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_InvokeModel.html) e [InvokeModelWithResponseStream](https://docs.aws.amazon.com/bedrock/latest/APIReference/API_runtime_InvokeModelWithResponseStream.html).
+ **Latência de invocação**: tempo de latência das invocações.
+ **Contagem de tokens por modelo**: contagem de tokens por modelo, detalhada pelas contagens de tokens de entrada e de tokens de saída.
+ **Contagem diária de tokens por ModelID**: contagem total diária de tokens por ID do modelo.
+ **InputTokenCount e OutputTokenCount**: número total de tokens na entrada e na saída nesta conta, considerando os modelos selecionados.
+ **Solicitações agrupadas por tokens de entrada**: número de solicitações agrupadas em seis intervalos, conforme o número de tokens de entrada. Cada linha representa o número de solicitações que se enquadram em um intervalo específico.
+ **Controle de utilização para invocação**: número de invocações controladas pelo sistema devido ao controle de utilização. O número de controles de utilização observado dependerá das configurações de nova tentativa estabelecidas no SDK. Para obter mais informações, consulte o comportamento [Retry](https://docs.aws.amazon.com/sdkref/latest/guide/feature-retry-behavior.html) no Guia de referência dos SDKs e das ferramentas da AWS.
+ **Contagem de erros de invocação**: número de invocações que resultaram em erros do lado do servidor e do lado do cliente.
Para usar o painel de invocação de modelos, siga essas etapas.
1. Passe o cursor do mouse sobre qualquer gráfico de métricas para visualizar os detalhes da invocação. Você pode selecionar o ícone **Alarme** para configurar `Alarms` que monitorem a qualidade e a performance da aplicação.
1. No menu suspenso **ModelID**, você pode selecionar um ID de modelo para visualizar as métricas correspondentes.
1. Selecione **Visualizar em métricas do CloudWatch** para visualizar as métricas do painel no CloudWatch.
1. Selecione **Substituição de período** para ajustar o intervalo de tempo das métricas (por exemplo, um minuto, uma hora ou seis horas).
1. Em **Invocações**, escolha **ID da solicitação** para visualizar os detalhes da solicitação. É possível visualizar os detalhes de entrada e de saída da invocação de modelos no painel localizado à direita.
![\[Invocação de modelos: visualização por ID da solicitação\]](http://docs.aws.amazon.com/pt_br/AmazonCloudWatch/latest/monitoring/images/GenAI_Model_Invocation.png)
Na página **ID da solicitação**, no menu suspenso **Ações**, selecione **Visualizar no Logs Insights** para visualizar os logs no CloudWatch. Para obter mais informações, consulte [Analisar logs de dados com o CloudWatch Logs Insights](https://docs.aws.amazon.com/AmazonCloudWatch/latest/logs/AnalyzingLogData.html).
# Amazon Bedrock AgentCore
O CloudWatch oferece visões de observabilidade selecionadas para o Amazon Bedrock AgentCore. Essas visões ajudam a monitorar a integridade operacional dos agentes gerenciados. Use as visões de observabilidade e o rastreamento de prompts para depurar e monitorar a performance do agente de IA. Para monitorar os agentes de IA, habilite a **Observabilidade** no Amazon Bedrock AgentCore. O Amazon Bedrock AgentCore inclui uma conjunto de serviços modulares, como agentes, memória, ferramentas e gateway. Você pode usar esses serviços juntos ou separados para criar as aplicações de IA.
Para saber mais, consulte [Amazon Bedrock AgentCore](https://docs.aws.amazon.com/bedrock-agentcore/latest/devguide/what-is-bedrock-agentcore.html).
**Topics**
+ [Introdução](AgentCore-GettingStarted.md)
+ [Agentes](Agents.md)
+ [Memória](Memory.md)
+ [Ferramentas incorporadas](Built-in-tools.md)
+ [Gateways](Gateways.md)
+ [Identidade](Identity.md)
# Introdução
O Amazon Bedrock AgentCore fornece métricas, logs e rastros incorporados para monitorar a performance dos serviços modulares do AgentCore. Você pode visualizar esses dados no Amazon CloudWatch. Para acessar toda a gama de dados de observabilidade de todos os serviços modulares do AgentCore, instrumente o código usando o SDK do AWS Distro for OpenTelemetry (ADOT).
## Adicionar observabilidade aos recursos de atendente
Antes de começar, habilite o CloudWatch Transaction Search. Para saber mais, consulte [Habilitar Transaction Search](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/Enable-TransactionSearch.html).
### Habilitar a observabilidade dos agentes hospedados no AgentCore Runtime
Você pode hospedar os agentes no AgentCore Runtime, um runtime seguro com tecnologia sem servidor, criado especificamente para implantar e escalar agentes e ferramentas dinâmicas de IA. O AgentCore Runtime é compatível com qualquer estrutura de código aberto, incluindo LangGraph, CrewAI, Strands Agents, qualquer protocolo e qualquer modelo.
Para habilitar a observabilidade dos agentes hospedados no AgentCore Runtime, consulte [Configurar observabilidade personalizada](https://docs.aws.amazon.com/bedrock-agentcore/latest/devguide/observability-configure.html#observability-configure-custom).
Para ver um tutorial passo a passo, consulte [Habilitar observabilidade para agentes hospedados no AgentCore Runtime](https://aws.github.io/bedrock-agentcore-starter-toolkit/user-guide/observability/quickstart.html#enabling-observability-for-agentcore-runtime-hosted-agents).
### Habilitar a observabilidade dos agentes hospedados fora do AgentCore
Você pode hospedar os agentes fora do AgentCore e trazer os dados de observabilidade para o CloudWatch para monitoramento de ponta a ponta em um único local.
Para habilitar a observabilidade dos agentes hospedados fora do AgentCore Runtime, consulte [Configurar observabilidade de terceiros](https://docs.aws.amazon.com/bedrock-agentcore/latest/devguide/observability-configure.html#observability-configure-3p).
Para ver um tutorial passo a passo, consulte [Habilitar observabilidade para agentes hospedados fora do AgentCore](https://aws.github.io/bedrock-agentcore-starter-toolkit/user-guide/observability/quickstart.html#enabling-observability-for-non-agentcore-hosted-agents).
### Habilitar a observabilidade de memória, gateway e ferramentas incorporadas do AgentCore
Você pode ter visibilidade das métricas e rastros dos serviços modulares do AgentCore. Para saber mais, consulte [Configurar a observabilidade do CloudWatch](https://docs.aws.amazon.com/bedrock-agentcore/latest/devguide/observability-configure.html#observability-configure-cloudwatch).
### Habilitar o AgentCore Evaluations
Você pode ter visibilidade do AgentCore Evaluations. O AgentCore Evaluations fornecem recursos para monitorar e avaliar a performance, a qualidade e a confiabilidade dos agentes de IA. [Para habilitar a observabilidade do AgentCore Evaluations, consulte Avaliações do AgentCore](https://docs.aws.amazon.com/bedrock-agentcore/latest/devguide/evaluations.html).
# Visualizar dados de observabilidade no CloudWatch
Depois que você habilitar a observabilidade dos atributos de agente, poderá visualizar os dados coletados no CloudWatch.
## Visualizar o painel Observabilidade por GenAI
1. Abra o console do CloudWatch.
1. No painel Observabilidade de GenAI, visualize dados relacionados a invocações de modelos e agentes no Amazon Bedrock AgentCore.
1. No submenu Amazon Bedrock AgentCore, você pode escolher as seguintes visões:
+ **Visão Agentes**: lista todos os agentes, dentro e fora do runtime. Escolha um agente para visualizar as métricas de runtime, as sessões, os rastros e as avaliações específicas desse agente
+ **Visão Sessões**: navegue por todas as sessões associadas aos agentes
+ **Visão Rastros**: visualize os rastros e as informações de intervalo dos agentes. Escolha um rastro para explorar a trajetória do rastro e o cronograma
## Visualizar logs
1. Abra o console do CloudWatch.
1. No painel de navegação, expanda **Logs** e escolha **Grupos de log**.
1. Procure o grupo de logs do seu agente:
+ Logs padrão (stdout/stderr): `/aws/bedrock-agentcore/runtimes/-/[runtime-logs] `
+ Logs estruturados de OTEL: `/aws/bedrock-agentcore/runtimes/-/runtime-logs`
## Visualizar rastros e intervalos
1. Abra o console do CloudWatch.
1. No painel de navegação, escolha **Transaction Search**.
1. Acesse `/aws/spans/default`.
1. Filtrar por nome do serviço ou outros critérios.
1. Escolha um rastro para visualizar o gráfico detalhado da execução.
## Visualizar métricas
1. Abra o console do CloudWatch.
1. No painel de navegação, escolha **Metrics** (Métricas).
1. Navegue até o namespace **bedrock-agentcore**.
1. Explore as métricas disponíveis.
# Proteger dados sensíveis
O Amazon CloudWatch Logs usa políticas de proteção de dados para identificar dados sensíveis e definir ações para proteger esses dados. Você deve usar identificadores de dados para selecionar os dados sigilosos de interesse. O Amazon CloudWatch Logs detecta os dados sensíveis usando machine learning e comparação de padrões. Você pode definir operações de auditoria e mascaramento para registrar em log descobertas de dados sensíveis e mascarar dados sensíveis ao visualizar eventos de logs.
Para saber mais, consulte [Proteger dados de logs sensíveis com mascaramento](https://docs.aws.amazon.com/AmazonCloudWatch/latest/logs/cloudwatch-logs-data-protection-policies.html).
Você pode configurar a proteção de dados no Amazon Bedrock AgentCore ao **nível da conta** ou ao **nível do grupo de logs**. Com a proteção de dados ao nível da conta, as regras de proteção de dados são aplicadas a todos os logs da conta. Com a proteção de dados ao nível do log, as regras de proteção de dados são aplicadas a todos os grupos de logs da conta. Dessa maneira, você tem controle granular de como os dados de PII são mascarados em sua conta.
**Para configurar a proteção de dados ao nível da conta**
1. Abra o console do Amazon CloudWatch.
1. No painel de navegação, selecione **Configurações**.
1. Escolha a guia **Logs**.
1. Escolha **Configurar a política de proteção de dados da conta**.
1. Especifique os identificadores de dados relevantes para seus dados.
+ Para usar um identificador de dados predefinido, no menu suspenso **Identificadores de dados gerenciados**, selecione os identificadores de dados relevantes para seus dados.
+ Para usar um identificador de dados personalizado, escolha **Adicionar identificador de dados personalizado** e especifique um nome para o identificador e um padrão Regex para os dados a serem protegidos.
1. (*Opcional*) Escolha um destino para as descobertas de auditoria.
+ Para enviar as descobertas de auditoria para um log do CloudWatch, escolha **Amazon CloudWatch Logs** e depois selecione o grupo de logs de destino.
+ Para enviar as descobertas de auditoria para um fluxo do Firehose, escolha **Amazon Data Firehose** e depois selecione o fluxo de destino no Firehose.
+ Para enviar as descobertas de auditoria para um bucket do Amazon S3, escolha **Amazon S3** e depois selecione o bucket de destino no Amazon S3.
1. Escolha **Activate data protection (Ativar proteção de dados)**.
**Para configurar a proteção de dados ao nível do grupo de logs**
1. Abra o console do Amazon CloudWatch.
1. No painel de navegação, selecione **Logs**, **Gerenciamento de logs**.
1. Escolha a guia **Grupos de logs**, selecione o grupo de logs no qual deseja habilitar a proteção de dados e escolha **Criar política de proteção de dados**.
1. Especifique os identificadores de dados relevantes para seus dados.
+ Para usar um identificador de dados predefinido, no menu suspenso **Identificadores de dados gerenciados**, selecione os identificadores de dados relevantes para seus dados.
+ Para usar um identificador de dados personalizado, escolha **Adicionar identificador de dados personalizado** e especifique um nome para o identificador e um padrão Regex para os dados a serem protegidos.
1. (*Opcional*) Escolha um destino para as descobertas de auditoria.
+ Para enviar as descobertas de auditoria para um log do CloudWatch, escolha **Amazon CloudWatch Logs** e depois selecione o grupo de logs de destino.
+ Para enviar as descobertas de auditoria para um fluxo do Firehose, escolha **Amazon Data Firehose** e depois selecione o fluxo de destino no Firehose.
+ Para enviar as descobertas de auditoria para um bucket do Amazon S3, escolha **Amazon S3** e depois selecione o bucket de destino no Amazon S3.
1. Escolha **Activate data protection (Ativar proteção de dados)**.
# Agentes
Você pode usar *Agentes* para monitorar a performance dos agentes, acompanhar seus processos de tomada de decisão, analisar fluxos de conversas e solucionar problemas por meio de métricas e rastreamento abrangentes. Isso inclui o monitoramento tanto dos agentes gerenciados pelo Amazon Bedrock AgentCore quanto de agentes auto-hospedados ou agentes de terceiros que emitem dados de telemetria para o CloudWatch.
Você pode analisar diversos agentes e as interações associadas na **Visualização por agente**, na **Visualização por sessões** e na **Visualização por rastreamentos**. Para obter mais informações, consulte [Understand observability for agentic resources in AgentCore](https://docs.aws.amazon.com/bedrock-agentcore/latest/devguide/observability-telemetry.html).
**Topics**
+ [Visualização por agente](agent-view.md)
+ [Visualização por sessão](session-view.md)
+ [Visualização por rastreamentos](traces-view.md)
# Visualização por agente
A *Visualização por agente* fornece um painel selecionado para os agentes da sua conta. É possível visualizar dados de agentes hospedados em serviços nativos da AWS, como o AgentCore Runtime, o Lambda ou o Amazon EC2. Essa visualização também exibe agentes que enviam telemetria para o CloudWatch.
**Visão geral**
As métricas e os painéis apresentam dados provenientes de amostras de extensões dos agentes. Para obter informações sobre as extensões dos agentes, consulte [Spans](https://docs.aws.amazon.com/bedrock-agentcore/latest/devguide/observability-telemetry.html#agent_spans).
As seguintes métricas são compatíveis para os agentes:
+ Agentes/endpoints: número de agentes e aliases instrumentados, e intervalos de emissão
+ Sessões: número de sessões criadas por agentes instrumentados que emitem extensões. Uma sessão é semelhante a uma conversa e contém o contexto amplo.
+ Rastreamentos: número de rastreamentos criados por agentes instrumentados que emitem extensões. Um rastreamento corresponde a um ciclo individual de solicitação e de resposta dentro de uma sessão.
+ Taxa de erros: porcentagem de erros nas interações dos agentes.
+ Taxa de controle de utilização: porcentagem de interações do agente com controle de utilização.
Escolha **Visualizar detalhes** para visualizar as métricas para os agentes em gráficos.
![\[Visualização por agentes\]](http://docs.aws.amazon.com/pt_br/AmazonCloudWatch/latest/monitoring/images/GenAI_AgentCoreGraphs.png)
**Métricas de runtime**
As métricas e os painéis de runtime exibem dados provenientes da primitiva runtime. Usando essa primitiva, você pode hospedar seus agentes no runtime do Amazon Bedrock AgentCore. Para obter mais informações, consulte [Creating an AgentCore Runtime](https://docs.aws.amazon.com/bedrock-agentcore/latest/devguide/agents-runtime-create.html).
O AgentCore Runtime é compatível com as seguintes métricas:
+ Agentes/Aliases do runtime: acompanha o número de agentes e aliases hospedados no AgentCore Runtime.
+ Sessões do runtime: acompanha o número de sessões criadas por agentes em execução no AgentCore Runtime. Uma sessão é semelhante a uma conversa e contém o contexto amplo de todo o fluxo de interação. Essa métrica é útil para monitorar o uso geral da plataforma, realizar o planejamento de capacidade e ter uma compreensão dos padrões de engajamento dos usuários.
+ Invocações do runtime: número total de solicitações realizadas à API do plano de dados. Cada chamada de API é contabilizada como uma invocação, independentemente do tamanho da carga útil da solicitação ou do status da resposta.
+ Erros do runtime: número de erros relacionados ao sistema e ao usuário. Para obter definições de erros relacionados ao sistema e ao usuário, consulte [AgentCore provided runtime metrics](https://docs.aws.amazon.com/bedrock-agentcore/latest/devguide/observability-runtime-metrics.html).
+ Controles de utilização do runtime: número de solicitações com controle de utilização pelo serviço devido ao excedente do limite permitido de TPS (transações por segundo). Essas solicitações retornam “ThrottlingException” com o código de status HTTP 429. Monitore essa métrica para determinar se é necessário analisar suas cotas de serviço ou otimizar os padrões de solicitação.
Visualize as alterações das métricas ao longo do tempo no painel padrão. Expanda **Visualizar detalhes** para exibir gráficos de métricas.
![\[Visualização por runtime\]](http://docs.aws.amazon.com/pt_br/AmazonCloudWatch/latest/monitoring/images/GenAI_Runtime.png)
**Agentes**
Os agentes são os componentes responsáveis por coletar e transmitir dados de monitoramento das suas aplicações. A tabela Agentes apresenta todos os agentes configurados na sua conta. Esses agentes podem ser hospedados em serviços nativos da AWS, como o AgentCore Runtime, o Lambda ou o Amazon EC2. Além disso, a tabela apresenta outros agentes que são instrumentados para emitir telemetria ao CloudWatch.
Você pode usar o **filtro de agentes** para localizar um agente específico que deseja analisar detalhadamente, ou também pode utilizar os nomes das colunas para classificar os agentes e localizar o agente desejado. Selecione o ícone de engrenagem para apresentar ou ocultar colunas adicionais.
![\[Visualização por agentes do runtime\]](http://docs.aws.amazon.com/pt_br/AmazonCloudWatch/latest/monitoring/images/GenAI_agents.png)
Os detalhes do agente podem ser visualizados ao expandir o nome do agente.
![\[Visão geral dos agentes do runtime\]](http://docs.aws.amazon.com/pt_br/AmazonCloudWatch/latest/monitoring/images/GenAI_agentsdetails_new.png)
**Detalhes do agente: visão geral**
A guia Visão geral apresenta painéis automáticos para as métricas dos seus agentes. Essas métricas são provenientes de extensões incluídas na amostra e métricas de runtime (quando o agente faz uso do AgentCore Runtime).
O painel **Avaliadores** inclui insights dos intervalos com avaliações habilitadas.
+ Principais variações nas pontuações dos avaliadores: mostra quais avaliadores do agente tiveram as maiores alterações desde o último período, com base no intervalo de tempo selecionado.
+ Métricas de configuração de avaliação: mostre as métricas de status operacional dos avaliadores do agente, incluindo o número de vezes que as avaliações foram executadas e o número de erros encontrados.
Para editar uma configuração de avaliação usando o console do Amazon Bedrock AgentCore, clique no link na coluna **Avaliador** ou **Configuração do avaliador**. Para revisar os resultados do avaliador, clique em uma pontuação na coluna **Pontuação média**. Para visualizar todas as avaliações do agente, escolha a guia **Avaliações**. Para obter mais informações, consulte [Detalhes do agente: avaliações](session-traces-evaluations.md).
O painel **Métricas do agente** inclui métricas que são derivadas de extensões incluídas na amostra:
+ Sessões e rastreamentos: contagem de sessões e de rastreamentos para este agente.
+ Uso de tokens de FM: contagem total do consumo de tokens de modelos de base. É possível filtrar o gráfico para um modelo de base específico.
+ Erros relacionados ao sistema e ao cliente: contagem de erros do sistema ocorridos durante o processamento de solicitações. Altos níveis de erros no lado do servidor podem indicar possíveis problemas relacionados à infraestrutura ou ao serviço que requerem investigação. Os erros do cliente, por sua vez, são erros resultantes de solicitações inválidas. Altos níveis de erros do lado do cliente podem indicar problemas relacionados à formatação das solicitações ou às permissões.
+ Erros e latência por extensão: as taxas de erro e a latência em uma extensão específica. Atente-se ao fato de que uma extensão pode estar presente em vários agentes.
+ Controles de utilização: número de solicitações com controle de utilização pelo serviço devido ao excedente do limite permitido de TPS (transações por segundo).
+ Autenticação de entrada, chamadas de autorização e tokens de acesso: número de solicitações de autenticação de entrada processadas pelo agente, incluindo verificações de autorização e validações de token de acesso de clientes ou serviços externos
+ Autenticação de saída, distribuição de uso: padrão de distribuição dos métodos de autenticação de saída usados pelo agente, mostrando a frequência e os tipos de mecanismos de autenticação empregados ao acessar serviços externos
O painel **Métricas do runtime** inclui métricas geradas automaticamente pelo AgentCore Runtime:
+ Sessões e invocações do runtime: contagem de sessões e invocações que este agente em específico gerou enquanto estava hospedado no runtime.
+ Latência do runtime: tempo de latência das solicitações realizadas por agentes hospedados no runtime.
+ Controles de utilização do runtime: número de solicitações com controle de utilização pelo serviço devido ao excedente do limite permitido de TPS (transações por segundo).
# Detalhes do agente: sessões
Um agente pode ter várias sessões. Visualize a sessão na guia *Sessões*. Use o **filtro de sessões** ou classifique as colunas para localizar a sessão desejada.
Escolha o **ID da sessão** para visualizar as métricas da sessão resumidas e a lista de rastreamentos pertencentes a essa sessão. As métricas da sessão incluem:
+ Rastreamentos: número de rastreamentos pertencentes às sessões.
+ Erros relacionados ao sistema: contagem de erros do sistema ocorridos durante o processamento de solicitações. Altos níveis de erros no lado do servidor podem indicar possíveis problemas relacionados à infraestrutura ou ao serviço que requerem investigação.
+ Erros relacionados ao cliente: erros relacionados ao cliente são erros resultantes de solicitações inválidas. Altos níveis de erros do lado do cliente podem indicar problemas relacionados à formatação das solicitações ou às permissões.
+ Controles de utilização: número de solicitações com controle de utilização relevante para esta sessão devido ao excedente do limite permitido de TPS (transações por segundo).
+ Detalhes das sessões: metadados relacionados à sessão, como o horário de início, o horário de término e ID da sessão.
Para analisar uma lista de rastreamentos em uma sessão, escolha o **filtro de rastreamentos** para reduzir os resultados ou classifique as colunas da tabela para evidenciar o rastreamento específico que deseja investigar.
Depois de você selecionar um rastreamento, o painel direito exibirá os detalhes do rastreamento. Para cada rastreamento, você poderá visualizar o resumo de rastreamento, as extensões e os detalhes do conteúdo do rastreamento.
Em **Resumo de rastreamento**, você poderá visualizar as seguintes métricas:
**nota**
Os campos da página de resumo são consistentes entre a **Visualização por agente**, a **Visualização por sessões** e a **Visualização por rastreamentos**.
+ Extensões: número de extensões dentro de um rastreamento.
+ Erros relacionados ao sistema: contagem de erros do sistema ocorridos durante o processamento de solicitações. Altos níveis de erros no lado do servidor podem indicar possíveis problemas relacionados à infraestrutura ou ao serviço que requerem investigação.
+ Erros relacionados ao cliente: erros relacionados ao cliente são erros resultantes de solicitações inválidas. Altos níveis de erros do lado do cliente podem indicar problemas relacionados à formatação das solicitações ou às permissões.
+ Controles de utilização: número de solicitações com controle de utilização relevante para esta sessão devido ao excedente do limite permitido de TPS (transações por segundo).
+ Latência P95 da extensão: a latência no percentil 95 considerando todas as invocações desta extensão específica. Atente-se ao fato de que uma extensão pode ser usada em vários agentes.
+ Detalhes do rastreamento: metadados relacionados ao rastreamento, como o horário de início, o horário de término e ID do rastreamento.
![\[Visualização por extensão\]](http://docs.aws.amazon.com/pt_br/AmazonCloudWatch/latest/monitoring/images/GenAI_span.png)
Selecione **Linha do tempo** para visualizar a duração de cada extensão e compreender qual delas demorou mais tempo, contribuindo para uma resposta lenta.
![\[Visualização por trajetória\]](http://docs.aws.amazon.com/pt_br/AmazonCloudWatch/latest/monitoring/images/GenAI_agenttrajectory.png)
Para analisar as relações entre as extensões e as chamadas subsequentes, escolha **Trajetória** a fim de compreender a relação interconectada entre as extensões e as chamadas subsequentes que se originam dessas extensões.
Em **Extensões**, selecione um evento de extensão individual para analisar os dados da extensão em seu formato original. Analise os dados da extensão no seu formato original. Para realizar uma solução de problemas detalhada, selecione a guia **Eventos** para examinar as entradas e saídas do modelo.
# Detalhes do agente: rastreamentos
Cada agente pode ter vários rastreamentos. Visualize os detalhes do rastreamento na guia **Rastreamentos**. Escolha o **filtro de rastreamentos** ou classifique as colunas para localizar o rastreamento desejado.
![\[Visão de resumo do rastro\]](http://docs.aws.amazon.com/pt_br/AmazonCloudWatch/latest/monitoring/images/Trace-summary.png)
# Detalhes do agente: avaliações
As avaliações fornecem métricas de monitoramento contínuo de qualidade aos agentes de IA. Você pode usar as informações do painel para avaliar a performance, a qualidade e a confiabilidade dos agentes de IA.
Em vez de se basear de casos de teste simulados, as avaliações capturam sessões do usuário e interações do agente reais, fornecendo uma visão abrangente da performance do agente, do início ao fim da interação. Com avaliações do agente, você pode definir regras de amostragem para avaliar apenas uma porcentagem das sessões ou dos rastros e depois aplicar vários avaliadores para analisar e pontuar a performance operacional de um agente de IA. As avaliações e pontuações resultantes são exibidas no painel Avaliações, permitindo que você monitore tendências, identifique possíveis problemas de qualidade, defina alarmes. investigue e diagnostique possíveis problemas.
O painel Avaliações lista todas as avaliações habilitadas e configuradas para o agente selecionado. Para saber mais sobre a configurações de avaliações para um agente, consulte [Avaliações do AgentCore](https://docs.aws.amazon.com/bedrock-agentcore/latest/devguide/evaluations.html). Você pode expandir cada avaliação para visualizar as sessões, os rastros e os intervalos avaliados.
![\[Avaliações\]](http://docs.aws.amazon.com/pt_br/AmazonCloudWatch/latest/monitoring/images/evals_overview.png)
**Topics**
+ [Detalhes das avaliações](#session-traces-evaluations-details)
+ [Gráficos de avaliações](#session-traces-evaluations-graphs)
+ [Trabalhar com resultados de avaliações](#session-traces-evaluations-raw-results)
## Detalhes das avaliações
Para cada avaliação, o painel inclui as seguintes seções:
------
#### [ Evaluation configuration metrics ]
Fornece métricas para a configuração da avaliação em geral. O avaliador define como avaliar um aspecto específico da performance de um agente de IA. Para visualizar mais detalhes sobre um avaliador, escolha seu nome na coluna **Avaliador**. Para visualizar um gráfico de barras e analisar tendências para um avaliador, escolha o valor na coluna **Contagem**.
![\[Métricas da configuração da avaliação\]](http://docs.aws.amazon.com/pt_br/AmazonCloudWatch/latest/monitoring/images/evals_01.png)
------
#### [ Session evaluations ]
Fornece os resultados da avaliação aos avaliadores ao nível da sessão. Uma sessão representa um agrupamento lógico de interações relacionadas de um único usuário ou fluxo de trabalho. Uma sessão pode conter um ou mais rastros. Na seção **Rastrear avaliações**, escolha uma sessão para filtrar as avaliações a fim de obter a lista dos rastros dentro dessa sessão.
![\[Avaliações de sessões\]](http://docs.aws.amazon.com/pt_br/AmazonCloudWatch/latest/monitoring/images/evals_02.png)
------
#### [ Trace evaluations ]
Fornece aos avaliadores resultados das avaliações ao nível do rastro. Um rastro é um registro completo de uma única execução ou solicitação de agente. Um rastro pode conter um ou mais intervalos. Escolha um rastro para visualizar seus detalhes e todos os avaliadores nele executados.
![\[Avaliações de rastros\]](http://docs.aws.amazon.com/pt_br/AmazonCloudWatch/latest/monitoring/images/evals_03.png)
------
#### [ Span evaluations ]
Fornece aos avaliadores resultados das avaliações ao nível do intervalo. Um intervalo representa as operações individuais realizadas durante aquela execução. Escolha um intervalo para visualizar os detalhes e todas as realizadas durante esse intervalo.
![\[Avaliações de intervalos\]](http://docs.aws.amazon.com/pt_br/AmazonCloudWatch/latest/monitoring/images/evals_04.png)
------
## Gráficos de avaliações
O painel Avaliações também inclui um gráfico de barras para cada avaliador. Os gráficos mostram as tendências de cada avaliador ao longo do tempo e permitem definir alarmes para determinados valores de métricas. Para definir um alarme, clique em uma barra do gráfico e escolha o ícone **Alarme** (campainha). Para obter mais informações, consulte [Usar alarmes do Amazon CloudWatch](CloudWatch_Alarms.md).
![\[Gráficos de avaliações\]](http://docs.aws.amazon.com/pt_br/AmazonCloudWatch/latest/monitoring/images/evals_graphs.png)
## Trabalhar com resultados de avaliações
Se precisar de acesso direto aos dados dos resultados da avaliação ou se quiser criar visualizações personalizadas ou trabalhar fora do console do AgentCore Evaluations, acesse os resultados da avaliação diretamente nos painéis do CloudWatch Logs, CloudWatch Metrics e CloudWatch.
**Topics**
+ [Acessar resultados de avaliações no CloudWatch Logs](#accessing-evaluation-results-logs)
+ [Acessar métricas de avaliação no CloudWatch Metrics](#accessing-evaluation-metrics)
+ [Criar painéis personalizados](#creating-custom-dashboards)
+ [Configurar alarmes em métricas de avaliação](#setting-alarms-evaluation-metrics)
+ [Recursos adicionais](#additional-resources)
### Acessar resultados de avaliações no CloudWatch Logs
Os resultados das avaliações são publicados automaticamente no CloudWatch Logs em EMF (Embedded Metric Format).
**Para encontrar seu grupo de logs de resultados de avaliações**
1. Abra o console do CloudWatch.
1. No painel de navegação, escolha **Gerenciamento de logs** > **Grupos de logs**.
1. Pesquise ou navegue até os grupos de logs com o prefixo:`/aws/bedrock-agentcore/evaluations/`.
1. Dentro desse grupo de logs, os eventos de logs contêm os resultados das avaliações.
Para saber mais sobre como trabalhar com grupos de logs e consultar dados de log, consulte [Trabalhar com grupos de logs e fluxos de logs](https://docs.aws.amazon.com/AmazonCloudWatch/latest/logs/Working-with-log-groups-and-streams.html) e [Analisar dados de logs com o CloudWatch Logs Insights](https://docs.aws.amazon.com/AmazonCloudWatch/latest/logs/AnalyzingLogData.html).
### Acessar métricas de avaliação no CloudWatch Metrics
As métricas dos resultados das avaliações são extraídas automaticamente dos logs EMF (Embedded Metric Format) e publicadas no CloudWatch Metrics.
**Para encontrar as métricas de avaliação**
1. Abra o console do CloudWatch.
1. No painel de navegação, escolha **Métricas** > **Todas as métricas**.
1. Selecione o namespace **Bedrock AgentCore/Evaluations**.
1. Procure as métricas disponíveis por dimensões.
Para saber mais sobre como visualizar e trabalhar com métricas, consulte [Usar o CloudWatch Metrics](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/working_with_metrics.html) e [Criar gráficos de métricas](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/graph_metrics.html).
### Criar painéis personalizados
Você pode criar painéis personalizados para visualizar suas métricas de avaliação junto com outras métricas operacionais.
**Para criar um painel com métricas de avaliação**
1. No console do CloudWatch, escolha **Painéis** no painel de navegação.
1. Escolha **Create dashboard (Criar painel)**.
1. Adicione widgets e selecione métricas no namespace **Bedrock AgentCore/Evaluations**.
1. Personalize o intervalo de tempo, as estatísticas e o tipo de visualização de acordo com suas necessidades.
Para obter instruções detalhadas, consulte [Criar e trabalhar com painéis personalizados](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/create_dashboard.html) e [Usar painéis do CloudWatch](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/CloudWatch_Dashboards.html).
### Configurar alarmes em métricas de avaliação
É possível definir alarmes para ser notificado quando as métricas de avaliação ultrapassarem os limites especificados, como, por exemplo, quando a exatidão fica abaixo dos níveis aceitáveis.
**Para criar um alarme em métricas de avaliação**
1. No console do CloudWatch, escolha **Alarmes** > **Todos os alarmes**.
1. Selecione **Criar alarme**.
1. Escolha **Selecionar métrica** e navegue até o namespace **Bedrock AgentCore/Evaluations**.
1. Escolha a métrica que você deseja monitorar.
1. Configure as condições limites (limite dinâmico de detecção de anomalias disponível, para o qual não é necessário especificar um número limite estático) e as ações de notificação.
Para obter instruções detalhadas, consulte [Usar alarmes do CloudWatch](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/CloudWatch_Alarms.html) e [Criar um alarme do CloudWatch com base em um limite estático](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/ConsoleAlarms.html).
### Recursos adicionais
+ [Formato de métrica incorporada do CloudWatch](https://docs.aws.amazon.com/AmazonCloudWatch/latest/logs/CloudWatch-Logs-Monitoring-CloudWatch-Metrics.html)
+ [Sintaxe de consulta do CloudWatch Logs](https://docs.aws.amazon.com/AmazonCloudWatch/latest/logs/CWL_QuerySyntax.html)
+ [Criar alarmes composto](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/Create_Composite_Alarm.html)
# Visualização por sessão
A visualização **Sessões** apresenta a lista de todas as sessões associadas a todos os agentes na sua conta. Escolha **Filtros** ou classifique por colunas para localizar uma sessão específica. Escolha uma sessão em **ID da sessão** para visualizar os detalhes da sessão.
![\[Visualização por sessão\]](http://docs.aws.amazon.com/pt_br/AmazonCloudWatch/latest/monitoring/images/GenAI_sessions.png)
Você pode visualizar as métricas da Sessão resumidas e a lista de rastreamentos pertencentes a essa sessão. As métricas da sessão incluem:
+ Rastreamentos: número de rastreamentos pertencentes às sessões.
+ Erros relacionados ao sistema: contagem de erros do sistema ocorridos durante o processamento de solicitações. Altos níveis de erros no lado do servidor podem indicar possíveis problemas relacionados à infraestrutura ou ao serviço que requerem investigação.
+ Erros relacionados ao cliente: erros relacionados ao cliente são erros resultantes de solicitações inválidas. Altos níveis de erros do lado do cliente podem indicar problemas relacionados à formatação das solicitações ou às permissões.
+ Controles de utilização: número de solicitações com controle de utilização relevante para esta sessão devido ao excedente do limite permitido de TPS (transações por segundo).
+ Detalhes das sessões: metadados relacionados à sessão, como o horário de início e ID da sessão.
**nota**
Os campos da página de resumo são consistentes entre a **Visualização por agente**, a **Visualização por sessões** e a **Visualização por rastreamentos**. Para obter mais informações sobre os campos de resumo, consulte [Visualização por agente](agent-view.md).
Em **Rastreamentos** de uma sessão, escolha **Filtrar rastreamentos** para localizar o rastreamento que deseja analisar. Após escolher um rastreamento, visualize os detalhes do rastreamento no painel localizado à direita. Você pode visualizar o resumo do rastreamento, as extensões e o conteúdo do rastreamento para o rastreamento selecionado.
# Visualização por rastreamentos
A visualização por rastreamentos lista todos os rastreamentos provenientes dos seus agentes nesta conta. Para trabalhar com os rastreamentos:
1. Escolha **Filtrar rastreamentos** para pesquisar por rastreamentos específicos.
1. Classifique pelos nomes das colunas para organizar os resultados.
1. Em **Ações**, selecione **Logs Insights** para aprimorar sua pesquisa por meio de consultas aos seus dados de logs e extensões, ou opte por **Exportar rastreamentos selecionados** para realizar a exportação.
**nota**
Os campos da página de resumo são consistentes entre a **Visualização por agente**, a **Visualização por sessões** e a **Visualização por rastreamentos**. Para obter mais informações sobre os campos de resumo, consulte [Visualização por agente](agent-view.md).
# Memória
Entenda como os agentes armazenam, recuperam e usam informações contextuais para proporcionar experiências personalizadas. Para saber mais sobre a memória do Amazon Bedrock AgentCore, consulte [Adicionar memória ao agente de IA](https://docs.aws.amazon.com/bedrock-agentcore/latest/devguide/memory.html). A observabilidade da memória inclui três áreas principais de monitoramento:
+ **Memórias**: monitorar padrões de armazenamento e recuperação de memória
+ **Sessões de memória**: monitorar o uso de memória em sessões individuais
+ **Visão Rastros**: acessar informações detalhadas de rastros de operações de memória
![\[Visão de memória\]](http://docs.aws.amazon.com/pt_br/AmazonCloudWatch/latest/monitoring/images/Memory.png)
Para entender a memória de curto ou longo prazo, consulte [Adicionar memória ao agente de IA](https://docs.aws.amazon.com/bedrock-agentcore/latest/devguide/memory.html).
Escolha **Visualizar detalhes** para visualizar as métricas de memória em gráficos.
![\[Visão de métricas de memória\]](http://docs.aws.amazon.com/pt_br/AmazonCloudWatch/latest/monitoring/images/Memory_metrics.png)
Em **Memórias**, você pode visualizar todas as memórias associadas à sua conta. Escolha um **nome** de memória para ver os detalhes da memória.
![\[Visão de métricas de memória\]](http://docs.aws.amazon.com/pt_br/AmazonCloudWatch/latest/monitoring/images/Memory_details.png)
Na página **Detalhes da memória**, você verá as seguintes guias:
+ **Visão geral**: exibe métricas abrangentes de performance e padrões de uso da memória do recurso de memória selecionado
+ **Agentes associados**: você pode visualizar os agentes usando a memória. Escolha um **agente/endpoint** para visualizar a página de visão geral do agente.
+ **Invocações de API de memória**: número total de chamadas de API feitas para operações de memória, incluindo solicitações de armazenamento, recuperação e atualização. Essa métrica ajuda a acompanhar o uso do sistema de memória e o planejamento de capacidade
+ **Registros da memória extraídos**: contagem dos registros de memória extraídos e processados com sucesso das interações do agente. Isso inclui informações contextuais, preferências do usuário e histórico de conversas que os agentes armazenam para personalização
+ **Erros de servidor**: contagem de erros do sistema durante operações de memória. Níveis altos indicam possíveis problemas de infraestrutura com os sistemas de recuperação ou armazenamento de memória que requerem investigação
+ **Erros do cliente**: erros resultantes de solicitações de memória inválidas, dados malformados ou problemas de permissão. Altas taxas de erros de clientes podem indicar problemas de integração de memória do agente ou formatação de dados
+ **Controle de utilização**: número de solicitações de memória que sofreram controle de utilização porque limites de transações permitidos foram excedidos. Monitore esta métrica para determinar se os padrões de acesso à memória precisam ser otimizados ou se as cotas de serviço exigem ajustes
+ **Latência**: tempo de resposta em operações de memória, incluindo solicitações de armazenamento e recuperação. Acompanhar as latências P50, P90 e P99 para identificar gargalos de performance e otimizar os padrões de acesso à memória
+ **Sessões de memória**: você pode visualizar a sessão que contém a memória de curto prazo das interações do agente. Em **Sessões de memória**, escolha **ID da sessão** para visualizar o painel da sessão.
+ **Rastros**: exibe os rastros dos agentes. Em **Rastros**, escolha **ID do rastro** para visualizar os rastros que invocam uma memória específica. Use o painel de rastros para se aprofundar no uso de memória do agente e nas respostas finais.
**nota**
A experiência e os campos das guias **Sessões de memória** e **Rastros** são semelhantes em observabilidade de **ferramentas incorporadas**, **gateways**, **memória** e **identidade**. Para saber mais sobre os campos, consulte [Ferramenta de interpretação de código](Built-in-tools.md#Code-interpreter-tool).
# Ferramentas incorporadas
Use o CloudWatch para ter visibilidade de como os agentes usam ferramentas incorporadas, como `Code interpreter tool` e `Browser use tool`, para concluir tarefas. O CloudWatch fornece recursos de monitoramento para cada ferramenta. Para saber mais sobre as ferramentas incorporadas do Amazon Bedrock AgentCore, consulte [Usar as ferramentas incorporadas do Amazon Bedrock AgentCore para interagir com as aplicações](https://docs.aws.amazon.com/bedrock-agentcore/latest/devguide/built-in-tools.html).
**Topics**
+ [Ferramenta de interpretação de código](#Code-interpreter-tool)
+ [Ferramenta de uso do navegador](#Browser-use-tool)
## Ferramenta de interpretação de código
Você pode usar a ferramenta de interpretação de código para o seguinte:
+ Acompanhar as taxas de sucesso de execuções de código, a duração de runtimes e o consumo de recursos
+ Monitorar o uso de memória e a alocação de recursos computacionais
+ Analisar os padrões de execução de código e as oportunidades de otimização
+ Observar as taxas de erro e as informações de depuração para execuções com falha
+ Acompanhar as métricas de conformidade e isolamento de sandbox de segurança
![\[Visão de ferramenta de interpretação de código\]](http://docs.aws.amazon.com/pt_br/AmazonCloudWatch/latest/monitoring/images/Code_interpreter.png)
+ **Ferramentas**: você pode monitorar as operações de busca e as chamadas de API feitas com ferramenta de navegador. Escolha uma ferramenta em **Nome** para visualizar o painel.
Escolha **Visualizar detalhes** para visualizar os detalhes do recurso.
![\[Detalhes da ferramenta de interpretação de código\]](http://docs.aws.amazon.com/pt_br/AmazonCloudWatch/latest/monitoring/images/Built-in-tools-details.png)
+ **Sessões iniciadas**: número total de sessões do interpretador de código iniciadas por agentes. Cada sessão representa um ambiente de sandbox onde os agentes podem executar código, analisar dados e gerar resultados. Monitore essa métrica para acompanhar o uso do interpretador de código e o planejamento de capacidade
+ **Conexões**: número de conexões ativas com ambientes de runtime do interpretador de código. Isso inclui conexões bem-sucedidas e tentativas de conexão, ajudando a acompanhar a utilização dos recursos e os padrões de uso simultâneo
+ **Erros de conexão**: contagem de conexões com falhas nos ambientes do interpretador de código devido a problemas do sistema, restrições de recursos ou problemas de configuração. Altas taxas de erros de conexão podem indicar problemas de infraestrutura exigindo investigação
+ **Limitadores de conexão**: número de solicitações de conexão sujeitas a controle de utilização porque os limites permitidos foram excedidos ou devido a restrições de recursos. Monitore essa métrica para identificar quando o uso do interpretador de código se aproxima dos limites de capacidade e pode precisar de escalação
+ **Horas de CPU cobradas**: tempo computacional total consumido pelas sessões do interpretador de código, medido em horas de CPU. Essa métrica ajuda a acompanhar os custos dos recursos e a otimizar a eficiência da execução do código em todas as workloads do agentes
+ **Horas de memória cobradas**: consumo total de memória das sessões de intérprete de código ao longo do tempo, medido em horas de memória. Use essa métrica para acompanhar custos e identificar padrões de execução de código com uso intensivo de memória que podem precisar de otimização
+ **Sessões da ferramenta**: visualize todas as sessões conectadas nas quais a ferramenta foi usada.
![\[Visão de sessões de ferramenta\]](http://docs.aws.amazon.com/pt_br/AmazonCloudWatch/latest/monitoring/images/Tool-sessions.png)
Escolha um **ID de sessão** em **Sessões da ferramenta** para visualizar o painel da sessão.
+ **Rastros**: visualize rastros de amostra para agentes com observabilidade habilitada.
![\[Visualização por rastreamentos\]](http://docs.aws.amazon.com/pt_br/AmazonCloudWatch/latest/monitoring/images/Traces-view.png)
Escolha um **ID de rastro** em **Rastros** para visualizar os detalhes do rastro.
![\[Visão de resumo do rastro\]](http://docs.aws.amazon.com/pt_br/AmazonCloudWatch/latest/monitoring/images/Trace-summary.png)
## Ferramenta de uso do navegador
Você pode usar a ferramenta de uso do navegador para:
+ Acompanhar padrões de navegação do navegador, tempos de carregamento de página e taxas de sucesso das interações
+ Observar a duração da sessão do navegador e a utilização dos recursos
+ Analisar erros de busca e solucionar problemas de automação do navegador
+ Observar a duração da sessão do navegador e a utilização dos recursos
+ Acompanhar a performance do sandbox de segurança e a eficácia do isolamento
**nota**
A experiência e os campos das guias **Ferramentas**, **Sessões da ferramenta** e **Traços** são semelhantes a **Ferramenta de interpretação de código**. Para saber mais sobre os campos, consulte [Ferramenta de interpretação de código](#Code-interpreter-tool).
# Gateways
Monitore como os agentes descobrem e interagem com ferramentas e serviços externos por meio do AgentCore Gateway. Para saber mais sobre o Amazon Bedrock AgentCore Gateway, consulte [Amazon Bedrock AgentCore Gateway](https://docs.aws.amazon.com/bedrock-agentcore/latest/devguide/gateway.html). A observabilidade do gateway inclui o monitoramento abrangente em várias áreas:
+ Acompanhar taxas de sucesso da transformação de API e tempos de resposta em chamadas de serviços externos
+ Monitorar padrões de descoberta da ferramenta e frequência de uso em diferentes agentes
+ Analisar fluxos de autenticação e autorização para acesso a serviços de terceiros
+ Observar a precisão da transformação de dados ao converter entre diferentes formatos de API
+ Acompanhar taxas de erros e padrões de repetição de integrações de serviços externos
![\[Visão de gateways\]](http://docs.aws.amazon.com/pt_br/AmazonCloudWatch/latest/monitoring/images/Gateways.png)
Expanda a seção **Visualizar detalhes** para visualizar as métricas do gateway em gráficos.
![\[Visão de métricas de gateways\]](http://docs.aws.amazon.com/pt_br/AmazonCloudWatch/latest/monitoring/images/Gateway_metrics.png)
Em **Gateways**, escolha um **nome** de gateway para visualizar o painel. Você também pode classificar a lista de gateways clicando nos cabeçalhos das colunas da tabela.
![\[Visão de detalhes de gateways\]](http://docs.aws.amazon.com/pt_br/AmazonCloudWatch/latest/monitoring/images/Gateways_tile.png)
# Detalhes do gateway: visão geral
A guia **Visão geral** fornece insights derivados dos intervalos amostrados após a pesquisa de transações ser habilitada.
A seção **Métricas do gateway** lista todos os agentes associados ao gateway selecionado e fornece informações sobre o número de sessões, rastros e erros de cada agente associado.
![\[Métricas de gateway do\]](http://docs.aws.amazon.com/pt_br/AmazonCloudWatch/latest/monitoring/images/overview_metrics.png)
Além disso, a guia **Visão geral** inclui os seguintes gráficos interativos.
------
#### [ Invocations ]
O gráfico **Invocações** mostra o número total de solicitações de API feitas. Cada chamada de API conta como uma invocação, independentemente do status da resposta.
------
#### [ System and client errors ]
O gráfico **Erros do sistema e do cliente** fornece informações sobre o número de solicitações de API que falharam com erros do sistema (códigos de erro `5xx`) e erros do usuário (códigos de status `4xx`, exceto `429`) e a taxa geral de erros como porcentagem.
------
#### [ Throttles ]
O gráfico **Controles de utilização** fornece informações sobre o número de solicitações de API com controle de utilização (código de status `429`) pelo serviço e a taxa de controle de utilização como porcentagem.
------
#### [ Invocation latency ]
O gráfico **Invocação e latência** fornece informações sobre a latência média das ferramentas de lista e chamada. Ele também fornece informações sobre a latência média entre quando o serviço recebe a solicitação e quando começa a enviar o primeiro token de resposta.
------
#### [ Policy decisions over time ]
O gráfico **Decisões de políticas ao longo do tempo** fornece informações sobre o número de decisões que resultaram em `allow` e as ações de autorização `deny`. Para visualizar as decisões de uma política específica, selecione a política no menu suspenso.
![\[Gráfico de decisões políticas ao longo do tempo\]](http://docs.aws.amazon.com/pt_br/AmazonCloudWatch/latest/monitoring/images/05_policydecisions.png)
------
#### [ Policy decisions: Per policy distribution ]
O gráfico **Decisões de política: distribuição por política** lista todos os mecanismos de política associados ao gateway selecionado e mostra a política, o número de permissões e negações, e o modo de aplicação de cada mecanismo de política. Você pode escolher um mecanismo de política ou uma política na lista para visualizar mais detalhes no console Amazon Bedrock AgentCore.
![\[Decisões de políticas: distribuição por política\]](http://docs.aws.amazon.com/pt_br/AmazonCloudWatch/latest/monitoring/images/06_policydistribution.png)
------
# Detalhes do gateway: rastros
A guia **Rastros** exibe todos os rastros amostrados para o gateway selecionado. Na seção **Traços**, escolha um **ID de rastro** para visualizar as métricas do rastro e todas os intervalos nele contidos.
![\[Visão de rastros de gateways\]](http://docs.aws.amazon.com/pt_br/AmazonCloudWatch/latest/monitoring/images/gateway_traces.png)
# Identidade
Acompanhe as operações de gerenciamento de identidade e acesso para garantir o comportamento seguro e compatível dos agentes. Para saber mais sobre o Amazon Bedrock Identity, consulte [Criar identidades de agentes e ferramentas com o AgentCore Identity](https://docs.aws.amazon.com/bedrock-agentcore/latest/devguide/identity.html). A observabilidade de identidade inclui o monitoramento de diferentes métodos de autenticação:
![\[Visão de métricas de identidade\]](http://docs.aws.amazon.com/pt_br/AmazonCloudWatch/latest/monitoring/images/Identity.png)
+ **Identidades**: acessar informações de rastros detalhadas para operações de identidade
+ **Rastros**: aplicar filtros avançados para analisar padrões de rastro específicos
Em **Identidades**, você verá o seguinte:
+ **Autenticação de saída**: número total de solicitações de autenticação de saída iniciadas pelo Amazon Bedrock AgentCore para provedores de identidade externos
+ **Buscas de token OAuth**: número de tokens de acesso OAuth recuperados com sucesso de provedores OAuth configurados para autenticação de agentes
+ **Taxa de erros de busca de token OAuth**: porcentagem de tentativas de recuperação de token OAuth que falharam devido a problemas de rede, credenciais inválidas ou erros do provedor
+ **Buscas de chaves de API**: número de chaves de API recuperadas de sistemas de gerenciamento de chaves configurados para autenticar solicitações de agentes
+ **Taxa de erros de busca de chave de API**: porcentagem de tentativas de recuperação de chave de API que falharam devido a problemas de acesso, chaves inválidas ou erros do sistema
Escolha **Visualizar detalhes** para ver as métricas de identidade em gráficos.
![\[Visão de detalhes de identidade\]](http://docs.aws.amazon.com/pt_br/AmazonCloudWatch/latest/monitoring/images/Identity_details.png)
Em **Autorizações de saída,** escolha um **nome** de autenticação de saída para visualizar o painel.
![\[Visão de autorização de identidade\]](http://docs.aws.amazon.com/pt_br/AmazonCloudWatch/latest/monitoring/images/Identity_auth_view.png)
Na página **Detalhes de cliente OAuth**, você verá as seguintes guias:
+ **Visão geral**: exibe métricas e padrões abrangentes de uso de autenticação de saída para clientes OAuth
+ **Buscas de token**: número total de solicitações de token de autenticação feitas por agentes, incluindo fluxos de autenticação de máquina a máquina e em nome do usuário. Essa métrica acompanha as atividades de autenticação em geral e ajuda no planejamento de capacidade de serviços de identidade
+ **Taxa de erros de busca de token**: porcentagem de solicitações de token malsucedidas em relação ao total de tentativas de autenticação. Monitore essa métrica para identificar problemas de autenticação, credenciais expiradas ou problemas de permissão. As tendências ao longo do tempo ajudam a detectar degradação de performance de autenticação
+ **Rastros**: exibe informações detalhadas de rastros de operações de identidade e autenticação, incluindo fluxos do OAuth, solicitações de token de identidade de workload e integrações de serviços de terceiros. Use os rastros para solucionar falhas de autenticação, analisar a latência da busca de tokens e monitorar a conformidade de segurança em todas as interações de agentes
![\[Resumo de rastro de identidade\]](http://docs.aws.amazon.com/pt_br/AmazonCloudWatch/latest/monitoring/images/Entity_trace_summary.png)