Exemplo: usar o Application Signals para solucionar problemas de aplicações de IA generativa que interagem com modelos do Amazon Bedrock

É possível usar o Application Signals para solucionar problemas de suas aplicações de IA generativa que interagem com modelos do Amazon Bedrock. O Application Signals simplifica esse processo fornecendo dados de telemetria prontos para uso, oferecendo insights mais aprofundados sobre as interações da sua aplicação com os modelos LLM. Ele ajuda a abordar os principais casos de uso, como:

• Problemas de configuração do modelo

• Custos de uso do modelo

• Latência do modelo

• Motivos da interrupção da geração de respostas do modelo

Habilitar o Application Signals com LLM e observabilidade de IA generativa fornece visibilidade em tempo real das interações da aplicação com os serviços do Amazon Bedrock. O Application Signals gera e correlaciona automaticamente métricas e rastreamentos de performance para chamadas de API do Amazon Bedrock.

O Application Signals atualmente é compatível com os modelos LLM do Amazon Bedrock a seguir.

• AI21 Jamba

• Amazon Titan

• Claude da Anthropic

• Command da Cohere

• Llama da Meta

• Mistral AI

• Nova

Métricas e rastreamentos detalhados

Para cada chamada de API do Amazon Bedrock, o Application Signals gera métricas de performance detalhadas no nível do recurso, incluindo:

• ID do modelo

• ID das barreiras de proteção

• ID da base de conhecimento

• ID do agente do Bedrock

Além disso, extensões de rastreamento correlacionadas no mesmo nível ajudam a fornecer uma visão abrangente da execução e das dependências da solicitação.

Compatibilidade com os atributos de IA generativa do OpenTelemetry

O Application Signals gera os atributos de IA generativa a seguir para chamadas de API do Amazon Bedrock com a convenção semântica do OpenTelemetry. Esses atributos ajudam a analisar o uso, o custo e a qualidade da resposta do modelo e podem ser aproveitados por meio do Transaction Search para obter insights mais aprofundados.

• gen_ai.system

• gen_ai.request.model

• gen_ai.request.max_tokens

• gen_ai.request.temperature

• gen_ai.request.top_p

• gen_ai.usage.input_tokens

• gen_ai.usage.output_tokens

• gen_ai.response.finish_reasons

Por exemplo, você pode aproveitar a capacidade analítica do Transaction Search para comparar o uso e o custo de tokens em diferentes modelos LLM para o mesmo prompt, permitindo uma seleção de modelo econômica.

Para obter mais informações, consulte Improve Amazon Bedrock Observability with CloudWatch Application Signals.