Ejemplo: utilice Application Signals para solucionar los problemas de las aplicaciones de IA generativa que interactúan con los modelos Amazon Bedrock - Amazon CloudWatch
Métricas y seguimientos detalladosCompatibilidad con atributos de OpenTelemetry para IA generativa

Ejemplo: utilice Application Signals para solucionar los problemas de las aplicaciones de IA generativa que interactúan con los modelos Amazon Bedrock

Puede utilizar Application Signals para solucionar los problemas de las aplicaciones de IA generativa que interactúan con modelos Amazon Bedrock. Application Signals agiliza este proceso al proporcionar datos de telemetría listos para usar, con lo que brinda información más detallada sobre las interacciones de la aplicación con los modelos de lenguaje de gran tamaño. Ayuda a abordar casos de uso clave como:

  • Problemas con la configuración del modelo

  • Costos de utilización del modelo

  • Latencia del modelo

  • Motivos por los que se detuvo la generación de respuestas del modelo

Habilitar Application Signals con observabilidad de modelos de lenguaje de gran tamaño/IA generativa permite visualizar en tiempo real las interacciones de la aplicación con los servicios de Amazon Bedrock. Application Signals genera y correlaciona automáticamente métricas de rendimiento y seguimientos para llamadas a la API de Amazon Bedrock.

Application Signals actualmente es compatible con los siguientes modelos de lenguaje de gran tamaño de Amazon Bedrock.

  • AI21 Jamba

  • Amazon Titan

  • Anthropic Claude

  • Cohere Command

  • Meta Llama

  • Mistral AI

  • Nova

Métricas y seguimientos detallados

Para cada llamada a la API de Amazon Bedrock, Application Signals genera métricas de rendimiento detalladas a nivel de recursos, que incluyen:

  • ID del modelo

  • ID de barreras de protección

  • ID de base de conocimientos

  • ID de agente de Bedrock

Además, los segmentos de seguimiento correlacionados al mismo nivel ayudan a proporcionar una visión integral de la ejecución de solicitudes y sus dependencias.

Métricas de rendimiento mediante Application Signals.

Compatibilidad con atributos de OpenTelemetry para IA generativa

Application Signals genera los siguientes atributos de IA generativa para llamadas a la API de Amazon Bedrock con la convención semántica de OpenTelemetry. Estos atributos ayudan a analizar el uso del modelo, el costo y la calidad de la respuesta, y se pueden aprovechar a través de la Búsqueda de transacciones para obtener información más detallada.

  • gen_ai.system

  • gen_ai.request.model

  • gen_ai.request.max_tokens

  • gen_ai.request.temperature

  • gen_ai.request.top_p

  • gen_ai.usage.input_tokens

  • gen_ai.usage.output_tokens

  • gen_ai.response.finish_reasons

Atributos de IA generativa con Application Signals.

Por ejemplo, puede aprovechar la capacidad analítica de Búsqueda de transacciones para comparar el uso de tokens y el costo entre diferentes modelos de lenguaje de gran tamaño para la misma petición, lo que permite una selección de modelos más eficiente en costos.

Atributos de IA generativa con Application Signals.

Para obtener más información, consulte Mejorar la observabilidad de Amazon Bedrock con CloudWatch Application Signals.