Exemple : utiliser les signaux d'application pour résoudre les problèmes liés aux applications d'IA génératives interagissant avec Amazon Bedrock les modèles

Vous pouvez utiliser les signaux d'application pour dépanner vos applications d'IA générative qui interagissent avec les Amazon Bedrock modèles. Application Signals rationalise ce processus en fournissant des données de out-of-the-box télémétrie, offrant ainsi des informations plus approfondies sur les interactions de votre application avec les modèles LLM. Il permet de traiter des cas d’utilisation clés tels que :

• Problèmes de configuration du modèle

• Coûts d’utilisation du modèle

• Latence du modèle

• Raisons de l’arrêt de la génération de réponses du modèle

L'activation des signaux d'application grâce à l' LLM/GenAI observabilité fournit une visibilité en temps réel des interactions de votre application avec les services Amazon Bedrock. Application Signals génère et met en corrélation automatiquement des mesures de performance et des traces pour les appels Amazon Bedrock d'API.

La vigie applicative prend actuellement en charge les modèles LLM suivants de Amazon Bedrock.

• AI21 Jamba

• Amazon Titan

• Anthropic Claude

• Cohere Command

• Meta Llama

• Mistral AI

• Nova

Métriques et traces détaillées

Pour chaque appel Amazon Bedrock d'API, Application Signals génère des mesures de performance détaillées au niveau des ressources, notamment :

• ID du modèle

• ID de barrières de protection

• ID de base de connaissances

• ID d’agent Bedrock

De plus, les portées corrélées au même niveau permettent d’obtenir une vue d’ensemble de l’exécution des requêtes et des dépendances.

OpenTelemetry Support des attributs GenAI

Application Signals génère les attributs GenAI suivants pour les appels d' Amazon Bedrock API selon une convention OpenTelemetry sémantique. Ces attributs permettent d’analyser l’utilisation du modèle, le coût et la qualité de la réponse, et peuvent être exploités via Recherche de transactions pour obtenir des informations plus approfondies.

• gen_ai.system

• gen_ai.request.model

• gen_ai.request.max_tokens

• gen_ai.request.temperature

• gen_ai.request.top_p

• gen_ai.usage.input_tokens

• gen_ai.usage.output_tokens

• gen_ai.response.finish_reasons

Par exemple, vous pouvez exploiter la capacité d’analyse de la recherche de transactions pour comparer l’utilisation et le coût des jetons entre différents modèles LLM pour la même invite, ce qui permet une sélection de modèle rentable.

Pour plus d'informations, voir Améliorer l' Amazon Bedrock observabilité avec les signaux CloudWatch d'application.