Invocations de modèles - Amazon CloudWatch
Activation de l'invocation de modèles dans Amazon Bedrock

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Invocations de modèles

CloudWatch l'observabilité générative de l'IA vous permet de surveiller les performances des invocations de modèles. Vous pouvez suivre des indicateurs tels que le nombre d'appels, l'utilisation des jetons et les erreurs à l'aide des out-of-box vues. Pour une visibilité détaillée du contenu des appels, tel que les entrées et les sorties, activez la journalisation des invocations dans Bedrock et envoyez les journaux à. CloudWatch Pour plus d'informations, consultez Configurer une destination pour CloudWatch les journaux et Aider à protéger les données de journal sensibles grâce au masquage.

Activation de l'invocation de modèles dans Amazon Bedrock

Note

Vous devez activer la journalisation des invocations du modèle dans Amazon Bedrock pour voir les invocations.

Suivez ces étapes pour activer la journalisation des appels de modèles dans Amazon Bedrock :

  1. Ouvrez la console Amazon Bedrock à https://console.aws.amazon.com/bedrock/l'adresse.

  2. Sélectionnez Paramètres.

  3. Sous Enregistrement des appels du modèle, sélectionnez Enregistrement des appels du modèle.

  4. Choisissez les types de données requis à inclure dans les journaux. Choisissez d'envoyer les CloudWatch journaux à Logs uniquement ou à Amazon S3 et à CloudWatch Logs.

  5. Dans les configurations CloudWatch des journaux, créez un nom de groupe de journaux et sélectionnez les rôles de service appropriés.

  6. Choisissez les types de données requis à inclure dans les journaux.

  7. Choisissez Enregistrer les paramètres

    Vous pouvez consulter automatiquement les tableaux de bord préconfigurés lorsque vous commencez à utiliser les invocations Amazon Bedrock. Après l'activationModel Invocation logging, vous pouvez consulter les tableaux de bord par défaut et accéder au tableau d'invocation situé en dessous.

observabilité générative de l'IA

  • Nombre d'invocations : nombre de demandes réussies aux opérations Converse, ConverseStreamInvokeModel, et API InvokeModelWithResponseStream

  • Latence d'invocation — Latence des invocations

  • Nombre de jetons par modèle — Nombre de jetons par modèle délimité par le nombre de jetons d'entrée et le nombre de jetons de sortie

  • Nombre quotidien de jetons par ModelID — Nombre total de jetons quotidiens par ID de modèle

  • InputTokenCount, OutputTokenCount — Nombre total de jetons en entrée et en sortie de ce compte sur les modèles sélectionnés

  • Demandes, groupées par jetons d'entrée — Nombre de demandes regroupées par jetons d'entrée dans 6 plages. Chaque ligne représente le nombre de demandes qui entrent dans une fourchette particulière

  • Limitations d'invocation : nombre d'invocations limitées par le système. Le nombre de limitations que vous verrez dépendra de vos paramètres de nouvelle tentative dans le SDK. Pour plus d'informations, voir Comportement de nouvelle tentative dans le guide de référence des outils AWS SDKs et

  • Nombre d'erreurs d'invocation : nombre d'appels entraînant des erreurs côté serveur et côté client

Pour utiliser le modèle de tableau de bord d'invocation, procédez comme suit :

  1. Passez le pointeur de la souris sur un graphique métrique pour afficher les détails de l'invocation. Vous pouvez choisir l'icône d'alarme à configurer Alarms pour surveiller la qualité et les performances des applications. Pour plus d'informations sur les paramètres des alarmes, consultez la section Alarmes. Pour plus d'informations sur les métriques, consultez les métriques d'exécution d'Amazon Bedrock.

  2. Dans le menu déroulant ModelID, vous pouvez sélectionner un identifiant de modèle pour afficher les mesures correspondantes.

  3. Sélectionnez Afficher dans CloudWatch les métriques pour afficher les métriques du tableau de bord ci-dessous CloudWatch.

  4. Sélectionnez Period Override pour ajuster la période des mesures (par exemple, 1 minute, 1 heure ou 6 heures).

  5. Sous Invocations, choisissez Request ID pour afficher les détails de la demande. Vous pouvez consulter les détails de l'entrée et de la sortie d'appel du modèle dans le volet droit.

Modèle d'invocation - Affichage de l'ID de demande

Sur la page Request ID, sous le menu déroulant Actions, choisissez View in Logs Insights pour afficher les connexions CloudWatch. Pour plus d'informations, consultez la section Analyse des données des CloudWatch journaux avec Logs Insights.