Configurer les règles d'alerte gérées par Grafana

Cette rubrique de documentation est conçue pour les espaces de travail Grafana qui prennent en charge la version 10.x de Grafana.

Pour les espaces de travail Grafana compatibles avec la version 9.x de Grafana, voir. Travailler dans la version 9 de Grafana

Pour les espaces de travail Grafana compatibles avec la version 8.x de Grafana, voir. Travailler dans la version 8 de Grafana

Les règles gérées par Grafana constituent le type de règle d'alerte le plus flexible. Ils vous permettent de créer des alertes qui peuvent agir sur les données provenant de l'une de nos sources de données prises en charge. Outre la prise en charge de plusieurs sources de données, vous pouvez également ajouter des expressions pour transformer vos données et définir des conditions d'alerte. L'utilisation d'images dans les notifications d'alerte est également prise en charge. Il s'agit du seul type de règle qui permet d'émettre des alertes à partir de plusieurs sources de données dans une seule définition de règle.

Plusieurs instances d'alerte peuvent être créées à la suite d'une seule règle d'alerte (également appelée alerte multidimensionnelle).

Les règles d'alerte gérées par Grafana ne peuvent être modifiées ou supprimées que par les utilisateurs disposant d'autorisations de modification pour le dossier contenant les règles.

Si vous supprimez une ressource d'alerte créée dans l'interface utilisateur, vous ne pouvez plus la récupérer. Pour effectuer une sauvegarde de votre configuration et pouvoir restaurer les ressources d'alerte supprimées, créez vos ressources d'alerte à l'aide de Terraform ou de l'API d'alerte.

Dans les procédures suivantes, nous allons passer en revue le processus de création de vos règles d'alerte gérées par Grafana.

Pour créer une règle d'alerte gérée par Grafana, utilisez le flux de création d'alertes intégré à l'espace de travail et suivez ces étapes pour vous aider.

Définir le nom de la règle d'alerte

1. Choisissez Alertes et IRM -> Règles d'alerte -> + Nouvelle règle d'alerte.

2. Entrez un nom pour identifier votre règle d'alerte.

   Ce nom est affiché dans la liste des règles d'alerte. Il s'agit également de l'alertnameétiquette de chaque instance d'alerte créée à partir de cette règle.

Définissez ensuite une requête pour obtenir les données que vous souhaitez mesurer et une condition qui doit être remplie avant qu'une règle d'alerte ne soit déclenchée.

Pour définir la requête et la condition

1. Sélectionnez une source de données.

2. Dans le menu déroulant Options, spécifiez une plage de temps.

   Note

   Grafana Alerting ne prend en charge que des plages de temps relatives fixes, par exemple. now-24hr: now

   Il ne prend pas en charge les plages de temps absolues : 2021-12-02 00:00:00 to 2021-12-05 23:59:592 ou les plages de temps semi-relatives :now/d to: now.

3. Ajoutez une requête.

   Pour ajouter plusieurs requêtes, choisissez Ajouter une requête.

   Toutes les règles d'alerte sont gérées par Grafana par défaut. Si vous souhaitez passer à une règle d'alerte gérée par une source de données, cliquez sur Basculer vers une règle d'alerte gérée par une source de données.

4. Ajoutez une ou plusieurs expressions.

   1. Pour chaque expression, sélectionnez soit la condition classique pour créer une règle d'alerte unique, soit les options Mathématiques, Réduire et Rééchantillonner pour générer une alerte distincte pour chaque série.

      Note

      Lorsque vous utilisez Prometheus, vous pouvez utiliser un vecteur instantané et des fonctions intégrées, vous n'avez donc pas besoin d'ajouter d'expressions supplémentaires.

   2. Choisissez Aperçu pour vérifier que l'expression est réussie.

5. [Facultatif] Pour ajouter un seuil de récupération, activez l'option Seuil de récupération personnalisé et saisissez une valeur indiquant à quel moment votre règle d'alerte doit cesser de se déclencher.

   Vous ne pouvez ajouter qu'un seul seuil de récupération dans une requête et il doit s'agir de la condition d'alerte.

6. Choisissez Définir comme condition d'alerte sur la requête ou l'expression que vous souhaitez définir comme condition d'alerte.

Utilisez l'évaluation des règles d'alerte pour déterminer à quelle fréquence une règle d'alerte doit être évaluée et à quelle vitesse elle doit changer d'état.

Pour ce faire, vous devez vous assurer que votre règle d'alerte se trouve dans le bon groupe d'évaluation et définir une période d'attente adaptée à votre cas d'utilisation.

Pour définir le comportement d'évaluation des alertes

1. Sélectionnez un dossier ou choisissez + Nouveau dossier.

2. Sélectionnez un groupe d'évaluation ou cliquez sur + Nouveau groupe d'évaluation.

   Si vous créez un nouveau groupe d'évaluation, spécifiez l'intervalle pour le groupe.

   Toutes les règles d'un même groupe sont évaluées simultanément sur le même intervalle de temps.

3. Entrez une période d'attente.

   La période d'attente est la période pendant laquelle une règle d'alerte peut enfreindre la condition jusqu'à ce qu'elle se déclenche.

   Une fois qu'une condition est remplie, l'alerte passe à l'état En attente. Si la condition reste active pendant la durée spécifiée, l'alerte passe à l'état de déclenchement, sinon elle revient à l'état normal.

4. Activez les notifications d'alerte de pause, si nécessaire.

   Note

   Suspendez l'évaluation des règles d'alerte pour éviter les alertes bruyantes lors du réglage de vos alertes. La pause arrête l'évaluation des règles d'alerte et ne crée aucune instance d'alerte. Cela est différent des délais de mise en sourdine, qui interrompent l'envoi des notifications, tout en permettant l'évaluation des règles d'alerte et la création d'instances d'alerte.

   Vous pouvez suspendre l'évaluation des règles d'alerte pour éviter les alertes bruyantes lors du réglage de vos alertes. La pause arrête l'évaluation des règles d'alerte et ne crée aucune instance d'alerte. Cela est différent des délais de mise en sourdine, qui interrompent l'envoi des notifications, tout en permettant l'évaluation des règles d'alerte et la création d'instances d'alerte.

5. Dans Configurer l'absence de données et la gestion des erreurs, configurez le comportement des alertes en l'absence de données.

   Utilisez les directives présentées plus loin dans cette section.

Ajoutez des libellés à vos règles d'alerte pour définir la politique de notification qui doit gérer vos instances d'alerte de déclenchement.

Toutes les règles et instances d'alerte, quel que soit leur libellé, correspondent à la politique de notification par défaut. S'il n'existe aucune politique imbriquée ou si aucune politique imbriquée ne correspond aux libellés de la règle d'alerte ou de l'instance d'alerte, la stratégie de notification par défaut est la stratégie correspondante.

Pour configurer des notifications

1. Ajoutez des libellés si vous souhaitez modifier le mode d'acheminement de vos notifications.

   Ajoutez des étiquettes personnalisées en sélectionnant des paires clé-valeur existantes dans le menu déroulant, ou ajoutez de nouvelles étiquettes en saisissant la nouvelle clé ou valeur.

2. Prévisualisez la configuration du routage de votre instance d'alerte.

   Sur la base des étiquettes ajoutées, les instances d'alerte sont acheminées vers les politiques de notification affichées.

   Développez chaque politique de notification pour afficher plus de détails.

3. Choisissez Voir les détails pour afficher les détails du routage des alertes et un aperçu.

Ajoutez des annotations pour fournir plus de contexte sur l'alerte dans votre message de notification d'alerte.

Les annotations ajoutent des métadonnées pour fournir plus d'informations sur l'alerte dans votre message de notification d'alerte. Par exemple, ajoutez une annotation récapitulative pour vous indiquer la valeur à l'origine du déclenchement de l'alerte ou le serveur sur lequel elle s'est produite.

Pour ajouter des annotations

1. [Facultatif] Ajoutez un résumé.

   Bref résumé de ce qui s'est passé et pourquoi.

2. [Facultatif] Ajoutez une description.

   Description de l'action de la règle d'alerte.

3. [Facultatif] Ajoutez une URL Runbook.

   Page Web où vous conservez votre runbook pour l'alerte

4. [Facultatif] Ajouter une annotation personnalisée

5. [Facultatif] Ajoutez un tableau de bord et un lien vers un panneau.

   Lie les alertes aux panneaux d'un tableau de bord.

6. Choisissez Enregistrer la règle.

Règle unique et multidimensionnelle

Pour les alertes gérées par Grafana, vous pouvez créer une règle avec une condition classique ou vous pouvez créer une règle multidimensionnelle.

• Règle avec condition classique

  Utilisez l'expression de condition classique pour créer une règle qui déclenche une seule alerte lorsque sa condition est remplie. Pour une requête qui renvoie plusieurs séries, Grafana ne suit pas l'état d'alerte de chaque série. Grafana n'envoie donc qu'une seule alerte, même lorsque les conditions d'alerte sont remplies pour plusieurs séries.

• Règle multidimensionnelle

  Pour générer une alerte distincte pour chaque série, créez une règle multidimensionnelle. Utilisez MathReduce, ou Resample expressions pour créer une règle multidimensionnelle. Par exemple :

  • Ajoutez une Reduce expression pour chaque requête afin d'agréger les valeurs de la plage de temps sélectionnée en une seule valeur (inutile pour les règles utilisant des données numériques).

  • Ajoutez une Math expression avec la condition de la règle. Inutile dans le cas où une requête ou une expression de réduction renvoie déjà 0 si la règle ne doit pas être déclenchée, ou un nombre positif si elle doit se déclencher. Quelques exemples : $B > 70 s'il doit se déclencher si la valeur de la requête/expression B est supérieure à 70. $B < $C * 100au cas où il devrait se déclencher si la valeur de B est inférieure à la valeur de C multipliée par 100. Si les requêtes comparées contiennent plusieurs séries dans leurs résultats, les séries issues de différentes requêtes sont mises en correspondance si elles ont les mêmes étiquettes ou si l'une est un sous-ensemble de l'autre.

Note

Grafana ne prend pas en charge les requêtes d'alerte avec des variables de modèle. De plus amples informations sont disponibles sur https://community.grafana.com/t/ template-variables-are-not - supported-in-alert-queries - while-setting-up-alert /2514.

Configuration de l'absence de données et de la gestion des erreurs

Configurez le comportement des alertes lorsque l'évaluation de vos règles d'alerte ne renvoie aucune donnée ou qu'une erreur est renvoyée.

Note

Les règles d'alerte configurées pour se déclencher lorsqu'une évaluation ne renvoie aucune donnée ou qu'une erreur ne s'affichent que lorsque toute la durée de la période d'évaluation est terminée. Cela signifie qu'au lieu de se déclencher immédiatement lorsque la condition de la règle d'alerte est violée, la règle d'alerte attend que l'heure définie pour le champ Pour soit terminée, puis se déclenche, ce qui réduit le bruit des alertes et permet de résoudre des problèmes temporaires de disponibilité des données.

Si l'évaluation de votre règle d'alerte ne renvoie aucune donnée, vous pouvez définir l'état de votre règle d'alerte pour qu'il apparaisse comme suit :

Aucune donnée	Description
Aucune donnée	Crée une nouvelle alerte DatasourceNoData avec le nom et l'UID de la règle d'alerte, ainsi que l'UID de la source de données qui n'a renvoyé aucune donnée sous forme d'étiquette.
Alerte	Définit l'état de la règle d'alerte surAlerting. La règle d'alerte attend la fin de l'heure définie dans le champ Pour avant de tirer.
D'accord	Définit l'état de la règle d'alerte surNormal.

Si votre évaluation renvoie une erreur, vous pouvez définir l'état de votre règle d'alerte pour qu'il apparaisse comme suit :

Erreur	Description
Erreur	Crée une instance d'alerte DatasourceError avec le nom et l'UID de la règle d'alerte, ainsi que l'UID de la source de données qui n'a renvoyé aucune donnée sous forme d'étiquette.
Alerte	Définit l'état de la règle d'alerte surAlerting. La règle d'alerte attend la fin de l'heure définie dans le champ Pour avant de tirer.
D'accord	Définit l'état de la règle d'alerte surNormal.

Résoudre les instances d'alerte obsolètes

Une instance d'alerte est considérée comme obsolète si sa dimension ou sa série a complètement disparu des résultats de la requête pendant deux intervalles d'évaluation.

Les instances d'alerte périmées qui sont dans l'Errorétat AlertingNoData//sont automatiquement marquées comme Resolved et l'grafana_state_reasonannotation est ajoutée à l'instance d'alerte avec le motifMissingSeries.

Créez des alertes à partir de panneaux

Créez des alertes à partir de n'importe quel type de panneau. Cela signifie que vous pouvez réutiliser les requêtes du panneau et créer des alertes en fonction de celles-ci.

1. Accédez à un tableau de bord dans la section Tableaux de bord.

2. Dans le coin supérieur droit du panneau, choisissez les trois points (ellipses).

3. Dans le menu déroulant, sélectionnez Plus... puis choisissez Nouvelle règle d'alerte.

Cela ouvrira le formulaire des règles d'alerte, vous permettant de configurer et de créer votre alerte en fonction de la requête du panneau actuel.