Visualisation des statistiques de AWS Glue streaming - AWS Glue

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Visualisation des statistiques de AWS Glue streaming

Pour tracer des métriques visuelles :

  1. Accédez à Metrics dans la CloudWatch console Amazon, puis choisissez l'onglet Parcourir. Choisissez ensuite Glue sous « Espaces de noms personnalisés ».

    La capture d'écran montre l'accès aux métriques dans la CloudWatch console Amazon lors de la surveillance des jobs de AWS Glue streaming.
  2. Choisissez Métriques de tâche pour afficher les métriques de toutes vos tâches.

  3. Filtrez les métriques en fonction de votre JobName =, glue-feb-monitoring puis de JobRunId =ALL. Vous pouvez cliquer sur le signe « + » comme indiqué dans la figure ci-dessous pour l’ajouter au filtre de recherche.

  4. Cochez la case correspondant aux métriques qui vous intéressent. Dans la figure ci-dessous, nous avons sélectionné numberAllExecutors et numberMaxNeededExecutors.

    La capture d’écran montre l’application d’une moyenne aux métriques lors du suivi des jobs de streaming.
  5. Une fois que vous avez sélectionné ces métriques, vous pouvez accéder à l’onglet Graphique des métriques et appliquer vos métriques.

  6. Comme les métriques sont émises toutes les minutes, vous pouvez appliquer la « moyenne » sur une minute pour batchProcessingTimeInMs et maxConsumerLagInMs. Pour numRecords, vous pouvez appliquer la « somme » sur chaque minute.

  7. Vous pouvez ajouter une annotation windowSize horizontale à votre graphique à l’aide de l’onglet Options.

    La capture d’écran montre l’ajout d’une annotation windowSize à votre graphique lors du suivi des tâches de streaming.
  8. Une fois que vous avez sélectionné vos métriques, créez un tableau de bord et ajoutez-le. Voici un exemple de tableau de bord.

    La capture d’écran montre un exemple de tableau de bord permettant de surveiller les tâches de streaming.