Surveillance des calculs Apache Spark à l'aide des métriques CloudWatch

Athena publie les métriques liées aux calculs sur Amazon CloudWatch lorsque l'option Publish CloudWatch metrics de votre groupe de travail compatible avec Spark est sélectionnée. Dans la console CloudWatch, vous pouvez créer des tableaux de bord personnalisés et définir des alarmes et des déclencheurs pour les métriques.

Athena publie la métrique suivante dans la console CloudWatch sous l'espace de noms AmazonAthenaForApacheSpark :

• DPUCount – nombre de DPU consommés au cours de la session pour exécuter les calculs.

Cette métrique a les dimensions suivantes :

• SessionId – L'ID de la session dans laquelle les calculs sont soumis.

• WorkGroup – nom du groupe de travail.

Affichage des métriques des groupes de travail Spark dans la console Amazon CloudWatch

1. Ouvrez la console CloudWatch à l'adresse https://console.aws.amazon.com/cloudwatch/.

2. Dans le panneau de navigation, sélectionnez Métriques, Toutes les métriques.

3. Sélectionnez l'espace de noms AmazonAthenaForApacheSpark.

Pour afficher les métriques grâce à la CLI

• Effectuez l'une des actions suivantes :

  • Pour répertorier les métriques des groupes de travail compatibles avec Athena Spark, ouvrez une invite de commande et utilisez la commande suivante :

    aws cloudwatch list-metrics --namespace "AmazonAthenaForApacheSpark"

  • Pour répertorier toutes les métriques disponibles, utilisez la commande suivante :

    aws cloudwatch list-metrics

Liste des métriques et dimensions CloudWatch pour les calculs Apache Spark dans Athena

Si vous avez activé les métriques CloudWatch dans votre groupe de travail Athena compatible avec Spark, Athena envoie les métriques suivantes à CloudWatch pour chaque groupe de travail. La métrique utilise l'espace de noms AmazonAthenaForApacheSpark.

Nom de métrique	Description
DPUCount	Nombre de DPU (unités de traitement de données) consommés pendant la session pour exécuter les calculs. Une DPU est une mesure relative de la puissance de traitement consistant en 4 vCPU de capacité de calcul et 16 Go de mémoire.

Cette métrique a les dimensions suivantes.

Dimension	Description
SessionId	L'ID de la session dans laquelle les calculs sont soumis.
WorkGroup	Le nom du groupe de travail.