Connecteur Amazon Athena Metrics CloudWatch

Le connecteur Amazon Athena CloudWatch Metrics permet à Amazon Athena d' CloudWatch interroger les données Metrics avec. SQL

Pour plus d'informations sur la publication de métriques de requêtes CloudWatch depuis Athena elle-même, consultez. Utiliser CloudWatch et EventBridge surveiller les requêtes et contrôler les coûts

Prérequis

• Déployez le connecteur sur votre Compte AWS à l'aide de la console Athena ou du AWS Serverless Application Repository. Pour plus d'informations, consultez Déployer un connecteur de source de données ouUtilisez le AWS Serverless Application Repository pour déployer un connecteur de source de données.

Paramètres

Utilisez les variables d'environnement Lambda de cette section pour configurer le connecteur CloudWatch Metrics.

• spill_bucket – Spécifie le compartiment Amazon S3 pour les données qui dépassent les limites des fonctions Lambda.

• spill_prefix – (Facultatif) Par défaut, il s’agit d’un sous-dossier dans le spill_bucket spécifié appelé athena-federation-spill. Nous vous recommandons de configurer un cycle de vie de stockage Amazon S3 à cet endroit pour supprimer les déversements supérieurs à un nombre de jours ou d’heures prédéterminé.

• spill_put_request_headers — (Facultatif) Carte JSON codée des en-têtes de demande et des valeurs pour la putObject demande Amazon S3 utilisée pour le spilling (par exemple,). {"x-amz-server-side-encryption" : "AES256"} Pour les autres en-têtes possibles, consultez PutObjectle Amazon Simple Storage Service API Reference.

• kms_key_id — (Facultatif) Par défaut, toutes les données transmises à Amazon S3 sont chiffrées à l'aide AES du mode de chiffrement authentifié et d'une clé GCM générée de manière aléatoire. Pour que votre fonction Lambda utilise des clés de chiffrement plus fortes générées par KMS likea7e63k4b-8loc-40db-a2a1-4d0en2cd8331, vous pouvez spécifier un identifiant de KMS clé.

• disable_spill_encryption – (Facultatif) Lorsque la valeur est définie sur True, le chiffrement des déversements est désactivé. Par défaut, les données False transmises à S3 sont chiffrées à l'aide de AES GCM -, soit à l'aide d'une clé générée de manière aléatoire, soit KMS pour générer des clés. La désactivation du chiffrement des déversements peut améliorer les performances, surtout si votre lieu de déversement utilise le chiffrement côté serveur.

Le connecteur prend également en charge le contrôle de la AIMD congestion pour gérer les événements de régulation CloudWatch via la construction Amazon Athena Query Federation. SDK ThrottlingInvoker Vous pouvez modifier le comportement de limitation par défaut en définissant l’une des variables d’environnement facultatives suivantes :

• throttle_initial_delay_ms – Le délai d’appel initial appliqué après le premier événement de congestion. La valeur par défaut est de 10 millisecondes.

• throttle_max_delay_ms – Le délai maximal entre les appels. Vous pouvez le dériver TPS en le divisant en 1000 ms. La valeur par défaut est de 1 000 millisecondes.

• throttle_dimine_factor – Le facteur par lequel Athena réduit le taux d’appels. La valeur par défaut est 0,5.

• throttle_increase_ms – La vitesse à laquelle Athena réduit le délai d’appel. La valeur par défaut est de 10 millisecondes.

Base de données et tables

Le connecteur Athena CloudWatch Metrics mappe vos espaces de noms, dimensions, métriques et valeurs métriques dans deux tables dans un schéma unique appelé. default

Le tableau des métriques

La table metrics contient les métriques disponibles telles que définies de manière unique par une combinaison d’espace de noms, d’ensemble et de nom. La table metrics contient les colonnes suivantes.

• namespace (espace de noms) – Un VARCHAR contenant l’espace de noms.

• metric_name– Un VARCHAR contenant le nom de la métrique.

• dimensions – Un LIST des objets STRUCT composés de dim_name (VARCHAR) et de dim_value (VARCHAR).

• statistic (statistique) – Un LIST de statistiques VARCH (par exemple, p90, AVERAGE, ...) disponible pour la métrique.

La table metric_samples

La table metric_samples contient les échantillons de métriques disponibles pour chaque métrique de la table metrics. La table metric_samples contient les colonnes suivantes.

• namespace (espace de noms) – Un VARCHAR qui contient l’espace de noms.

• metric_name– Un VARCHAR qui contient le nom de la métrique.

• dimensions – Un LIST des objets STRUCT composés de dim_name (VARCHAR) et de dim_value (VARCHAR).

• dim_name– Un champ pratique VARCHAR que vous pouvez utiliser pour filtrer facilement en fonction du nom d’une dimension unique.

• dim_value– Un champ pratique VARCHAR que vous pouvez utiliser pour filtrer facilement en fonction du nom d’une valeur unique.

• period (période) – Un champ INT qui représente la « période » de la métrique en secondes (par exemple, une métrique de 60 secondes).

• timestamp (horodatage) – Un champ BIGINT qui représente l’époque en secondes à laquelle se rapporte l’exemple de métrique.

• value (valeur) – Un champ FLOAT8 qui contient la valeur de l’exemple.

• statistic (statistique) – Un VARCHAR qui contient le type statistique de l’exemple (par exemple, AVERAGE ou p90).

Autorisations nécessaires

Pour plus de détails sur les IAM politiques requises par ce connecteur, consultez la Policies section du athena-cloudwatch-metricsfichier .yaml. La liste suivante résume les autorisations requises.

• Amazon S3 write access (Accès en écriture Amazon S3) – Le connecteur nécessite un accès en écriture à un emplacement dans Amazon S3 pour déverser les résultats à partir de requêtes volumineuses.

• Athena GetQueryExecution — Le connecteur utilise cette autorisation pour échouer rapidement lorsque la requête Athena en amont est terminée.

• CloudWatch Métriques ReadOnly — Le connecteur utilise cette autorisation pour interroger les données de vos métriques.

• CloudWatch Enregistrement des journaux : le connecteur utilise cet accès pour écrire ses journaux de diagnostic.

Performance

Le connecteur Athena CloudWatch Metrics tente d'optimiser les requêtes par rapport aux CloudWatch métriques en parallélisant les analyses des flux de log requis pour votre requête. Pour certains filtres de période, de métrique, d'espace de noms et de dimension, le transfert des prédicats est effectué à la fois dans la fonction Lambda et dans Logs. CloudWatch

Informations de licence

Le projet de connecteur Amazon Athena CloudWatch Metrics est concédé sous licence Apache-2.0.

Ressources supplémentaires

Pour plus d'informations sur ce connecteur, rendez-vous sur le site correspondant sur GitHub .com.