Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Mesures relatives aux conteneurs, aux files d'attente et aux bases de données pour Amazon MWAA
Outre les métriques Apache Airflow, vous pouvez surveiller les composants sous-jacents de vos flux de travail Amazon Managed Workflows pour les environnements Apache Airflow à l'aide d'un CloudWatch système qui collecte des données brutes et les traite en métriques lisibles quasiment en temps réel. Grâce à ces indicateurs environnementaux, vous bénéficierez d'une meilleure visibilité sur les indicateurs de performance clés pour vous aider à dimensionner correctement vos environnements et à résoudre les problèmes liés à vos flux de travail. Ces mesures s'appliquent à toutes les versions d'Apache Airflow prises en charge sur Amazon MWAA.
Amazon MWAA fournira l'utilisation du processeur et de la mémoire pour chaque conteneur Amazon Elastic Container Service (Amazon ECS) et instance Amazon Aurora PostgreSQL, ainsi que les métriques Amazon Simple Queue Service (Amazon SQS) pour le nombre de messages et l'âge du message le plus ancien, les métriques Amazon Relational Database Service (Amazon RDS) pour la base de données connexions, profondeur de la file d'attente du disque, opérations d'écriture, latence et débit, et métriques du proxy Amazon RDS. Ces indicateurs incluent également le nombre de travailleurs de base, de travailleurs supplémentaires, de planificateurs et de serveurs Web.
Ces statistiques sont conservées pendant 15 mois, afin que vous puissiez accéder aux informations historiques, avoir une meilleure idée des raisons pour lesquelles un calendrier échoue et résoudre les problèmes sous-jacents. Vous pouvez également définir des alarmes qui surveillent certains seuils et envoient des notifications ou prennent des mesures lorsque ces seuils sont atteints. Pour plus d'informations, consultez le guide de CloudWatch l'utilisateur Amazon.
Conditions
- Espace de noms
-
Un espace de noms est un conteneur pour les CloudWatch métriques d'un AWS service. Pour Amazon MWAA, l'espace de noms est.
AWS/MWAA - CloudWatch métriques
-
Une CloudWatch métrique représente un ensemble chronologique de points de données spécifiques à CloudWatch.
- Dimension
-
Une dimension est une paire nom-valeur qui fait partie de l'identité d'une métrique.
- Unité
-
Une statistique possède une unité de mesure. Pour Amazon MWAA, les unités incluent le nombre.
Dimensions
Cette section décrit le regroupement des CloudWatch dimensions pour les métriques Amazon MWAA dans CloudWatch.
| Dimension | Description |
|---|---|
|
Cluster |
Mesures relatives aux trois conteneurs Amazon ECS minimum utilisés par un environnement Amazon MWAA pour exécuter les composants Apache Airflow : planificateur, serveur de travail et serveur Web. |
|
File d’attente |
Mesures pour les files d'attente Amazon SQS qui dissocient le planificateur des travailleurs. Lorsque les travailleurs lisent les messages, ils sont considérés comme étant en vol et ne sont pas disponibles pour les autres travailleurs. Les messages peuvent être lus par les autres employés s'ils ne sont pas supprimés avant le délai de visibilité de 12 heures. |
|
Base de données |
Métriques des clusters Aurora utilisés par Amazon MWAA. Cela inclut des métriques pour l'instance de base de données principale et une réplique de lecture pour prendre en charge les opérations de lecture. Amazon MWAA publie des métriques de base de données pour les instances READER et WRITER. |
Accès aux métriques dans la CloudWatch console
Cette section décrit comment accéder à vos métriques Amazon MWAA dans CloudWatch.
Pour consulter les indicateurs de performance d'une dimension
-
Ouvrez la page Metrics
sur la CloudWatch console. -
Utilisez le sélecteur de AWS région pour sélectionner votre région.
-
Choisissez l'espace de noms AWS/MWAA.
-
Dans l'onglet Toutes les mesures, choisissez une dimension. Par exemple, Cluster.
-
Choisissez une CloudWatch métrique pour une dimension. Par exemple, NumSchedulersou CPUUtilization. Choisissez ensuite Représenter graphiquement tous les résultats de recherche.
-
Choisissez l'onglet Mesures graphiques pour afficher les mesures de performance.
Liste des métriques
Les tableaux suivants répertorient les métriques du service de cluster, de file d'attente et de base de données pour Amazon MWAA. Pour consulter les descriptions des métriques directement émises par Amazon ECS, Amazon SQS ou Amazon RDS, choisissez le lien de documentation correspondant.
Rubriques
Métriques du cluster
Les mesures suivantes s'appliquent à chaque planificateur, à chaque collaborateur de base, à chaque collaborateur supplémentaire et à chaque serveur Web. Pour plus d'informations et une description de chaque métrique de cluster, consultez la section Mesures et dimensions disponibles dans le manuel Amazon ECS Developer Guide.
| Espace de noms | Mesure | Unité |
|---|---|---|
|
|
|
Pourcentage |
|
|
|
Pourcentage |
Évaluation du nombre d'instances de travail supplémentaires
Vous pouvez utiliser les métriques des composants fournies sous la dimension Cluster, comme décrit dans la procédure suivante, pour évaluer le nombre de travailleurs supplémentaires utilisés par un environnement à un moment donné. Pour ce faire, vous devez représenter graphiquement le CPUUtilization ou la MemoryUtilizationmétrique et définir le type de statistique sur Sample Count. La valeur résultante est le nombre total de RUNNING tâches pour le AdditionalWorker composant. Comprendre le nombre d'instances de travail supplémentaires utilisées par votre environnement peut vous aider à évaluer l'évolution automatique de votre environnement et à optimiser le nombre de travailleurs supplémentaires.
-
Choisissez l'espace de noms AWS/MWAA.
-
Dans l'onglet Toutes les mesures, choisissez la dimension Cluster.
-
Sous la dimension Cluster, pour le AdditionalWorker, choisissez soit le CPUUtilization, soit la MemoryUtilizationmétrique.
-
Dans l'onglet Mesures graphiques, définissez la période sur 1 minute et la statistique sur le nombre d'échantillons.
Pour plus d'informations, consultez la section Nombre de RUNNING tâches de service dans le manuel Amazon Elastic Container Service Developer Guide.
Métriques de base de données
Les mesures suivantes s'appliquent à chaque instance de base de données jusqu'à ce qu'elle soit remplacée par un proxy Amazon RDS. Pour plus d'informations et une description des métriques de base de données suivantes, consultez CloudWatch les métriques d'Amazon RDS dans le guide de l'utilisateur d'Amazon Relational Database Service.
| Espace de noms | Mesure | Unité |
|---|---|---|
|
|
|
Pourcentage |
|
|
|
Nombre |
|
|
|
Nombre |
|
|
|
Octets |
|
|
|
Comptez toutes les cinq minutes |
|
|
|
Nombre par seconde |
|
|
|
Secondes |
|
|
|
Octets par seconde |
Métriques de base de données pour Amazon RDS Proxy (si disponible)
Pour plus d'informations sur les mesures de proxy de base de données suivantes, consultez la section Surveillance des métriques de proxy Amazon RDS CloudWatch dans le guide de l'utilisateur d'Amazon Relational Database Service.
| Espace de noms | Mesure | Unité |
|---|---|---|
|
|
|
Nombre |
|
|
|
Nombre |
|
|
|
Nombre |
|
|
|
Pourcentage |
|
|
|
Nombre |
|
|
|
Nombre |
|
|
|
Nombre |
|
|
|
Nombre |
|
|
|
Nombre |
|
|
|
Microsecondes |
|
|
|
Nombre |
|
|
|
Microsecondes |
Métriques de file d'attente
Pour plus d'informations sur les unités et les descriptions des métriques de file d'attente suivantes, consultez la section CloudWatch Mesures disponibles pour Amazon SQS dans le manuel Amazon Simple Queue Service Developer Guide.
| Espace de noms | Mesure | Unité |
|---|---|---|
|
|
|
Secondes |
|
|
|
Nombre |
|
|
|
Nombre |
