Surveillance des AWS DataSync - AWS DataSync

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Surveillance des AWS DataSync

Vous pouvez surveillerAWS DataSyncà l'aide d'Amazon CloudWatch, qui collecte et traite les données brutes de DataSync pour les transformer en métriques lisibles et disponibles pratiquement en temps réel. Ces statistiques sont conservées pour une durée de deux semaines. Par défaut, les données des métriques DataSync sont automatiquement envoyées à CloudWatch toutes les 5 minutes. Pour plus d'informations sur CloudWatch, consultezQu'est-ce qu'Amazon CloudWatch Events et les journaux CloudWatch Logsdans leGuide de l'utilisateur Amazon CloudWatch..

Accès aux métriques Amazon CloudWatch pour DataSync

Amazon CloudWatch fournit des métriques que vous pouvez utiliser pour obtenir des informations sur les performances de DataSync. Vous pouvez voir les métriques CloudWatch pour DataSync de nombreuses façons. Vous pouvez les afficher via la console CloudWatch, ou vous pouvez y accéder à l'aide de l'interface de ligne de commande CloudWatch ou de l'API CloudWatch. Vous pouvez également consulter ces métriques sur la page des détails de l'exécution des tâches dans la console AWS DataSync. Pour plus d'informations sur l'utilisation des métriques CloudWatch, consultez.Utilisation des métriques Amazon CloudWatchdans leGuide de l'utilisateur Amazon CloudWatch.

Métriques CloudWatch DataSync

L’espace de noms AWS/DataSync inclut les mesures suivantes.

Ces statistiques sont conservées pour une durée de deux semaines.

Métrique Description

BytesVerifiedSource

Le nombre total d'octets de données qui sont vérifiés à l'emplacement source.

Unités: Octets

BytesPreparedSource

Le nombre total d'octets de données qui sont prêts à l'emplacement source.

Unité : Octets

FilesVerifiedSource

Le nombre total de fichiers qui sont vérifiés à l'emplacement source.

Unité : Nombre

FilesPreparedSource

Le nombre total de fichiers qui sont prêts à l'emplacement source.

Unité : Nombre

BytesVerifiedDestination

Le nombre total d'octets de données qui sont vérifiés à l'emplacement de destination.

Unité : Octets

BytesPreparedDestination

Le nombre total d'octets de données qui sont prêts à l'emplacement de destination.

Unité : Octets

FilesVerifiedDestination

Le nombre total de fichiers qui sont vérifiés à l'emplacement de destination.

Unité : Nombre

FilesPreparedDestination

Le nombre total de fichiers qui sont prêts à l'emplacement de destination.

Unité : Nombre

FilesTransferred

Le nombre réel de fichiers ou de métadonnées qui ont été transférés sur le réseau. Cette valeur est calculée et mise à jour en permanence pendant la phase TRANSFERRING (TRANSFERT EN COURS). Elle est mise à jour régulièrement lors de chaque fichier est lu à partir de l'emplacement source et envoyé sur le réseau.

Si une erreur survient au cours d'un transfert, cette valeur peut être inférieure à EstimatedFilesToTransfer. Cette valeur peut également être supérieure à EstimatedFilesTransferred dans certains cas. Cet élément est propre à l'implémentation pour certains types d'emplacement, afin de ne pas l'utiliser comme indicateur pour un nombre de fichiers correct ou pour surveiller l'exécution de votre tâche.

Unité : Nombre

BytesTransferred

Le nombre total d'octets transférés sur le réseau lorsque l'agent lit depuis l'emplacement source vers l'emplacement de destination.

Unité : Octets

BytesWritten

La taille logique totale de tous les fichiers qui ont été transférés vers l'emplacement de destination.

Unité : Octets

Événements CloudWatch pour DataSync

Les événements Amazon CloudWatch décrivent les modifications apportées aux ressources DataSync. Vous pouvez configurer des règles pour faire correspondre ces événements et les acheminer vers un ou plusieurs flux ou fonctions cibles. Les événements sont générés sur la base du meilleur effort.

Les événements CloudWatch suivants sont disponibles pour AWS DataSync.

Événement Description
Changements d'état pour un agent Pour plus d'informations, consultez DataSync Statuts des agents.
EN LIGNE L'agent est correctement configuré et est disponible pour être utilisé. Le statut EN LIGNE est l'état d'exécution normal d'un agent.
HORS CONNEXION L'ordinateur virtuel de l'agent est désactivé ou l'agent est dans un état non sain et n'est pas en contact avec le service depuis 5 minutes ou plus. Une fois que le problème qui a provoqué l'état non sain est résolu, l'agent retourne à l'état EN LIGNE.
Changements d'état pour un emplacement
AJOUT DataSync ajoute un emplacement.
DISPONIBLE L'emplacement est créé et disponible pour être utilisé.
Changements d'état pour une tâche Pour plus d'informations, consultez DataSync Statuts de création de tâches.
CREATION DataSync tente de monter l'emplacement NFS (Network File System) et crée la tâche.
EN COURS D'EXÉCUTION DataSync a monté la source et elle fonctionne correctement.
DISPONIBLE La tâche est correctement configurée et est disponible pour être démarrée.
UNAVAILABLE La tâche n'est pas correctement configurée et n'est pas disponible pour être utilisée. Si un agent associé à un emplacement (NFS) source se déconnecte, la tâche passe à l'état INDISPONIBLE.
Changements d'état pour une exécution de tâche
LANCEMENT DataSync initialise l'exécution de la tâche.
PRÉPARATION DataSync calcule quels fichiers doivent être transférés.
TRANSFERT EN COURS DataSync exécute le transfert réel de vos données versAWS
VÉRIFICATION EN COURS DataSync effectue une vérification complète de l'intégrité des données et des métadonnées afin de s'assurer que les données de votre destination sont une copie exacte de votre source.
SUCCESS Le transfert est réussi.
ERROR La synchronisation a échoué.

Dimensions DataSync

Les mesures DataSync utilisent leAWS/DataSyncet fournit des métriques pour les dimensions suivantes :

  • AgentId ID unique de l'agent.

  • TaskId ID unique de la tâche. Il prend la forme task-01234567890abcdef.

Autoriser DataSync à télécharger des journaux vers des groupes de journaux Amazon CloudWatch Logs

Vous pouvez utiliser des groupes de journaux CloudWatch pour surveiller et déboguer vos tâches. Pour télécharger des journaux vers votre groupe de journaux, DataSync nécessite une stratégie de ressources qui accorde des autorisations suffisantes. Lorsque vous créez une tâche à l'aide duAWS Management Console, DataSync peut créer automatiquement la stratégie de ressources requise. Pour plus d'informations, consultez Configuration des paramètres de tâche.

Voici un exemple de stratégie de ressources qui accorde de telles autorisations.

{ "Statement": [ { "Sid": "DataSyncLogsToCloudWatchLogs", "Effect": "Allow", "Action": [ "logs:PutLogEvents", "logs:CreateLogStream" ], "Principal": { "Service": "datasync.amazonaws.com" }, "Condition": { "ArnLike": { "aws:SourceArn": [ "arn:aws:datasync:region:account-id:task/*" ] }, "StringEquals": { "aws:SourceAccount": "account-id" } }, "Resource": "arn:aws:logs:region:account-id:log-group:*:*" } ], "Version": "2012-10-17" }

La stratégie utilise des instructions de condition pour garantir que seules les tâches DataSync du compte spécifié ont accès au groupe de journaux CloudWatch spécifié. Nous vous recommandons d'utiliser laaws:SourceArnetaws:SourceAccountclés de contexte de condition globale dans ces énoncés de condition afin de se protéger contre le problème confus des adjoints. Pour plus d'informations, consultez Prévention du problème de l'adjoint confus entre services.

Pour spécifier la ou les tâches DataSync, remplacezregionavec le code de région pour leRégion AWSoù se trouvent les tâches et remplacentaccount-idavec leCompte AWSID du compte qui contient les tâches. Pour spécifier le groupe de journaux CloudWatch, remplacez les mêmes valeurs. Vous pouvez également modifier laResourcepour cibler des groupes de journaux spécifiques. Pour plus d'informations sur l'utilisation deSourceArnetSourceAccount, voirClés de condition globalesdans leIAM User Guide.

Pour appliquer la stratégie, enregistrez cette instruction de stratégie dans un fichier sur votre ordinateur local. Exécutez ensuite les opérations suivantes.AWS Command Line Interface(AWS CLI) pour appliquer la stratégie de ressources :

aws logs put-resource-policy --policy-name trustDataSync --policy-document file://full-path-to-policy-file
Note

Exécutez cette commande en utilisant la même commandeCompte AWSet la région dans laquelle votre agent DataSync est activé.

Pour plus d'informations sur les groupes de journaux CloudWatch, consultezUtilisation des groupes de journaux et des flux de journauxdans leGuide de l'utilisateur Amazon CloudWatch Logs.