Surveillance deAWS DataSync l'activité avec AmazonCloudWatch

Vous pouvez surveiller vosAWS DataSync données avec AmazonCloudWatch, qui collecte et traite les données brutes d'DataSyncen métriques lisibles et disponibles presque en temps réel. Ces statistiques sont conservées pour une durée de deux semaines.

Par défaut,DataSync les données des métriques avec toutesCloudWatch les minutes. Pour plus amples informations, veuillez consulter Qu'est-ce qu'AmazonCloudWatch ? dans le guide deCloudWatch l'utilisateur Amazon.

AmazonCloudWatch Metrics pourDataSync

AmazonCloudWatch fournit des statistiques que vous pouvez utiliser pour obtenir des informations sur lesDataSync performances et résoudre les problèmes. Vous pouvez consulterCloudWatch les statistiques àDataSync l'aide des outils suivants :

• Console CloudWatch 

• CLI CloudWatch

• API CloudWatch

• DataSyncconsole (page d'exécution des tâches)

Pour plus d'informations, consultez la section UtilisationCloudWatch des métriques Amazon dans le Guide deCloudWatch l'utilisateur Amazon.

Les métriques DataSync utilisent l'espace de noms AWS/DataSync et fournissent des métriques pour les dimensions suivantes :

• AgentId— L'identifiant unique de l'agent.

• TaskId— L'identifiant unique de la tâche. Elle prend la forme suivante : task-01234567890abcdef.

L'espace de noms AWS/DataSync inclut les métriques suivantes.

Métrique	Description
BytesCompressed	Nombre physique d'octets transférés sur le réseau après l'application de la compression. Dans la plupart des cas, ce nombre est inférieurBytesTransferred à moins que les données ne soient pas compressibles. Unité : octets
BytesPreparedDestination	Le nombre total d'octets de données qui sont prêts à l'emplacement de destination. Unité : octets
BytesPreparedSource	Le nombre total d'octets de données qui sont prêts à l'emplacement source. Unité : octets
BytesTransferred	Nombre total d'octets impliqués dans le transfert. Pour le nombre d'octets envoyés sur le réseau, consultezBytesCompressed. Unité : octets
BytesVerifiedDestination	Le nombre total d'octets de données qui sont vérifiés à l'emplacement de destination. Unité : octets
BytesVerifiedSource	Le nombre total d'octets de données qui sont vérifiés à l'emplacement source. Unités : octets
BytesWritten	La taille logique totale de tous les fichiers qui ont été transférés vers l'emplacement de destination. Unité : octets
FilesPreparedDestination	Le nombre total de fichiers qui sont prêts à l'emplacement de destination. Unité : nombre
FilesPreparedSource	Le nombre total de fichiers qui sont prêts à l'emplacement source. Unité : nombre
FilesTransferred	Le nombre réel de fichiers ou de métadonnées qui ont été transférés sur le réseau. Cette valeur est calculée et mise à jour en permanence au cours de laTRANSFERRING phase. Elle est mise à jour régulièrement lors de chaque fichier est lu à partir de l'emplacement source et envoyé sur le réseau. Si une erreur survient au cours d'un transfert, cette valeur peut être inférieure à EstimatedFilesToTransfer. Cette valeur peut également être supérieure à EstimatedFilesTransferred dans certains cas. Cet élément est propre à l'implémentation pour certains types d'emplacement, afin de ne pas l'utiliser comme indicateur pour un nombre de fichiers correct ou pour surveiller l'exécution de votre tâche. Unité : nombre
FilesVerifiedDestination	Le nombre total de fichiers qui sont vérifiés à l'emplacement de destination. Unité : nombre
FilesVerifiedSource	Le nombre total de fichiers qui sont vérifiés à l'emplacement source. Unité : nombre

EventBridgeÉvénements Amazon pourDataSync

EventBridgeLes événements Amazon décrivent les modifications apportées auxDataSync ressources. Vous pouvez configurer des règles pour faire correspondre ces événements et les acheminer vers un ou plusieurs flux ou fonctions cibles. Les événements sont générés sur la base du meilleur effort.

DataSyncévénements de transfert

LesEventBridge événements suivants sont disponibles pour lesDataSync transferts.

Agent state changes
Événement	Description
Online	The agent is configured properly and is available to use. This status is the normal running status for an agent.
Offline	The agent's VM is turned off or the agent is in an unhealthy state and has been out of contact with the service for 5 minutes or longer. When the issue that caused the unhealthy state is resolved, the agent returns to ONLINE status.
Location state changes
Événement	Description
Adding	DataSync is adding a location.
Available	The location is created and is available to use.
Task state changes
Événement	Description
Available	The task was created and is ready to start.
Running	The task is in progress and functioning properly.
Unavailable	The task isn't configured properly and can't be used. You may see this when an agent associated with the task goes offline.
Queued	Another task is running and using the same agent. DataSync runs tasks in series (first in, first out).
Task execution state changes
Événement	Description
Queueing	DataSync is waiting for another task that's using the same agent to finish.
Launching	DataSync is initializing the task execution.
Preparing	DataSync is determining which files need to be transferred.
Transferring	DataSync is performing the actual transfer of your data.
Verifying	DataSync performs a full data and metadata integrity verification to ensure that the data in your destination is an exact copy of your source.
Success	The transfer is successful.
Error	The transfer failed.

DataSyncÉvènements de découverte

LesEventBridge événements suivants sont disponibles pourDataSync Discovery.

Storage system state changes
Événement	Description
Storage System Connectivity Status Change	The connection between your DataSync agent and on-premises storage system changed. For details, see your CloudWatch logs.
Discovery job state changes
Événement	Description
Discovery Job State Change	The status of your discovery job changed. For more information, see États d'instance.
Discovery Job Expiration Soon	Your discovery job expires soon. This includes any information the discovery job collected about your on-premises storage system. Before the job expires, you can export collected data by using the DescribeStorageSystemResources and DescribeStorageSystemResourceMetrics operations.

DataSyncAutoriser le téléchargement de journaux vers des groupes deCloudWatch journaux

DataSyncnécessite des autorisations suffisantes pour envoyer des journaux à votre groupe deCloudWatch journaux. Lorsque vous créez une tâche à l'aide de la console, vousDataSync pouvez créer automatiquement une politique de ressources IAM avec les autorisations qui vous conviennent.

L'exemple suivant est une politique de ressources qui accorde ces autorisations.

{
    "Statement": [
        {
            "Sid": "DataSyncLogsToCloudWatchLogs",
            "Effect": "Allow",
            "Action": [
                "logs:PutLogEvents",
                "logs:CreateLogStream"
            ],
            "Principal": {
                "Service": "datasync.amazonaws.com"
            },
            "Condition": {
                "ArnLike": {
                    "aws:SourceArn": [
                        "arn:aws:datasync:region:account-id:task/*"
                    ]
                },
                "StringEquals": {
                    "aws:SourceAccount": "account-id"
                }
            },
            "Resource": "arn:aws:logs:region:account-id:log-group:*:*"
        }
    ],
    "Version": "2012-10-17"
}

La politique utilise des déclarations de conditions pour garantir que seules lesDataSync tâches du compte spécifié ont accès au groupe deCloudWatch journaux spécifié. Nous vous recommandons d'utiliser les clés contextuelles aws:SourceArnet aws:SourceAccountglobales dans ces déclarations de condition afin de vous protéger contre la confusion liée au problème des adjoints. Pour plus d'informations, veuillez consulter Prévention du problème de l'adjoint confus entre services.

Pour spécifier laDataSync ou les tâches, remplacez-le regionpar le code de région correspondant à l'Région AWSemplacement des tâches et remplacez-le account-idpar l'Compte AWSID du compte qui contient les tâches. Pour spécifier le groupe deCloudWatch journaux, remplacez les mêmes valeurs. Vous pouvez également modifier l'Resourceinstruction pour cibler des groupes de journaux spécifiques. Pour plus d'informations sur l'utilisation deSourceArn etSourceAccount, voir les clés de condition globales dans le guide de l'utilisateur IAM.

Pour appliquer la stratégie, enregistrez cette instruction de stratégie dans un fichier sur votre ordinateur local. Exécutez ensuite laAWS CLI commande suivante pour appliquer la politique de ressources :

aws logs put-resource-policy --policy-name trustDataSync --policy-document file://full-path-to-policy-file

Note

Exécutez cette commande en utilisant la même méthodeCompte AWS et l'Région AWSendroit où vous avez activé votreDataSync agent.

Pour plus amples informations, veuillez consulter Utilisation de données avec les suivis dans le Guide de l'utilisateur AmazonCloudWatch Logs.

Surveiller votreDataSync tâche à l'aide de la ligne de commande

Vous pouvez suivre vosDataSync tâches à l'aide de l'utilitaire UnixAWS Command Line Interface ou de l'watchutilitaire standard.

Rubriques

• Surveillez votre tâche à l'aide duAWS CLI
• Surveiller votre tâche à l'aide de l'watchutilitaire

Surveillez votre tâche à l'aide duAWS CLI

Pour contrôler l'état de votreDataSync tâche à l'aide de l'interface de ligne de commande, utilisez ladescribe-task-execution commande.

aws datasync describe-task-execution \
            --task-execution-arn 'arn:aws:datasync:region:account-id:task/task-id/execution/task-execution-id'

Cette commande renvoie des informations sur une exécution de tâche, similaires à celles indiquées ci-après.

{
    "BytesCompressed": 0,
    "BytesTransferred": 0,
    "BytesWritten": 0,
    "EstimatedFilesToTransfer": 0,
    "EstimatedBytesToTransfer": 0,
    "FilesTransferred": 0,
    "Options": {
        "VerifyMode": "POINT_IN_TIME_CONSISTENT",
        "Atime": "BEST_EFFORT",
        "Mtime": "PRESERVE",
        "Uid": "INT_VALUE",
        "Gid": "INT_VALUE",
        "PreserveDevices": "NONE",
        "PosixPermissions": "PRESERVE",
        "PreserveDeletedFiles": "PRESERVE",
        "OverwriteMode": "NEVER",
        "TaskQueueing": "ENABLED"
    },
    "Result": {
        "PrepareDuration": 4355,
        "PrepareStatus": "Ok",
        "TransferDuration": 5889,
        "TransferStatus": "Ok",
        "VerifyDuration": 4538,
        "VerifyStatus": "Pending"
    },
    "StartTime": 1532658526.949,
    "Status": "VERIFYING",
    "TaskExecutionArn": "arn:aws:datasync:us-east-1:112233445566:task/task-08de6e6697796f026/execution/exec-04ce9d516d69bd52f"
}

Si l'exécution de la tâche est réussie, la valeur du Statut passe à SUCCESS (RÉUSSITE). Si la commande describe-task-execution échoue, le résultat envoie des codes d'erreur qui peuvent vous aider à résoudre les problèmes. Pour de plus amples informations sur les codes d'erreur, veuillez consulter TaskExecutionResultDetail dans la Référence d'API DataSync.

Surveiller votre tâche à l'aide de l'watchutilitaire

Pour suivre la progression de votre tâche en temps réel à partir de la ligne de commande, vous pouvez utiliser l'watchutilitaire Unix standard. Les valeurs de durée d'exécution des tâches sont mesurées en millisecondes.

L'watchutilitaire ne reconnaît pas l'DataSyncalias. L'exemple suivant montre comment appeler directement la CLI.

# pass '-n 1' to update every second and '-d' to highlight differences 
        $ watch -n 1 -d \ "aws datasync describe-task-execution --task-execution-arn 'arn:aws:datasync:region:account-id:task/task-id/execution/task execution-id'"