MonitoraggioAWS DataSync dell'attività con AmazonCloudWatch

È possibile eseguire il monitoraggioAWS DataSync tramite AmazonCloudWatch, che raccoglie i dati non elaborati da e li elaboraDataSync trasformandoli in parametri leggibili quasi in tempo reale. Queste statistiche sono conservate per un periodo di 15 mesi.

Per impostazione predefinita, i dati deiDataSync parametri vengono inviatiCloudWatch in intervalli di 5 minuti. Per ulteriori informazioni, consulta la pagina Che cos'è AmazonCloudWatch? nella Guida per l'CloudWatchutente di Amazon.

CloudWatchMetriche Amazon perDataSync

AmazonCloudWatch fornisce metriche che puoi utilizzare per ottenere informazioni sulleDataSync prestazioni e risolvere i problemi. Puoi visualizzare leCloudWatch metricheDataSync utilizzando i seguenti strumenti:

• Console CloudWatch

• CLI CloudWatch

• API CloudWatch

• DataSyncconsole (pagina di esecuzione delle attività)

Per informazioni, consulta UtilizzoCloudWatch delle metriche Amazon nella Guida per l'CloudWatchutente di Amazon.

I parametri di DataSync utilizzano lo spazio dei nomi AWS/DataSync e forniscono i parametri per le seguenti dimensioni:

• AgentId— L'ID univoco dell'agente.

• TaskId— L'ID univoco dell'attività. Presenta il formato task-01234567890abcdef.

Il namespace AWS/DataSync include i parametri descritti di seguito.

Parametro	Descrizione
BytesCompressed	Il numero fisico di byte trasferiti sulla rete dopo l'applicazione della compressione. Nella maggior parte dei casi, questo numero è inferioreBytesTransferred a meno che i dati non siano comprimibili. Unità: byte
BytesPreparedDestination	Il numero totale di byte di dati che sono preparati alla posizione di destinazione. Unità: byte
BytesPreparedSource	Il numero totale di byte di dati che sono preparati alla posizione di origine. Unità: byte
BytesTransferred	Numero totale di byte che sono coinvolti nel trasferimento. Per il numero di byte inviati tramite la rete, consulta la paginaBytesCompressed. Unità: byte
BytesVerifiedDestination	Il numero totale di byte di dati che sono verificati alla posizione di destinazione. Unità: byte
BytesVerifiedSource	Il numero totale di byte di dati che sono verificati alla posizione di origine. Unità: byte
BytesWritten	La dimensione logica totale di tutti i file che sono stati trasferiti nella posizione di destinazione. Unità: byte
FilesPreparedDestination	Il numero totale di file che sono preparati alla posizione di destinazione. Unità: numero
FilesPreparedSource	Il numero totale di file che sono preparati alla posizione di origine. Unità: numero
FilesTransferred	Il numero effettivo di file o metadati che sono trasferiti tramite la rete. Questo valore viene calcolato e aggiornato su base continuativa durante laTRANSFERRING fase. Viene aggiornato periodicamente quando ogni file viene letto dalla posizione di origine tramite la rete. Se durante il trasferimento si verificano dei guasti, il valore può essere inferiore a EstimatedFilesToTransfer. Questo valore può anche essere maggiore di EstimatedFilesTransferred in alcuni casi. Per alcuni tipi di posizione, questo elemento è specifico dell'implementazione, perciò non va utilizzato come indicatore di un numero corretto di file o per monitorare l'esecuzione dell'attività. Unità: numero
FilesVerifiedDestination	Il numero totale di file che sono verificati alla posizione di destinazione. Unità: numero
FilesVerifiedSource	Il numero totale di file che sono verificati alla posizione di origine. Unità: numero

EventBridgeEventi Amazon perDataSync

EventBridgeGli eventi Amazon descrivono i cambiamenti nelleDataSync risorse. Puoi configurare regole corrispondenti a questi eventi e instradarli verso una o più funzioni o flussi target. Gli eventi vengono emessi sulla base del best effort.

DataSynceventi di trasferimento

I seguentiEventBridge eventi sono disponibili perDataSync i trasferimenti.

Agent state changes
Evento	Descrizione
Online	The agent is configured properly and is available to use. This status is the normal running status for an agent.
Offline	The agent's VM is turned off or the agent is in an unhealthy state and has been out of contact with the service for 5 minutes or longer. When the issue that caused the unhealthy state is resolved, the agent returns to ONLINE status.
Location state changes
Evento	Descrizione
Adding	DataSync is adding a location.
Available	The location is created and is available to use.
Task state changes
Evento	Descrizione
Available	The task was created and is ready to start.
Running	The task is in progress and functioning properly.
Unavailable	The task isn't configured properly and can't be used. You may see this when an agent associated with the task goes offline.
Queued	Another task is running and using the same agent. DataSync runs tasks in series (first in, first out).
Task execution state changes
Evento	Descrizione
Queueing	DataSync is waiting for another task that's using the same agent to finish.
Launching	DataSync is initializing the task execution.
Preparing	DataSync is determining which files need to be transferred.
Transferring	DataSync is performing the actual transfer of your data.
Verifying	DataSync performs a full data and metadata integrity verification to ensure that the data in your destination is an exact copy of your source.
Success	The transfer is successful.
Error	The transfer failed.

DataSyncEventi di scoperta

I seguentiEventBridge eventi sono disponibili perDataSync Discovery.

Storage system state changes
Evento	Descrizione
Storage System Connectivity Status Change	The connection between your DataSync agent and on-premises storage system changed. For details, see your CloudWatch logs.
Discovery job state changes
Evento	Descrizione
Discovery Job State Change	The status of your discovery job changed. For more information, see individuazione di stati di lavoro.
Discovery Job Expiration Soon	Your discovery job expires soon. This includes any information the discovery job collected about your on-premises storage system. Before the job expires, you can export collected data by using the DescribeStorageSystemResources and DescribeStorageSystemResourceMetrics operations.

DataSyncConsentire il caricamento di registri in gruppi diCloudWatch log

DataSyncrichiede autorizzazioni sufficienti per inviare i log al tuo gruppo diCloudWatch log. Quando crei un'attività utilizzando la console,DataSync puoi creare automaticamente una politica di risorse IAM con le autorizzazioni corrette per te.

L'esempio seguente è una politica delle risorse che concede queste autorizzazioni.

{
    "Statement": [
        {
            "Sid": "DataSyncLogsToCloudWatchLogs",
            "Effect": "Allow",
            "Action": [
                "logs:PutLogEvents",
                "logs:CreateLogStream"
            ],
            "Principal": {
                "Service": "datasync.amazonaws.com"
            },
            "Condition": {
                "ArnLike": {
                    "aws:SourceArn": [
                        "arn:aws:datasync:region:account-id:task/*"
                    ]
                },
                "StringEquals": {
                    "aws:SourceAccount": "account-id"
                }
            },
            "Resource": "arn:aws:logs:region:account-id:log-group:*:*"
        }
    ],
    "Version": "2012-10-17"
}

La politica utilizza istruzioni condizionali per garantire che soloDataSync le attività dell'account specificato abbiano accesso al gruppo diCloudWatch log specificato. Si consiglia di utilizzare le chiavi contestuali delle condizioni aws:SourceAccountglobali aws:SourceArne globali in queste dichiarazioni sulle condizioni per proteggersi dal confuso problema secondario. Per ulteriori informazioni, consulta Prevenzione del problema "confused deputy" tra servizi.

Per specificare l'DataSyncattività o le attività, sostituiscile regioncon il codice di areaRegione AWS in cui si trovano le attività e sostituiscilo account-idcon l'Account AWSID dell'account che contiene le attività. Per specificare il gruppo diCloudWatch log, sostituite gli stessi valori. È inoltre possibile modificare l'Resourceistruzione in modo da indirizzare a gruppi di log specifici. Per ulteriori informazioni sull'utilizzo diSourceArn eSourceAccount, consulta le chiavi di condizione globali nella Guida per l'utente IAM.

Per applicare la policy, salvare questa istruzione di policy in un file nel computer locale. Quindi esegui il seguenteAWS CLI comando per applicare la politica delle risorse:

aws logs put-resource-policy --policy-name trustDataSync --policy-document file://full-path-to-policy-file

Nota

Esegui questo comando usando lo stessoAccount AWS eRegione AWS dove hai attivato il tuoDataSync agente.

Per informazioni, consulta la pagina Utilizzo di gruppi di log e flussi di log nella Guida per l'utente di AmazonCloudWatch Logs.

Monitoraggio dell'DataSyncattività dalla riga di comando

Puoi tenere traccia delle tueDataSync attività con l'utilità UnixAWS Command Line Interface o con l'watchutilità standard di Unix.

Argomenti

• Monitoraggio dell'attività utilizzando ilAWS CLI
• Monitoraggio dell'attività tramite l'watchutilità

Monitoraggio dell'attività utilizzando ilAWS CLI

Per monitorare lo stato dell'DataSyncattività con la CLI, usa ildescribe-task-execution comando.

aws datasync describe-task-execution \
            --task-execution-arn 'arn:aws:datasync:region:account-id:task/task-id/execution/task-execution-id'

Questo comando restituisce informazioni sull'esecuzione di un'attività simili a quelle mostrate di seguito.

{
    "BytesCompressed": 0,
    "BytesTransferred": 0,
    "BytesWritten": 0,
    "EstimatedFilesToTransfer": 0,
    "EstimatedBytesToTransfer": 0,
    "FilesTransferred": 0,
    "Options": {
        "VerifyMode": "POINT_IN_TIME_CONSISTENT",
        "Atime": "BEST_EFFORT",
        "Mtime": "PRESERVE",
        "Uid": "INT_VALUE",
        "Gid": "INT_VALUE",
        "PreserveDevices": "NONE",
        "PosixPermissions": "PRESERVE",
        "PreserveDeletedFiles": "PRESERVE",
        "OverwriteMode": "NEVER",
        "TaskQueueing": "ENABLED"
    },
    "Result": {
        "PrepareDuration": 4355,
        "PrepareStatus": "Ok",
        "TransferDuration": 5889,
        "TransferStatus": "Ok",
        "VerifyDuration": 4538,
        "VerifyStatus": "Pending"
    },
    "StartTime": 1532658526.949,
    "Status": "VERIFYING",
    "TaskExecutionArn": "arn:aws:datasync:us-east-1:112233445566:task/task-08de6e6697796f026/execution/exec-04ce9d516d69bd52f"
}

Se l'esecuzione dell'attività riesce, il valore di Status (Stato) cambia in SUCCESS (RIUSCITO). Se il comando describe-task-execution ha esito negativo, il risultato invia codici di errore che consentono di risolvere i problemi. Per informazioni sui codici di errore, consulta TaskExecutionResultDetail nella Documentazione di riferimento delle API DataSync.

Monitoraggio dell'attività tramite l'watchutilità

Per monitorare l'avanzamento dell'attività in tempo reale dalla riga di comando, è possibile utilizzare l'watchutilità Unix standard. I valori della durata dell'esecuzione delle attività vengono misurati in millisecondi.

L'watchutilità non riconosce l'DataSyncalias. Il seguente esempio illustra come richiamare direttamente la CLI.

# pass '-n 1' to update every second and '-d' to highlight differences 
        $ watch -n 1 -d \ "aws datasync describe-task-execution --task-execution-arn 'arn:aws:datasync:region:account-id:task/task-id/execution/task execution-id'"