MonitorandoAWS DataSync a atividade com a AmazonCloudWatch

É possível monitorarAWS DataSync usando o AmazonCloudWatch, que coleta e processa os dados brutos doDataSync em métricas legíveis, quase em tempo real. Essas estatísticas são mantidas durante um período de 15 meses.

Por padrão,DataSync os dados de métrica do são enviados automaticamente para oCloudWatch em intervalos de 5. Para obter mais informações, consulte O que é a AmazonCloudWatch? no Guia doCloudWatch usuário da Amazon.

CloudWatchMétricas da Amazon paraDataSync

CloudWatchA Amazon fornece métricas que você pode usar para obter informações sobreDataSync desempenho e solucionar problemas. Você pode verCloudWatch as métricasDataSync usando as seguintes ferramentas:

• Console do CloudWatch

• CLI do CloudWatch

• CloudWatch API

• DataSyncconsole (página de execução de tarefas)

Para obter mais informações, consulte Como usarCloudWatch métricas da Amazon no GuiaCloudWatch do usuário da Amazon.

As métricas do DataSync usam namespace do AWS/DataSync e fornecem métricas para as seguintes dimensões:

• AgentId— O ID exclusivo do agente.

• TaskId— O ID exclusivo da tarefa. Ele segue o formato task-01234567890abcdef.

O namespace AWS/DataSync inclui as métricas a seguir.

Métrica	Descrição
BytesCompressed	O número físico de bytes transferidos pela rede após a aplicação da compressão. Na maioria dos casos, esse número é menor do que,BytesTransferred a menos que os dados não sejam compactáveis. Unidade: bytes
BytesPreparedDestination	O número total de bytes de dados que são preparados no local de destino. Unidade: bytes
BytesPreparedSource	O número total de bytes de dados que são preparados no local de origem. Unidade: bytes
BytesTransferred	O número total de bytes envolvidos na transferência. Para o número de bytes enviados via rede, consulteBytesCompressed. Unidade: bytes
BytesVerifiedDestination	O número total de bytes de dados que são verificados no local de destino. Unidade: bytes
BytesVerifiedSource	O número total de bytes de dados que são verificados no local de origem. Unidade: bytes
BytesWritten	O tamanho lógico total de todos os arquivos que foram transferidos para o local de destino. Unidade: bytes
FilesPreparedDestination	O número total de arquivos que são preparados no local de destino. Unidade: contagem
FilesPreparedSource	O número total de arquivos que são preparados no local de origem. Unidade: contagem
FilesTransferred	O número real de arquivos ou metadados que foram transferidos pela rede. Esse valor é calculado e atualizado continuamente durante aTRANSFERRING fase. Ele é atualizado periodicamente quando cada arquivo é lido a partir do local de origem e enviado pela rede. Se ocorrem falhas durante uma transferência, esse valor pode ser menor que EstimatedFilesToTransfer. Esse valor também pode ser maior que EstimatedFilesTransferred em alguns casos. Esse elemento é específico da implementação para alguns tipos de local e, portanto, não use-o como um indicador para um número de arquivo correto nem para monitorar a execução da tarefa. Unidade: contagem
FilesVerifiedDestination	O número total de arquivos que são verificados no local de destino. Unidade: contagem
FilesVerifiedSource	O número total de arquivos que são verificados no local de origem. Unidade: contagem

EventBridgeEventos da Amazon paraDataSync

EventBridgeOs eventos da Amazon descrevem mudanças nosDataSync recursos. Você pode configurar regras para corresponder a eventos e roteá-los para um ou mais streams ou funções de destino. Os eventos são emitidos com base no melhor esforço.

DataSynceventos de transferência

Os seguintesEventBridge eventos estão disponíveis paraDataSync transferências.

Agent state changes
Evento	Descrição
Online	The agent is configured properly and is available to use. This status is the normal running status for an agent.
Offline	The agent's VM is turned off or the agent is in an unhealthy state and has been out of contact with the service for 5 minutes or longer. When the issue that caused the unhealthy state is resolved, the agent returns to ONLINE status.
Location state changes
Evento	Descrição
Adding	DataSync is adding a location.
Available	The location is created and is available to use.
Task state changes
Evento	Descrição
Available	The task was created and is ready to start.
Running	The task is in progress and functioning properly.
Unavailable	The task isn't configured properly and can't be used. You may see this when an agent associated with the task goes offline.
Queued	Another task is running and using the same agent. DataSync runs tasks in series (first in, first out).
Task execution state changes
Evento	Descrição
Queueing	DataSync is waiting for another task that's using the same agent to finish.
Launching	DataSync is initializing the task execution.
Preparing	DataSync is determining which files need to be transferred.
Transferring	DataSync is performing the actual transfer of your data.
Verifying	DataSync performs a full data and metadata integrity verification to ensure that the data in your destination is an exact copy of your source.
Success	The transfer is successful.
Error	The transfer failed.

DataSyncEventos de descoberta

Os seguintesEventBridge eventos estão disponíveis para oDataSync Discovery.

Storage system state changes
Evento	Descrição
Storage System Connectivity Status Change	The connection between your DataSync agent and on-premises storage system changed. For details, see your CloudWatch logs.
Discovery job state changes
Evento	Descrição
Discovery Job State Change	The status of your discovery job changed. For more information, see status de descoberta do trabalho.
Discovery Job Expiration Soon	Your discovery job expires soon. This includes any information the discovery job collected about your on-premises storage system. Before the job expires, you can export collected data by using the DescribeStorageSystemResources and DescribeStorageSystemResourceMetrics operations.

DataSyncPermitindo o upload de registros para gruposCloudWatch de registros

DataSyncrequer permissões suficientes para enviar registros ao seu grupo deCloudWatch registros. Quando você cria uma tarefa usando o console,DataSync pode criar automaticamente uma política de recursos do IAM com as permissões corretas para você.

O exemplo a seguir é uma política de recursos que concede essas permissões.

{
    "Statement": [
        {
            "Sid": "DataSyncLogsToCloudWatchLogs",
            "Effect": "Allow",
            "Action": [
                "logs:PutLogEvents",
                "logs:CreateLogStream"
            ],
            "Principal": {
                "Service": "datasync.amazonaws.com"
            },
            "Condition": {
                "ArnLike": {
                    "aws:SourceArn": [
                        "arn:aws:datasync:region:account-id:task/*"
                    ]
                },
                "StringEquals": {
                    "aws:SourceAccount": "account-id"
                }
            },
            "Resource": "arn:aws:logs:region:account-id:log-group:*:*"
        }
    ],
    "Version": "2012-10-17"
}

A política usa declarações de condição para garantir que somenteDataSync as tarefas da conta especificada tenham acesso ao grupo deCloudWatch registros especificado. Recomendamos o uso das chaves de contexto de condição aws:SourceAccountglobal aws:SourceArne global nessas declarações de condição para se proteger contra o problema confuso do delegado. Para obter mais informações, consulte Prevenção do problema do substituto confuso entre serviços.

Para especificar aDataSync tarefa ou tarefas, regionsubstitua pelo código de região paraRegião da AWS onde as tarefas estão localizadas e account-idsubstitua peloConta da AWS ID da conta que contém as tarefas. Para especificar o grupo deCloudWatch registros, substitua os mesmos valores. Você também pode modificar aResource instrução para direcionar grupos de registros específicos. Para obter mais informações sobre como usarSourceArn eSourceAccount, consulte Chaves de condição globais no Guia do usuário do IAM.

Para aplicar a política, salve essa instrução de política em um arquivo no computador local. Em seguida, execute oAWS CLI comando a seguir para aplicar a política de recursos:

aws logs put-resource-policy --policy-name trustDataSync --policy-document file://full-path-to-policy-file

nota

Execute esse comando usando o mesmoConta da AWS eRegião da AWS onde você ativou seuDataSync agente.

Para obter mais informações, consulte Trabalhar com grupos de logs e fluxos de CloudWatchlogs no Guia do usuário do Amazon Logs.

Monitorando suaDataSync tarefa via linha de comando

Você pode monitorar suasDataSync tarefas com o utilitário Unix padrãoAWS Command Line Interface ou com owatch utilitário Unix.

Tópicos

• Monitorando sua tarefa usando oAWS CLI
• Monitorando sua tarefa usando owatch utilitário

Monitorando sua tarefa usando oAWS CLI

Para monitorar o status da suaDataSync tarefa com a CLI, use odescribe-task-execution comando.

aws datasync describe-task-execution \
            --task-execution-arn 'arn:aws:datasync:region:account-id:task/task-id/execution/task-execution-id'

Esse comando retornará informações sobre a execução da tarefa, semelhantes às mostradas a seguir.

{
    "BytesCompressed": 0,
    "BytesTransferred": 0,
    "BytesWritten": 0,
    "EstimatedFilesToTransfer": 0,
    "EstimatedBytesToTransfer": 0,
    "FilesTransferred": 0,
    "Options": {
        "VerifyMode": "POINT_IN_TIME_CONSISTENT",
        "Atime": "BEST_EFFORT",
        "Mtime": "PRESERVE",
        "Uid": "INT_VALUE",
        "Gid": "INT_VALUE",
        "PreserveDevices": "NONE",
        "PosixPermissions": "PRESERVE",
        "PreserveDeletedFiles": "PRESERVE",
        "OverwriteMode": "NEVER",
        "TaskQueueing": "ENABLED"
    },
    "Result": {
        "PrepareDuration": 4355,
        "PrepareStatus": "Ok",
        "TransferDuration": 5889,
        "TransferStatus": "Ok",
        "VerifyDuration": 4538,
        "VerifyStatus": "Pending"
    },
    "StartTime": 1532658526.949,
    "Status": "VERIFYING",
    "TaskExecutionArn": "arn:aws:datasync:us-east-1:112233445566:task/task-08de6e6697796f026/execution/exec-04ce9d516d69bd52f"
}

Se a execução da tarefa for bem-sucedida, o valor de Status será alterado para SUCCESS (Êxito). Se houver falha no comando describe-task-execution, o resultado enviará códigos de erro que poderão ajudar você a solucionar problemas. Para obter informações sobre os códigos de erro, consulte TaskExecutionResultDetail na Referência da API do DataSync.

Monitorando sua tarefa usando owatch utilitário

Para monitorar o progresso de sua tarefa em tempo real a partir da linha de comando, você pode usar owatch utilitário padrão do Unix. Os valores da duração da execução da tarefa são medidos em milissegundos.

Owatch utilitário não reconhece oDataSync alias. O exemplo a seguir mostra como invocar a CLI diretamente.

# pass '-n 1' to update every second and '-d' to highlight differences 
        $ watch -n 1 -d \ "aws datasync describe-task-execution --task-execution-arn 'arn:aws:datasync:region:account-id:task/task-id/execution/task execution-id'"