아마존을 통한AWS DataSync 활동 모니터링CloudWatch

로부터 원시 데이터를 수집하여 읽기 가능하며 실시간에 가까운DataSync 지표로 처리하는CloudWatch Amazon을 통해AWS DataSync 모니터링할 수 있습니다. 이러한 통계는 15개월 동안 기록됩니다.

DataSync지표 데이터는 기본적으로 5분 간격으로CloudWatch 에 자동 전송됩니다. 자세한 내용은 Amazon이란 무엇입니까CloudWatch? 를 참조하세요. 아마존CloudWatch 사용 설명서에서 확인할 수 있습니다.

에 대한 아마존CloudWatch 메트릭스DataSync

CloudWatchAmazon은DataSync 성능에 대한 정보를 얻고 문제를 해결하는 데 사용할 수 있는 지표를 제공합니다. 다음 도구를 사용하여 에 대한CloudWatchDataSync 지표를 볼 수 있습니다.

• CloudWatch 콘솔

• CloudWatch CLI

• CloudWatch API

• DataSync콘솔 (작업 실행 페이지)

자세한 내용은 Amazon 사용CloudWatch 설명서의 AmazonCloudWatch 지표 사용을 참조하십시오.

DataSync 지표는 AWS/DataSync 네임스페이스를 사용하며 다음 차원의 지표를 제공합니다.

• AgentId— 상담원의 고유 ID.

• TaskId— 작업의 고유 ID. task-01234567890abcdef 형식을 사용합니다.

AWS/DataSync 네임스페이스에는 다음 지표가 포함되어 있습니다.

지표	설명
BytesCompressed	압축이 적용된 후 네트워크를 통해 전송된 물리적 바이트 수입니다. 대부분의 경우 데이터를 압축할 수 없는BytesTransferred 경우가 아니면 이 수치보다 작습니다. 단위: 바이트
BytesPreparedDestination	대상 위치에서 준비된 데이터의 총 바이트 수입니다. 단위: 바이트
BytesPreparedSource	소스 위치에서 준비된 데이터의 총 바이트 수입니다. 단위: 바이트
BytesTransferred	전송에 관련된 바이트의 총수. 네트워크를 통해 전송된 바이트 수는 를 참조하십시오BytesCompressed. 단위: 바이트
BytesVerifiedDestination	대상 위치에서 확인된 데이터의 총 바이트 수입니다. 단위: 바이트
BytesVerifiedSource	소스 위치에서 확인된 데이터의 총 바이트 수입니다. 단위: 바이트
BytesWritten	대상 위치로 전송된 모든 파일의 총 논리적 크기입니다. 단위: 바이트
FilesPreparedDestination	대상 위치에서 준비된 총 파일 수입니다. 단위: 수
FilesPreparedSource	소스 위치에서 준비된 총 파일 수입니다. 단위: 수
FilesTransferred	네트워크를 통해 전송된 파일 또는 메타데이터의 실제 수입니다. 이 값은TRANSFERRING 단계 중에 지속적으로 계산되고 업데이트됩니다. 각 파일을 소스 위치에서 읽고 네트워크를 통해 전송할 때 이 값은 주기적으로 업데이트됩니다. 전송 중에 오류가 발생할 경우, 이 값은 EstimatedFilesToTransfer보다 작을 수 있습니다. 경우에 따라 이 값은 EstimatedFilesTransferred보다 클 수도 있습니다. 이 요소는 일부 위치 유형에서 구현과 관련이 있으므로 이를 올바른 파일 번호를 나타내는 지표로서 사용하거나 혹은 작업 실행을 모니터링하는 데 사용하지 마십시오. 단위: 수
FilesVerifiedDestination	대상 위치에서 확인된 총 파일 수입니다. 단위: 수
FilesVerifiedSource	소스 위치에서 확인된 총 파일 수입니다. 단위: 수

에 대한 아마존EventBridge 이벤트DataSync

AmazonEventBridge 이벤트는DataSync 리소스 변경을 설명합니다. 규칙을 설정하면 일치하는 이러한 이벤트를 검색하고 하나 이상의 대상 함수 또는 스트림으로 이벤트를 라우팅할 수 있습니다. 이벤트는 최선의 작업을 기반으로 발생됩니다.

DataSync전송 이벤트

다음EventBridge 이벤트는DataSync 환승이 가능합니다.

Agent state changes
이벤트	설명
Online	The agent is configured properly and is available to use. This status is the normal running status for an agent.
Offline	The agent's VM is turned off or the agent is in an unhealthy state and has been out of contact with the service for 5 minutes or longer. When the issue that caused the unhealthy state is resolved, the agent returns to ONLINE status.
Location state changes
이벤트	설명
Adding	DataSync is adding a location.
Available	The location is created and is available to use.
Task state changes
이벤트	설명
Available	The task was created and is ready to start.
Running	The task is in progress and functioning properly.
Unavailable	The task isn't configured properly and can't be used. You may see this when an agent associated with the task goes offline.
Queued	Another task is running and using the same agent. DataSync runs tasks in series (first in, first out).
Task execution state changes
이벤트	설명
Queueing	DataSync is waiting for another task that's using the same agent to finish.
Launching	DataSync is initializing the task execution.
Preparing	DataSync is determining which files need to be transferred.
Transferring	DataSync is performing the actual transfer of your data.
Verifying	DataSync performs a full data and metadata integrity verification to ensure that the data in your destination is an exact copy of your source.
Success	The transfer is successful.
Error	The transfer failed.

DataSync디스커버리 이벤트

DataSyncDiscovery에서 사용할 수 있는EventBridge 이벤트는 다음과 같습니다.

Storage system state changes
이벤트	설명
Storage System Connectivity Status Change	The connection between your DataSync agent and on-premises storage system changed. For details, see your CloudWatch logs.
Discovery job state changes
이벤트	설명
Discovery Job State Change	The status of your discovery job changed. For more information, see 검색 작업 상태.
Discovery Job Expiration Soon	Your discovery job expires soon. This includes any information the discovery job collected about your on-premises storage system. Before the job expires, you can export collected data by using the DescribeStorageSystemResources and DescribeStorageSystemResourceMetrics operations.

로그 그룹에CloudWatch 로그 업로드 허용DataSync

DataSyncCloudWatch로그 그룹에 로그를 보내려면 충분한 권한이 필요합니다. 콘솔을 사용하여 작업을 생성하면 올바른 권한을 가진 IAM 리소스 정책을 자동으로 생성할DataSync 수 있습니다.

다음 예는 이러한 권한을 부여하는 리소스 정책입니다.

{
    "Statement": [
        {
            "Sid": "DataSyncLogsToCloudWatchLogs",
            "Effect": "Allow",
            "Action": [
                "logs:PutLogEvents",
                "logs:CreateLogStream"
            ],
            "Principal": {
                "Service": "datasync.amazonaws.com"
            },
            "Condition": {
                "ArnLike": {
                    "aws:SourceArn": [
                        "arn:aws:datasync:region:account-id:task/*"
                    ]
                },
                "StringEquals": {
                    "aws:SourceAccount": "account-id"
                }
            },
            "Resource": "arn:aws:logs:region:account-id:log-group:*:*"
        }
    ],
    "Version": "2012-10-17"
}

정책에서는 조건문을 사용하여 지정된 계정의DataSync 작업만 지정된CloudWatch 로그 그룹에 액세스할 수 있도록 합니다. 이러한 조건문에 aws:SourceArn및 aws:SourceAccount글로벌 조건 컨텍스트 키를 사용하여 혼동되는 대리 문제를 방지하는 것이 좋습니다. 자세한 정보는 교차 서비스 혼동된 대리자 예방을 참조하세요.

작업을 지정하려면DataSync 작업이 위치한 지역의 지역 코드로 바꾸고 작업이 포함된 계정의 account-idAWS 계정ID로 바꾸십시오. regionAWS 리전 CloudWatch로그 그룹을 지정하려면 동일한 값을 바꾸십시오. 특정 로그 그룹을 대상으로 하도록Resource 명령문을 수정할 수도 있습니다. SourceArn및SourceAccount 사용에 대한 자세한 내용은 IAM 사용 설명서의 글로벌 조건 키를 참조하십시오.

정책을 적용하려면 이 정책 설명을 로컬 컴퓨터의 파일에 저장합니다. 그런 다음 다음AWS CLI 명령을 실행하여 리소스 정책을 적용합니다.

aws logs put-resource-policy --policy-name trustDataSync --policy-document file://full-path-to-policy-file

참고

DataSync에이전트를 활성화한AWS 계정 시점과AWS 리전 동일한 명령을 사용하여 이 명령을 실행합니다.

자세한 내용을 알아보려면 AmazonCloudWatch Logs 사용 설명서의 로그 그룹 및 로그 스트림 작업 을 참조하세요.

명령줄에서DataSync 작업 모니터링하기

AWS Command Line Interface또는 표준 Unixwatch 유틸리티를 사용하여DataSync 작업을 추적할 수 있습니다.

주제

• 를 사용하여 작업 모니터링하기AWS CLI
• watch유틸리티를 사용하여 작업 모니터링

를 사용하여 작업 모니터링하기AWS CLI

CLI를 사용하여DataSync 작업 상태를 모니터링하려면describe-task-execution 명령을 사용합니다.

aws datasync describe-task-execution \
            --task-execution-arn 'arn:aws:datasync:region:account-id:task/task-id/execution/task-execution-id'

해당 명령은 다음과 비슷한 작업 실행에 관한 정보를 반환합니다.

{
    "BytesCompressed": 0,
    "BytesTransferred": 0,
    "BytesWritten": 0,
    "EstimatedFilesToTransfer": 0,
    "EstimatedBytesToTransfer": 0,
    "FilesTransferred": 0,
    "Options": {
        "VerifyMode": "POINT_IN_TIME_CONSISTENT",
        "Atime": "BEST_EFFORT",
        "Mtime": "PRESERVE",
        "Uid": "INT_VALUE",
        "Gid": "INT_VALUE",
        "PreserveDevices": "NONE",
        "PosixPermissions": "PRESERVE",
        "PreserveDeletedFiles": "PRESERVE",
        "OverwriteMode": "NEVER",
        "TaskQueueing": "ENABLED"
    },
    "Result": {
        "PrepareDuration": 4355,
        "PrepareStatus": "Ok",
        "TransferDuration": 5889,
        "TransferStatus": "Ok",
        "VerifyDuration": 4538,
        "VerifyStatus": "Pending"
    },
    "StartTime": 1532658526.949,
    "Status": "VERIFYING",
    "TaskExecutionArn": "arn:aws:datasync:us-east-1:112233445566:task/task-08de6e6697796f026/execution/exec-04ce9d516d69bd52f"
}

작업 실행이 성공하면 상태 값은 성공으로 변경됩니다. describe-task-execution 명령이 실패할 경우 실행 결과에서 문제를 해결하는 데 도움이 되는 오류 코드를 전송합니다. 오류 코드에 대한 자세한 내용은 DataSyncAPI 참조를 참조하십시오TaskExecutionResultDetail.

watch유틸리티를 사용하여 작업 모니터링

명령줄에서 실시간으로 작업 진행 상황을 모니터링하려면 표준 Unixwatch 유틸리티를 사용할 수 있습니다. 작업 실행 기간 값은 밀리초 단위로 측정됩니다.

watch유틸리티가DataSync 별칭을 인식하지 못합니다. 다음 예에서는 CLI를 직접 호출하는 방법을 보여줍니다.

# pass '-n 1' to update every second and '-d' to highlight differences 
        $ watch -n 1 -d \ "aws datasync describe-task-execution --task-execution-arn 'arn:aws:datasync:region:account-id:task/task-id/execution/task execution-id'"