AWSDataSync전송 관련 문제 해결

다음 항목에서는AWSDataSync 위치 및 작업에서 흔히 발생하는 문제와 이를 해결하는 방법을 설명합니다.

특정 NFS 또는 SMB 버전을 사용하여 파일 공유를DataSync 마운트하도록 구성하려면 어떻게 해야 합니까?

NFS (네트워크 파일 시스템) 또는 SMB (서버 메시지 블록) 를 지원하는 위치의 경우DataSync 기본적으로 프로토콜 버전을 선택합니다. DataSync콘솔 또는 API를 사용하여 버전을 직접 지정할 수도 있습니다.

취해야 할 조치 (DataSync콘솔)

NFS 또는 SMB 위치를 생성할 때 사용할 프로토콜 버전을 구성하십시오.DataSync 내용은 단NFS 파일 서버에서의 AWS DataSync 전송 구성 원을SMB 파일 서버에서의 AWS DataSync 전송 구성 참조하십시오.

취해야 할 조치 (DataSyncAPI)

NFS 또는 SMB 위치를 생성하거나 업데이트할 때Version 매개 변수를 지정하십시오. 예를 들어CreateLocationNfs 또는 을 참조하십시오CreateLocationSmb.

다음 예제AWS CLI 명령은 NFS 버전 4.0을 사용하여DataSync 마운트하는 NFS 위치를 생성합니다.

$ aws datasync create-location-nfs --server-hostname your-server-address \
   --on-prem-config AgentArns=your-agent-arns \
   --subdirectory nfs-export-path \
   --mount-options Version="NFS4_0"

다음 예제AWS CLI 명령은 SMB 버전 3을 사용하여DataSync 마운트하는 SMB 위치를 생성합니다.

$ aws datasync create-location-smb --server-hostname your-server-address \
   --on-prem-config AgentArns=your-agent-arns \
   --subdirectory smb-export-path \
   --mount-options Version="SMB3"

오류: 잘못된SyncOption 값입니다. 옵션:TransferModePreserveDeletedFiles, 값: 모두, 제거.

이 오류는DataSync 작업을 만들거나 편집할 때 모든 데이터 전송 옵션을 선택하고 삭제된 파일 유지 옵션을 선택 취소할 때 발생합니다. 모든 데이터를 전송할 때 대상 위치를 스캔하지DataSync 않으며 무엇을 삭제해야 할지 모릅니다.

EniNotFound오류가 발생하여 작업이 계속 실패합니다.

이 오류는 VPC (가상 사설 클라우드) 에서 작업의 네트워크 인터페이스 중 하나를 삭제하는 경우 발생합니다. 작업이 예약되어 있거나 대기열에 있는 경우 데이터를 전송하는 데 필요한 네트워크 인터페이스가 없으면 작업이 실패합니다.

취해야 할 조치

이 문제를 해결할 수 있는 옵션은 다음과 같습니다.

• 작업을 수동으로 다시 시작합니다. 이렇게DataSync 하면 작업을 실행하는 데 필요한 누락된 네트워크 인터페이스가 모두 생성됩니다.

• VPC의 리소스를 정리해야 하는 경우 아직 사용 중인DataSync 작업과 관련된 네트워크 인터페이스를 삭제하지 마세요.

  작업에 할당된 네트워크 인터페이스를 보려면 다음 중 하나를 참조하십시오.

  • DescribeTask작업을 사용하십시오. SourceNetworkInterfaceArns및DestinationNetworkInterfaceArns 응답 요소에서 네트워크 인터페이스를 볼 수 있습니다.

  • Amazon EC2 콘솔에서 작업 ID (예:task-f012345678abcdef0) 를 검색하여 해당 네트워크 인터페이스를 찾습니다.

• 작업을 자동으로 실행하지 않는 것이 좋습니다. 여기에는 작업 대기열 또는 일정 관리 (사용자 지정 자동화를 통한DataSync) 비활성화가 포함될 수 있습니다.

DataSync현재 서버 측 NFSv4 ID 매핑을 지원하지 않음 오류가 발생하여 작업이 실패했습니다.

전송과 관련된 파일 시스템에서 지원되지DataSync 않는 기능인 NFS 버전 4 ID 매핑을 사용하는 경우 이 오류가 발생할 수 있습니다.

취할 조치

이 문제를 해결할 수 있는 몇 가지 방법이 있습니다.

• NFS 버전 3을 사용하는 파일 시스템의 새DataSync 위치를 생성합니다.

• 파일 시스템에서 NFS 버전 4 ID 매핑을 비활성화합니다.

전송을 다시 시도하세요. 어떤 방법으로든 문제를 해결할 수 있습니다.

작업 상태가 사용할 수 없으며 마운트 오류가 표시됨

DataSync에이전트가 NFS 위치를 마운트할 수 없는 경우 작업을 사용할 수 없다는 메시지가 표시됩니다.

취할 조치

먼저 지정한 NFS 서버와 내보내기가 유효한지 확인합니다. 유효하지 않다면 작업을 삭제하고 올바른 NFS 서버를 사용해 작업을 새로 생성한 후 내보냅니다. 자세한 정보는 NFS 파일 서버에서의 AWS DataSync 전송 구성을 참조하세요.

NFS 서버와 내보내기가 모두 유효하다면 일반적으로 다음 두 가지 중 하나에 해당됩니다. 방화벽이 에이전트의 NFS 서버 탑재를 막고 있거나, 에이전트가 탑재하도록 NFS 서버가 구성되어 있지 않습니다.

에이전트와 NFS 서버 사이에 방화벽이 없는지 확인하십시오. 이후 에이전트가 작업에서 지정된 내보내기 엔드를 탑재하도록 NFS 서버를 구성했는지 확인합니다. 네트워크 및 방화벽 요건에 대한 정보는 AWS DataSync네트워크 요구 사항 섹션을 참조하십시오.

이러한 작업을 수행해도 에이전트가 여전히 NFS 서버를 마운트하고 내보낼 수 없는 경우 Support를 통해AWS Support 채널을 여십시오. 지원 채널을 여는 방법에 관한 자세한 내용은 에서 상담원 관련 도움 받기AWS Support를 참조하십시오.

메모리를 할당할 수 없음 오류가 발생하여 작업이 실패했습니다.

메모리를 할당할 수 없음 오류가 발생하여DataSync 작업이 실패하면 몇 가지 다른 문제가 발생할 수 있습니다.

취할 조치

문제가 더 이상 나타나지 않을 때까지 다음을 시도해 보세요.

• 전송에 상담원이 포함된 경우 상담원이 가상 머신 (VM) 요구 사항을 충족하는지 확인하세요.

• 필터를 사용하여 전송을 여러 작업으로 분할하세요. 한DataSync 작업에서 처리할 수 있는 양보다 더 많은 파일이나 객체를 전송하려고 할 수 있습니다.

• 그래도 문제가 지속되면 문의하세요AWS Support.

입력/출력 오류로 인해 작업이 실패했습니다.

스토리지 시스템이DataSync 에이전트의 I/O 요청에 실패할 경우 입력/출력 오류 메시지가 표시될 수 있습니다. 일반적인 원인으로는 서버 디스크 장애, 방화벽 구성 변경 또는 네트워크 라우터 장애가 있습니다.

오류가 NFS 서버 또는 Hadoop 분산 파일 시스템 (HDFS) 클러스터와 관련된 경우 다음 단계를 사용하여 오류를 해결하십시오.

취해야 할 조치 (NFS)

먼저 NFS 서버의 로그 및 지표를 점검하여 NFS 서버에서 문제가 시작되었는지 확인하십시오. 그렇다면 해당 문제를 해결하세요.

그런 다음, 네트워크 구성이 변경되지는 않았는지 확인하십시오. NFS 서버가 올바르게 구성되어 있고 해당 서버가 액세스할DataSync 수 있는지 확인하려면 다음을 수행하십시오.

1. 같은 네트워크 서브넷의 다른 NFS 클라이언트를 에이전트로 설정합니다.

2. 해당 클라이언트에 공유를 탑재합니다.

3. 클라이언트가 성공적으로 공유를 읽고 공유에 쓸 수 있는지 확인합니다.

취해야 할 조치 (HDFS)

HDFS 클러스터에서 에이전트가 클러스터NameNode 및DataNode 포트와 통신할 수 있는지 확인하십시오. 대부분의 클러스터에서 클러스터가 사용하는 포트 번호는 다음 구성 파일에서 찾을 수 있습니다.

1. NameNode포트를 찾으려면core-site.xml 파일의fs.default orfs.default.name 속성 (Hadoop 배포판에 따라 다름) 을 살펴보십시오.

2. DataNode포트를 찾으려면dfs.datanode.address 속성 아래에 있는hdfs-site.xml 파일을 살펴보십시오.

작업 실행이 시작 상태인데 아무 일도 일어나지 않는 것 같습니다.

지정된 소스 에이전트에게 작업을 시작하도록DataSync 지시할 수 없는 경우 작업 실행이 Lunching 상태에서 멈출 수 있습니다. 이러한 문제는 대체로 에이전트의 전원이 꺼졌거나 네트워크 연결이 끊겼을 때 발생합니다.

취할 조치

에이전트가 연결되어 있고 상태가 온라인인지 확인합니다. 상태가 오프라인일 경우, 에이전트는 연결되지 않습니다. 네트워크 연결을 테스트하는 방법에 대한 정보는 상담원의 연결 상태 테스트AWS 섹션을 참조하십시오.

그런 다음, 에이전트의 전원이 켜져 있는지 확인합니다. 전원이 꺼져있으면 전원을 켭니다.

에이전트의 전원이 켜져 있고 작업이 여전히 Lunching 상태에서 멈춘 경우 에이전트와 간의 네트워크 연결 문제가 발생할 가능성이 가장DataSync 높습니다. 에이전트가 DataSync에 연결될 수 있는지 확인하려면 네트워크 및 방화벽 설정을 점검합니다.

이러한 작업을 수행했는데도 문제가 해결되지 않으면 를 사용하여 지원 채널을 여십시오AWS Support. 지원 채널을 여는 방법에 관한 자세한 내용은 에서 상담원 관련 도움 받기AWS Support를 참조하십시오.

작업 실행이 오랫동안 준비 상태였습니다.

준비 중 상태에서 소요되는 시간은DataSync 소스 및 대상 파일 시스템의 파일 수와 해당 파일 시스템의 성능에 따라 달라집니다. 작업이 시작되면 DataSync는 재귀적 디렉터리 리스팅 작업을 수행하여 소스 및 대상 파일 시스템의 모든 파일과 파일 메타데이터를 검색합니다. 이 리스팅을 사용해 차이를 식별하고 복사 대상을 결정합니다. 이 프로세스는 대체로 몇 분에서 몇 시간이 걸립니다. 자세한 정보는 AWS DataSync태스크 시작하기을 참조하세요.

취할 조치

아무 것도 하지 않아도 돼요 준비 중 상태가 전송 중으로 변경될 때까지 계속 기다리세요. 그래도 상태가 바뀌지 않으면 문의하세요AWS Support.

권한 거부 오류로 인해 작업이 실패했습니다.

root_squash 또는 all_squash를 활성화하여 NFS 서버를 구성하고 파일에 읽기 액세스 권한이 부족하면 "권한 거부" 오류 메시지를 받을 수 있습니다.

취할 조치

이 문제를 해결하려면 no_root_squash로 NFS 내보내기를 구성하면 됩니다. 또는 전송할 모든 파일의 권한이 모든 사용자의 읽기 액세스를 허용하는지 확인하면 됩니다. 이렇게 하면 에이전트가 파일을 읽을 수 있습니다. 추가적으로 모든 실행 액세스를 활성화해야 에이전트가 디렉터리에 액세스할 수 있습니다.

디렉터리를 탑재할 수 있는지 확인하려면 먼저 에이전트와 동일한 네트워크 구성을 가진 컴퓨터에 연결한 후 다음 CLI 명령을 실행합니다.

mount -t nfs -o nfsvers=<your-nfs-server-version> <your-nfs-server-name>:<nfs-export-path-youspecified> <new-test-folder-on-your-computer>

이러한 작업을 수행했는데도 문제가 해결되지 않으면 에 문의하십시오AWS Support.

실행한 작업을 확인하는 데 얼마나 걸리나요?

DataSync가 확인 중 상태에 머무는 시간은 여러 가지 요인에 의해 결정됩니다. 파일 수, 소스 및 대상 파일 시스템에 있는 모든 파일의 총 크기, 이 파일 시스템의 성능이 그 요인입니다. 옵션 설정에서 Verification mode(확인 모드)는 기본적으로 활성화되어 있습니다. 확인DataSync 수행에는 모든 파일 내용에 대한 SHA256 체크섬과 모든 파일 메타데이터의 정확한 비교가 포함됩니다.

취할 조치

아무 것도 하지 않아도 돼요 VERIFIYING 상태가 완료될 때까지 계속 기다리세요. 그래도 상태가 바뀌지 않으면 문의하세요AWS Support.

다른 버킷에 있는 S3 버킷으로 전송할 때 작업이 실패함AWS 계정

동일한AWS 계정 리소스 간DataSync 전송과 달리 다른 S3 버킷에 데이터를AWS 계정 복사하려면 몇 가지 추가 단계가 필요합니다.

• S3 버킷 권한과 관련된 오류로 인해DataSync 작업이 실패하는 경우: 작업을 생성할 때 대상 S3 버킷의 정책에서 지정한 것과 동일한 IAM 역할을AWS Management Console 사용하여 로그인해야 합니다. (참고: 이것은 S3 버킷에 대한 쓰기DataSync 권한을 에 부여하는 IAM 역할이 아닙니다.

• 다른 버킷에 있는 버킷에도 데이터를AWS 리전 복사하고 있는데 S3 엔드포인트 연결 오류가 발생하는 경우: 대상 S3 버킷과 동일한 리전에DataSync 작업을 생성하십시오.

Amazon S3를 사용한 교차 계정 전송에 대한 전체 지침은 다음 자습서를 참조하십시오.

• 온프레미스 스토리지에서 다른 스토리지의 Amazon S3로 데이터 전송AWS 계정

• Amazon S3에서 Amazon S3로 데이터 전송AWS 계정

Google Cloud Storage 버킷에서 전송할 때 작업이 실패함

Amazon S3 API를 사용하여 Google Cloud Storage와DataSync 통신하기 때문에 객체 태그를 복사하려고 하면DataSync 작업이 실패할 수 있는 제한이 있습니다. 이 문제와 관련된 다음 메시지가CloudWatch 로그에 나타납니다.

[경고] 파일/사용자 버킷/사용자 객체에 대한 메타데이터를 읽지 못했습니다. S3 객체 태깅 가져오기 실패: 태깅하지 않고 진행

이를 방지하려면 작업 설정을 구성할 때 객체 태그 복사 옵션을 선택 취소하십시오.

작업 시작 및 종료 시간이 로그와 일치하지 않습니다.

DataSync콘솔에 표시되는 작업 실행의 시작 및 종료 시간은 전송과 관련된 다른 곳에서 볼 수 있는 타임스탬프마다 다를 수 있습니다. 이는 콘솔이 시작 또는 대기 상태에서 작업 실행에 소요되는 시간을 고려하지 않기 때문입니다.

예를 들어 AmazonCloudWatch 로그는 작업 실행이DataSync 콘솔에 표시된 것보다 늦게 종료되었음을 나타낼 수 있습니다. 다음과 같은 영역에서도 비슷한 불일치가 나타날 수 있습니다.

• 전송과 관련된 파일 시스템 또는 오브젝트 스토리지 시스템의 로그

• 메시지를DataSync 보낸 Amazon S3 객체의 마지막 수정 날짜

• DataSync에이전트에서 오는 네트워크 트래픽

• 아마존EventBridge 이벤트

오류: SyncTaskDeletedByUser

일부DataSync 워크플로를 자동화할 때 이 오류가 예기치 않게 나타날 수 있습니다. 예를 들어, 작업 실행이 완료되기 전에 작업을 삭제하거나 대기 중인 스크립트가 있을 수 있습니다.

이 문제를 해결하려면 이러한 유형의 작업이 겹치지 않도록 자동화를 다시 구성하세요.

오류: NoMem

전송하려는 데이터 세트가 너무 클 수DataSync 있습니다. 이 오류가 표시되면 AWS Support 센터에 문의하세요.

오류: FsS3UnableToConnectToEndpoint

DataSyncAmazon S3 위치에 연결할 수 없습니다. 이는 해당 위치의 S3 버킷에 연결할 수 없거나 위치가 올바르게 구성되지 않았음을 의미할 수 있습니다.

문제가 해결될 때까지 다음 작업을 수행하십시오.

• S3 버킷에 액세스할DataSync 수 있는지 확인하십시오.

• DataSync콘솔 또는 DescribeLocationS3 작업을 사용하여 위치가 올바르게 구성되었는지 확인하십시오.

오류: FsS3HeadBucketFailed

DataSync전송 대상 또는 전송 중인 S3 버킷에 액세스할 수 없습니다. Amazon S3 HeadBucket작업을 사용하여 버킷에 액세스할DataSync 권한이 있는지 확인합니다.