Snowball Edge 작업을 사용해 데이터 유효성 검사 - AWS Snowball Edge 개발자 가이드

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Snowball Edge 작업을 사용해 데이터 유효성 검사

아래에서 AWS Snowball Edge가 데이터 전송의 유효성을 검사하는 방법에 대한 정보와, 작업 중과 작업 후에 데이터 무결성을 보장하기 위해 취할 수 있는 수동 단계를 확인할 수 있습니다.

전송된 데이터의 체크섬 유효성 검사

Amazon S3 인터페이스를 사용하여 로컬 데이터 소스에서 Snowball Edge로 파일을 복사하면 여러 체크섬이 생성됩니다. 이러한 체크섬은 전송되는 데이터의 유효성을 자동으로 검사하는 데 사용됩니다.

일반적으로 이러한 체크섬은 파일별로(또는 큰 파일의 부분에 대해) 생성됩니다. Snowball Edge의 경우 디바이스의 버킷에 대해 다음 AWS CLI 명령을 실행하면 이러한 체크섬이 표시됩니다. 체크섬은 전송 전반에서 데이터의 무결성을 검증하는 데 사용되며, 데이터가 올바르게 복사되었는지 확인하는 데 도움이 됩니다.

aws s3api list-objects --bucket bucket-name --endpoint http://ip:8080 --profile edge-profile

이러한 체크섬이 일치하지 않는 경우 연결된 데이터를 Amazon S3로 가져오지 않습니다.

Snowball 전송 중 로컬 인벤토리 생성

Amazon S3 어댑터 또는 CLI를 사용할 때 Snowball에 복사된 파일의 로컬 인벤토리를 생성합니다. 로컬 인벤토리의 콘텐츠를 사용하여 로컬 스토리지 또는 서버의 내용과 비교할 수 있습니다.

예:

aws s3 cp folder/ s3://bucket --recursive > inventory.txt

일반적인 유효성 검사 오류

유효성 검사 오류가 발생하면 해당 데이터(파일 또는 큰 파일의 일부)가 대상에 작성되지 않습니다. 유효성 검사 오류의 일반적인 원인은 다음과 같습니다.

  • 심볼 링크를 복사하려는 경우.

  • 수정 중인 파일을 복사하려는 경우. 이 시도는 체크섬 검증에 실패하고 전송 실패로 표시됩니다.

  • 크기가 5TB보다 큰 파일을 복사하려는 경우.

  • 크기가 2GiB보다 큰 부품 크기를 복사하려는 경우.

  • 데이터 스토리지 용량이 이미 다 찬 Snowball Edge 디바이스로 파일을 복사하려는 경우

  • Amazon S3에 대한 객체 키 명명 지침을 따르지 않는 Snowball Edge 디바이스로 파일을 복사하려는 경우

이러한 유효성 검사 오류 중 하나가 발생하면 해당 내역이 기록됩니다. 절차에 따라 유효성 검사에 실패한 파일과 그 이유를 수동으로 찾을 수 있습니다. 자세한 내용은 Amazon S3로 가져온 후 Snowball Edge의 수동 데이터 유효성 검사 섹션을 참조하십시오.

Amazon S3로 가져온 후 Snowball Edge의 수동 데이터 유효성 검사

가져오기 작업이 완료되면 다음에 설명된 여러 옵션으로 Amazon S3의 데이터 유효성을 수동으로 검사할 수 있습니다.

작업 완료 보고서 및 연결된 로그 확인

Amazon S3에서 데이터를 가져오거나 내보낼 때마다 다운로드 가능한 PDF 작업 보고서가 생성됩니다. 가져오기 작업의 경우 가져오기 프로세스가 끝날 때 이 보고서를 사용할 수 있습니다. 자세한 내용은 콘솔에서 작업 완료 보고서 및 로그 가져오기 섹션을 참조하십시오.

S3 인벤토리

여러 작업에서 Amazon S3로 대량의 데이터를 전송한 경우, 각 작업 완료 보고서를 검토하게 되면 시간을 효율적으로 사용하지 못할 수 있습니다. 대신 하나 이상의 Amazon S3 버킷에 있는 모든 객체의 인벤토리를 가져올 수 있습니다. Amazon S3 인벤토리는 일일 또는 주간 기준으로 객체 및 해당 메타데이터를 보여 주는 CSV(쉼표로 구분된 값) 파일을 제공합니다. 이 파일에는 Amazon S3 버킷 또는 공유 접두사의 객체(즉 이름이 공통 문자열로 시작하는 객체)가 포함됩니다.

데이터를 가져온 Amazon S3 버킷의 인벤토리가 있으면 이를 원본 데이터 위치에 전송한 파일과 손쉽게 비교할 수 있습니다. 이러한 방법으로 전송되지 않은 파일을 신속하게 파악할 수 있습니다.

Amazon S3 동기화 명령을 사용합니다.

워크스테이션을 인터넷에 연결할 수 있는 경우, AWS CLI 명령 aws s3 sync를 실행하여 전송된 모든 파일에 대한 최종 유효성 검사를 수행할 수 있습니다. 이 명령은 디렉터리 및 S3 접두사를 동기화합니다. 이 명령은 소스 디렉터리의 새 파일 및 업데이트된 파일을 대상에 복사합니다. 자세한 내용은 AWS CLI 명령 레퍼런스동기화 섹션을 참조하십시오.

중요

로컬 스토리지를 이 명령의 대상으로 지정한 경우, 동기화하는 파일의 백업이 있는지 확인하십시오. 이러한 파일은 지정된 Amazon S3 소스의 콘텐츠로 덮어쓰기됩니다.