AWS Snowball에서 데이터 유효성 검사 - AWS Snowball

이 안내서는 Snowball(50TB 또는 80TB 스토리지 공간)을 위한 것입니다. Snowball Edge에 대한 문서를 찾는 경우 AWS Snowball Edge 개발자 안내서를 참조하십시오.

AWS Snowball에서 데이터 유효성 검사

아래에서 Snowball이 데이터 전송의 유효성을 검사하는 방법에 대한 정보와, 작업 중과 작업 후에 데이터 무결성을 보장하기 위해 취할 수 있는 수동 단계를 확인할 수 있습니다.

전송된 데이터의 체크섬 유효성 검사

Snowball 클라이언트 또는 Snowball용 Amazon S3 어댑터을 사용하여 로컬 데이터 원본에서 Snowball로 파일을 복사하면 여러 체크섬이 생성됩니다. 이러한 체크섬은 전송되는 데이터의 유효성을 자동으로 검사하는 데 사용됩니다.

일반적으로 이러한 체크섬은 파일별로(또는 큰 파일의 부분에 대해) 생성됩니다. 이러한 체크섬은 표시되지 않으며 다운로드할 수 없습니다. 체크섬은 전송 전반에서 데이터의 무결성을 검증하는 데 사용되며, 데이터가 올바르게 복사되었는지 확인합니다.

이러한 체크섬이 일치하지 않는 경우 연결된 데이터를 Amazon S3으로 가져오지 않습니다.

일반적인 유효성 검사 오류

유효성 검사 오류가 발생할 수 있습니다. 유효성 검사 오류가 발생하면 해당 데이터(파일 또는 큰 파일의 일부)가 대상에 작성되지 않습니다. 유효성 검사 오류의 일반적인 원인은 다음과 같습니다.

  • 심볼 링크를 복사하려는 경우

  • 수정 중인 파일을 복사하려는 경우. 이로 인해 유효성 검사 오류가 발생하지는 않지만, 전송이 끝났을 때 체크섬이 일치하지 않게 됩니다.

  • 크기가 5TB 이상인 전체 파일을 복사하려는 경우

  • 크기가 512MB 이상인 부분을 복사하려는 경우

  • 데이터 스토리지 용량이 이미 다 찬 Snowball로 파일을 복사하려는 경우

  • Amazon S3에 대한 객체 키 명명 지침을 따르지 않는 Snowball로 파일을 복사하려는 경우

이러한 유효성 검사 오류 중 하나가 발생할 때마다 기록됩니다. 다음 단원에 설명된 대로 절차에 따라 유효성 검사에 실패한 파일과 그 이유를 수동으로 찾을 수 있습니다.

전송 중 Snowball의 수동 데이터 유효성 검사

수동 유효성 검사를 사용하여 데이터가 디바이스로 전송되었는지 확인할 수 있습니다. 데이터 전송을 시도한 후 오류가 발생한 경우에도 수동 유효성 검사를 사용할 수 있습니다. 다음 단원에는 Snowball에서 데이터의 유효성을 수동으로 검사하는 방법을 설명합니다.

실패한 파일 로그 확인 – Snowball 클라이언트

Snowball 클라이언트 copy 명령을 실행하면, Snowball로 전송할 수 없는 모든 파일을 보여 주는 로그가 생성됩니다. 데이터 전송 중에 오류가 발생하면 실패한 파일 로그의 경로가 터미널에 인쇄됩니다. 이 로그는 쉼표로 구분된 값(CSV) 파일로 저장됩니다. 운영 체제에 따라 다음 위치 중 한 곳에서 이 로그를 찾을 수 있습니다.

  • WindowsC:/Users/<username>/AppData/Local/Temp/snowball-<random-character-string>/failed-files

  • Linux/tmp/snowball-<random-character-string>/failed-files

  • Mac/var/folders/gf/<random-character-string>/<random-character-string>/snowball-7464536051505188504/failed-files

Snowball 클라이언트 복사 명령에 --verbose 옵션 사용

Snowball 클라이언트 copy 명령을 실행할 때, --verbose 옵션을 사용하여 Snowball로 전송되는 모든 파일을 나열할 수 있습니다. 이 목록을 사용하여 로 전송된 콘텐츠의 유효성을 검사할 수 있습니다.

로그 확인 – Snowball용 Amazon S3 어댑터

Snowball용 Amazon S3 어댑터을 실행하여 AWS CLI를 통해 데이터를 복사하면 로그가 생성됩니다. 이러한 로그는 파일 시스템에 따라 다음 위치에 저장됩니다.

  • WindowsC:/Users/<username>/.aws/snowball/logs/snowball_adapter_<year_month_date_hour>

  • Linux/home/.aws/snowball/logs/snowball_adapter_<year_month_date_hour>

  • Mac/Users/<username>/.aws/snowball/logs/snowball_adapter_<year_month_date_hour>

--stopOnError 복사 옵션 사용

Snowball 클라이언트를 통해 전송하는 경우, 이 옵션을 사용하여 파일이 실패했을 경우 전송 프로세스를 중지할 수 있습니다. 이 옵션은 실패 시 복사를 중지하므로 복사 작업을 계속하기 전에 해당 결함을 처리할 수 있습니다. 자세한 내용은 snowball cp 명령에 대한 옵션 단원을 참조하십시오.

Snowball 클라이언트의 유효성 검사 명령 실행

Snowball 클라이언트의 snowball validate 명령은 Snowball의 파일이 Snowball에 모두 완전히 복사되었는지 검증할 수 있습니다. 경로를 지정한 경우 경로에 지정된 콘텐츠와 하위 디렉터리를 확인합니다. 이 명령은 현재 전송 중이고 전송 상태가 미완료인 파일을 나열합니다. 유효성 검사 명령에 대한 자세한 내용은 Snowball 클라이언트에 대한 확인 명령을 참조하십시오.

Amazon S3으로 가져온 후 Snowball의 수동 데이터 유효성 검사

가져오기 작업이 완료되면 다음에 설명된 여러 옵션으로 Amazon S3의 데이터 유효성을 수동으로 검사할 수 있습니다.

작업 완료 보고서 및 연결된 로그 확인

Amazon S3에서 데이터를 가져오거나 내보낼 때마다 다운로드 가능한 PDF 작업 보고서가 생성됩니다. 가져오기 작업의 경우 가져오기 프로세스가 끝날 때 이 보고서를 사용할 수 있습니다. 자세한 내용은 콘솔에서 작업 완료 보고서 및 로그 가져오기 단원을 참조하십시오.

S3 인벤토리

여러 작업에서 Amazon S3으로 대량의 데이터를 전송한 경우, 각 작업 완료 보고서를 검토하게 되면 시간을 효율적으로 사용하지 못할 수 있습니다. 대신에 하나 이상의 Amazon S3 버킷에 있는 모든 객체의 인벤토리를 가져올 수 있습니다. Amazon S3 인벤토리는 매일 또는 매주 단위로 객체 및 해당 메타데이터를 보여 주는 .csv 파일을 제공합니다. 이 파일에는 버킷 또는 공유 접두사의 객체(즉 이름이 공통 문자열로 시작하는 객체)가 포함됩니다.

데이터를 가져온 Amazon S3 버킷의 인벤토리가 있으면 이를 원본 데이터 위치에 전송한 파일과 손쉽게 비교할 수 있습니다. 이러한 방법으로 전송되지 않은 파일을 신속하게 파악할 수 있습니다.

Amazon S3 동기화 명령 사용

워크스테이션을 인터넷에 연결할 수 있는 경우, AWS CLI 명령 aws s3 sync를 실행하여 전송된 모든 파일에 대한 최종 유효성 검사를 수행할 수 있습니다. 이 명령은 디렉터리 및 S3 접두사를 동기화합니다. 이 명령은 소스 디렉터리의 새 파일 및 업데이트된 파일을 대상에 복사합니다. 자세한 내용은 https://docs.aws.amazon.com/cli/latest/reference/s3/sync.html 단원을 참조하십시오.

중요

로컬 스토리지를 이 명령의 대상으로 지정한 경우, 동기화하는 파일의 백업이 있는지 확인하십시오. 이러한 파일은 지정된 Amazon S3 소스의 콘텐츠로 덮어쓰기됩니다.