를 사용한 대규모 데이터 마이그레이션 AWS Snow Family devices

온프레미스 위치에서 대용량 데이터를 마이그레이션하려면 신중한 계획, 오케스트레이션, 실행이 필요합니다. 그래야만 데이터를 성공적으로 AWS에 마이그레이션할 수 있습니다.

기한을 넘기거나 예산을 초과하거나 마이그레이션에 실패할 가능성을 방지하기 위해 마이그레이션을 시작하기 전에 데이터 마이그레이션 전략을 마련하는 것이 좋습니다. AWS Snow 서비스는 의 Snow Family Large Data Migration Manager(LDMM) 기능을 통해 대규모 데이터 마이그레이션 프로젝트를 배치, 주문 및 추적하는 데 도움이 됩니다 AWS Snow 패밀리 관리 콘솔.

주제, Snow Family 디바이스를 사용한 대규모 전송 계획 및 Snow Family 디바이스를 사용한 대규모 전송 보정에서는 수동 데이터 마이그레이션 프로세스를 설명합니다. Snow Family LDMM 마이그레이션 계획을 사용하여 수동 단계를 간소화할 수 있습니다.

주제

• Snow Family 디바이스를 사용한 대규모 전송 계획
• Snow Family 디바이스를 사용한 대규모 전송 보정
• Snow Family 디바이스로 대규모 데이터 마이그레이션 계획 생성
• Snow Family 디바이스에서 대규모 데이터 마이그레이션 계획 사용

Snow Family 디바이스를 사용한 대규모 전송 계획

다음 섹션의 지침에 따라 현장에 있는 AWS Snowball Edge 디바이스와 서버 간의 대용량 데이터 전송을 계획하고 보정하는 것이 좋습니다.

1단계: 클라우드로 이동하는 대상 이해

를 사용하여 첫 번째 작업을 생성하기 전에 전송해야 하는 데이터의 양 AWS Snow 패밀리 관리 콘솔, 현재 저장 위치 및 전송하려는 대상을 평가해야 합니다. 페타바이트 규모 이상의 데이터를 전송하는 경우 이러한 관리 정보를 알면 Snow Family 디바이스가 도착할 때 훨씬 더 쉽게 작업을 진행할 수 있습니다.

데이터를 AWS 클라우드 로 처음 마이그레이션하는 경우 클라우드 마이그레이션 모델을 설계하는 것이 좋습니다. 클라우드 마이그레이션은 하룻밤 사이에 이루어지지 않습니다. 모든 시스템이 예상대로 작동하도록 하려면 신중한 계획 프로세스를 거쳐야 합니다.

이 단계를 완료하면 클라우드로 이동할 총 데이터 양을 알게 됩니다.

2단계: 대상 전송 속도 계산

각 서버에 연결된 Snow Family 디바이스에 얼마나 빠르게 데이터를 전송할 수 있는지 예상해야 합니다. 이 예상 속도(MB/초)는 로컬 네트워크 인프라를 사용하여 데이터 소스에서 Snowball Edge 디바이스로 데이터를 전송할 수 있는 속도를 결정합니다.

참고

대용량 데이터 전송의 경우 Amazon S3를 사용하여 데이터를 전송하는 것이 좋습니다. AWS Snow 패밀리 관리 콘솔에서 디바이스를 주문할 때 이 옵션을 선택해야 합니다.

기준 전송 속도를 결정하려면 데이터의 소규모 하위 집합을 Snowball Edge 디바이스로 전송하거나 10GB의 샘플 파일을 전송하고 처리량을 관찰합니다.

대상 전송 속도를 확인하는 동안 네트워크 속도, 전송 중인 파일의 크기, 로컬 서버에서 데이터를 읽는 속도를 변경하는 등 환경(네트워크 구성 포함)을 조정하여 처리량을 개선할 수 있다는 점에 유의해야 합니다. Amazon S3 어댑터는 조건이 허용하는 한 신속히 Snow Family 디바이스에 데이터를 복사합니다.

3단계: 필요한 Snow Family 디바이스의 수 확인

클라우드로 이동할 계획인 총 데이터 양, 예상 전송 속도 및 데이터를 로 이동할 수 있도록 허용하려는 일수를 사용하여 대규모 데이터 마이그레이션에 필요한 Snow Family 디바이스 수를 AWS결정합니다. 디바이스 유형에 따라 Snowball Edge 디바이스에는 약 39.5TB 또는 210TB의 사용 가능한 스토리지 공간이 있습니다. 예를 들어 300TB의 데이터를 10일 AWS 이상으로 이동하고 전송 속도가 250MB/s인 경우 210TB의 스토리지가 포함된 Snowball Edge 디바이스 2개가 필요합니다.

참고

는 AWS Snow Family devices LDMM 동시에 지원할 수 AWS Snow Family devices 있는 의 수를 추정하는 마법사를 제공합니다. 자세한 내용은 Snow Family 디바이스로 대규모 데이터 마이그레이션 계획 생성 단원을 참조하십시오.

4단계: 작업 생성

필요한 Snow Family 디바이스 수를 파악한 후에는 각 디바이스에 대해 가져오기 작업을 생성해야 합니다. 여러 작업 생성은 Snow Family 에 의해 간소화됩니다LDMM. 자세한 내용은 다음 작업 주문하기 단원을 참조하십시오.

참고

권장 작업 주문 일정에서 바로 다음 작업을 주문하고 계획에 자동으로 추가할 수 있습니다. 자세한 내용은 권장 작업 주문 일정 단원을 참조하십시오.

5단계: 데이터를 전송 세그먼트로 분리

여러 개의 작업이 관련된 대용량 데이터 전송의 경우 다수의 소용량 관리 가능 데이터 집합으로 데이터를 로컬에서 분리하는 것이 좋습니다. 이렇게 하면 각 파티션을 한 번에 전송하거나 여러 파티션을 병렬로 전송할 수 있습니다. 파티션을 계획할 때는 파티션의 데이터를 결합하여 작업에 사용할 Snow Family 디바이스에 맞는지 확인합니다. 예를 들어 다음과 같은 방법으로 전송을 여러 파티션으로 분리할 수 있습니다.

• 예를 들어 210TB의 스토리지를 갖춘 Snowball Edge 디바이스와 함께 사용할 수 있도록 각각 20TB의 파티션 10개를 생성할 수 있습니다.

• 대용량 파일의 경우 각 파일을 Amazon S3의 객체 크기 제한인 최대 5TB에 상당하는 개별 파티션으로 만들 수 있습니다.

• 각 파티션은 크기가 다를 수 있으며 각 개별 파티션은 동일한 종류의 데이터로 구성될 수 있습니다. 예를 들어 한 파티션에는 소용량 파일, 다른 파티션에는 압축된 아카이브, 다른 파티션에는 대용량 파일 등이 있을 수 있습니다. 이 접근법은 다양한 종류의 파일에 대한 평균 전송 속도를 확인하는 데 도움이 될 수 있습니다.

참고

전송되는 각 파일에 대해 메타데이터 작업이 수행됩니다. 이 오버헤드는 파일 크기와 상관없이 동일하게 유지됩니다. 따라서 작은 파일을 더 큰 번들로 압축하거나 파일을 배치 처리하거나 더 큰 개별 파일을 전송하면 더 빠른 성능을 이용할 수 있습니다.

전송을 1일 이상 실행한 후 대용량 이기종 전송의 문제를 해결하려고 할 경우 작업이 복잡할 수 있기 때문에 데이터 전송 세그먼트를 생성하면 해당 문제를 더 쉽게 빨리 해결할 수 있습니다.

페타바이트 규모의 데이터 전송 계획을 완료한 후에는 서버에서 Snow Family 디바이스로 세그먼트 몇 개를 전송하여 속도 및 총 전송 시간을 보정하는 것이 좋습니다.