구현 단계

빅 뱅 또는 단계별 접근 방식을 따르는 마이그레이션에는 새로운 개발 및 테스트가 필요합니다. AWS Schema Conversion Tool (AWS SCT)는 SSIS 패키지에서 AWS Glue 작업을 자동으로 생성할 수 있습니다. 이렇게 하면 마이그레이션 시간과 노력이 크게 줄어듭니다. 또는 그래픽 인터페이스 기반 개발에 AWS Glue Studio를 사용하거나 AWS Glue 또는 Amazon EMR에서 실행할 수 있는 Spark 라이브러리를 빌드할 수 있습니다.

다음 섹션에서는 AWS SCT AWS Glue및 Amazon EMR을 사용하는 데 유용한 포인터를 제공합니다.

AWS SCT

다음 화면 그림은에서 변환한 AWS Glue 작업 스크립트를 보여줍니다 AWS SCT.

AWS SCT 는 SSIS 패키지를 AWS Glue 대량 작업으로 변환할 수 있습니다. 스크립트를 편집하여 기존 로직을 업데이트하거나 새 설계에 따라 새 로직을 추가할 수 있습니다. AWS SCT 변환된 스크립트의 이름 지정 규칙에 따라 스크립트를 사용자 지정하는 것이 좋습니다.

자세한 내용은 AWS SCT 설명서의를 AWS Glue 사용하여 SSIS를 로 변환 AWS SCT을 참조하세요.

AWS Glue

AWS Glue Studio는 다음 화면에 표시된 것처럼 그래픽 인터페이스와 SSIS와 유사한 개발 환경을 제공합니다.

그래픽 인터페이스를 사용하지 않으려면 AWS Glue 콘솔에서 필요한 Python 라이브러리를 사용하여 사용자 지정 스크립트를 실행할 수도 있습니다. 자세한 내용은 AWS Glue 설명서의 사용자 지정 스크립트 제공을 참조하세요.

AWS Glue 는 데이터 처리를 위한 기본 제공 변환 세트를 제공합니다. 이는 SSIS 데이터 흐름 변환과 유사합니다. 를 사용하여 SSIS ETL 작업을 마이그레이션할 때 AWS Glue다음 모범 사례를 따르세요.

• AWS Glue 변환에서 동등한 SSIS 변환으로 매핑을 준비합니다.

• 변환에 매핑할 수 없는 경우 Python 또는 Scala 사용자 지정 스크립트를 사용하여 AWS Glue 변환을 빌드합니다.

• 사용자 지정 로깅(예: 행 읽기, 행 쓰기 또는 잘못된 레코드)의 경우 Amazon CloudWatch 외에 사용자 지정 스크립트를 사용합니다.

• 로컬에서 사용자 지정 스크립트를 개발하고 디버깅하려면 개발 엔드포인트를 추가합니다.

Amazon EMR

사용자 지정 스크립트(Python 또는 Scala로 작성됨) 또는 EMR 클러스터의 컴파일된 Python 라이브러리를와 같이 실행할 수 있습니다 AWS Glue. 다음 모범 사례를 따르십시오.

• Spark 프레임워크를 사용하여 EMR 클러스터를 생성하는 동안 메모리 최적화 인스턴스 유형으로 시작합니다. (SSIS는 메모리 버퍼를 사용합니다.)

• 각 SSIS 작업 또는 변환과 동일한 일반 Python 메서드를 빌드합니다. 예를 들어 다음 그림에서 두 데이터 프레임을 입력으로 사용하는 메서드는 두 데이터 프레임의 일치하는 레코드를 출력으로 포함하는 세 번째 데이터 프레임을 생성합니다. 병합 조인 변환으로 작동합니다.

테스트

데이터의 완전성과 정확성을 검증하려면 테스트 프레임워크가 필요합니다. 이 프레임워크는 작업을 마이그레이션하는 동안 수행한 모든 기존 시나리오와 개선 사항을 포함해야 합니다 AWS.

• 완전성 검증:

  • 모든 작업이 대상 상태로 마이그레이션됩니다.

  • 모든 기능은 각 작업에서 마이그레이션됩니다.

  • 작업 실행 세부 정보, 오류 메시지, 잘못된 레코드 및 행 수를 포함한 모든 유형의 로그를 사용할 수 있습니다.

• 정확성 검증:

  • 데이터의 품질은 기존 환경과 새 환경에서 일관됩니다.

  • 모든 테이블의 모든 열이 일치하거나 테이블이 개선됩니다 AWS.

  • 모든 감사 및 로깅 정보가 일치합니다.

또한 마이그레이션된 작업의 성능이 기존 작업의 성능과 일치하는지 확인해야 합니다.