에서 Amazon Redshift 데이터베이스를 대상으로 사용AWS Database Migration Service - AWS Database Migration Service

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

에서 Amazon Redshift 데이터베이스를 대상으로 사용AWS Database Migration Service

를 사용하여 Amazon Redshift 데이터베이스로 데이터를 마이그레이션할 수 있습니다.AWS Database Migration Service. Amazon Redshift는 클라우드에서 완벽하게 관리되는 페타바이트급 데이터 웨어하우스 서비스입니다. Amazon Redshift 데이터베이스를 대상으로 사용할 때에는 지원되는 다른 원본 데이터베이스에서 가져온 데이터베이스를 마이그레이션할 수 있습니다.

Amazon Redshift 클러스터가 동일한 위치에 있어야 합니다.AWS계정 및 동일AWS리전을 복제 인스턴스로 사용합니다.

데이터베이스를 Amazon Redshift Redshift로 마이그레이션하는 동안 다음을 수행합니다.AWS DMS먼저 Amazon S3 버킷으로 데이터를 이동합니다. 파일이 Amazon S3 버킷에 있는 경우AWS DMS그런 다음 Amazon Redshift 데이터 웨어하우스의 적절한 테이블로 전송합니다.AWS DMS는 동일한 위치에 S3 버킷을 생성합니다.AWSAmazon Redshift 데이터베이스로 사용되는 리전. 이AWS DMS복제 인스턴스는 이 동일한 위치에 있어야 합니다.AWS지역.

이AWS CLI또는 DMS API를 사용하여 데이터를 Amazon Redshift 레드시프트로 마이그레이션하려면AWS Identity and Access ManagementS3 액세스를 허용하는 (IAM) 역할입니다. 이 IAM 역할 생성에 대한 자세한 내용은 AWS CLI 및 AWS DMS API에서 사용하는 IAM 역할 생성 섹션을 참조하십시오.

Amazon Redshift 엔드포인트는 다음에서 전체 자동화를 지원합니다.

  • 스키마 생성 및 데이터 형식 매핑

  • 원본 데이터베이스 테이블 전체 로드

  • 원본 테이블에 적용된 변경 사항을 증분식으로 로드

  • 원본 테이블에 적용된 데이터 정의 언어(DDL)에서 스키마 변경 사항 적용

  • 전체 로드와 변경 데이터 캡처(CDC) 프로세스 동기화.

AWS Database Migration Service는 전체 로드와 변경 처리 작업을 모두 지원합니다. AWS DMS는 소스 데이터베이스에서 데이터를 읽고 일련의 쉼표로 구분된 값(.csv) 파일을 생성합니다. 완전 부하 작업의 경우AWS DMS에서는 각 테이블에 대한 파일을 생성합니다.AWS DMS그런 다음 는 각 테이블의 테이블 파일을 Amazon S3 별도 폴더에 복사합니다. 파일이 Amazon S3에 업로드되면AWS DMS는 복사 명령을 전송하고 이 파일의 데이터가 Amazon Redshift Redshift로 복사됩니다. 변경 처리 작업의 경우AWS DMS순 변경 사항을.csv 파일에 복사합니다.AWS DMS그런 다음 는 최종 변경 파일을 Amazon S3 S3로 업로드하고 이 데이터를 Amazon Redshift Redshift에 복사합니다.

에서 Amazon Redshift 작업을 대상으로 사용하여 작업하는 방법에 대한 자세한 내용은AWS DMS자세한 내용은 다음 단원을 참조하십시오.

에서 Amazon Redshift 데이터베이스를 대상으로 사용할 때의 사전 조건AWS Database Migration Service

다음 목록에는 데이터 마이그레이션에서 Amazon Redshift Redshift와 함께 사용할 때 필요한 사전 조건에 대한 설명이 나와 있습니다.

  • 사용AWSAmazon Redshift 클러스터를 시작하는 관리 콘솔. 에 대한 기본 정보를 기록합니다.AWS계정과 Amazon Redshift 클러스터 (예: 암호, 사용자 이름, 데이터베이스 이름) Amazon Redshift 대상 엔드포인트를 생성할 때 이 값이 필요합니다.

  • Amazon Redshift 클러스터가 동일한 위치에 있어야 합니다.AWS계정 및 동일AWS리전을 복제 인스턴스로 사용합니다.

  • 이AWS DMS복제 인스턴스는 클러스터가 사용하는 Amazon Redshift 엔드포인트와의 네트워크 연결 (호스트 이름과 포트) 이 필요합니다.

  • AWS DMS는 Amazon S3 버킷을 사용하여 데이터를 Amazon Redshift 데이터베이스로 전송합니다. 버킷을 생성하는 AWS DMS의 경우, 콘솔은 IAM 역할인 dms-access-for-endpoint를 사용합니다. 이AWS CLI또는 DMS API Amazon Redshift Redshift가 대상 데이터베이스로 사용되는 데이터베이스 마이그레이션에서 생성하려면, 이 IAM 역할을 생성해야 합니다. 이 역할 생성에 대한 자세한 내용은 AWS CLI 및 AWS DMS API에서 사용하는 IAM 역할 생성 섹션을 참조하십시오.

  • AWS DMS는 BLOB, CLOB, CLOB를 대상 Amazon Redshift 인스턴스에서 VARCHAPHAR로 변환합니다. Amazon Redshift 64KB를 초과하는 VARCHAR 데이터 형식을 지원하지 않으므로 기존 LOB는 에 저장할 수 없습니다.

  • 대상 메타데이터 작업 설정 지정BatchApplyEnabledtrue...에 대한AWS DMSCDC 기간 동안 Amazon Redshift 대상 테이블에 대한 변경 사항을 처리합니다. 소스와 대상 테이블에 모두 기본 키가 필요합니다. 기본 키가 없으면 변경 사항이 문별로 적용됩니다. 또한 대상 지연 시간이 발생하고 클러스터 커밋 대기열에 영향을 주므로 CDC 중에 작업 성능이 저하될 수 있습니다.

Redshift 대상으로 사용하는 데 필요한 권한

GRANT 명령으로 사용자 또는 사용자 그룹에 대한 액세스 권한을 정의합니다. 권한은 테이블과 뷰에서 데이터를 읽거나 쓰고 테이블을 만들 수 있는 것과 같은 액세스 옵션을 포함합니다. Amazon Redshift 에서 GRANT를 사용하는 방법에 대한 자세한 내용은 섹션을 참조하십시오.부여Amazon Redshift 데이터베이스 개발자 안내서.

다음은 Amazon Redshift 테이블 및 뷰에 대한 테이블, 데이터베이스, 스키마, 함수, 프로시저 또는 언어 수준 권한에 대한 특정 권한을 부여하는 구문입니다.

GRANT { { SELECT | INSERT | UPDATE | DELETE | REFERENCES } [,...] | ALL [ PRIVILEGES ] } ON { [ TABLE ] table_name [, ...] | ALL TABLES IN SCHEMA schema_name [, ...] } TO { username [ WITH GRANT OPTION ] | GROUP group_name | PUBLIC } [, ...] GRANT { { CREATE | TEMPORARY | TEMP } [,...] | ALL [ PRIVILEGES ] } ON DATABASE db_name [, ...] TO { username [ WITH GRANT OPTION ] | GROUP group_name | PUBLIC } [, ...] GRANT { { CREATE | USAGE } [,...] | ALL [ PRIVILEGES ] } ON SCHEMA schema_name [, ...] TO { username [ WITH GRANT OPTION ] | GROUP group_name | PUBLIC } [, ...] GRANT { EXECUTE | ALL [ PRIVILEGES ] } ON { FUNCTION function_name ( [ [ argname ] argtype [, ...] ] ) [, ...] | ALL FUNCTIONS IN SCHEMA schema_name [, ...] } TO { username [ WITH GRANT OPTION ] | GROUP group_name | PUBLIC } [, ...] GRANT { EXECUTE | ALL [ PRIVILEGES ] } ON { PROCEDURE procedure_name ( [ [ argname ] argtype [, ...] ] ) [, ...] | ALL PROCEDURES IN SCHEMA schema_name [, ...] } TO { username [ WITH GRANT OPTION ] | GROUP group_name | PUBLIC } [, ...] GRANT USAGE ON LANGUAGE language_name [, ...] TO { username [ WITH GRANT OPTION ] | GROUP group_name | PUBLIC } [, ...]

다음은 Amazon Redshift 테이블 및 뷰에 대한 열 수준 권한에 대한 구문입니다.

GRANT { { SELECT | UPDATE } ( column_name [, ...] ) [, ...] | ALL [ PRIVILEGES ] ( column_name [,...] ) } ON { [ TABLE ] table_name [, ...] } TO { username | GROUP group_name | PUBLIC } [, ...]

다음은 지정된 역할을 가진 사용자 및 그룹에 부여된 ASSUMEROLE 권한에 대한 구문입니다.

GRANT ASSUMEROLE ON { 'iam_role' [, ...] | ALL } TO { username | GROUP group_name | PUBLIC } [, ...] FOR { ALL | COPY | UNLOAD } [, ...]

에서 Amazon Redshift 를 대상으로 사용 시 제한 사항AWS Database Migration Service

Amazon Redshift 데이터베이스를 대상으로 사용할 때 다음 제한 사항이 적용됩니다.

  • Amazon Redshift 대상의 중간 스토리지로 사용하는 S3 버킷에 대한 버전 관리를 활성화하지 마십시오. S3 버전 관리가 필요한 경우 수명 주기 정책을 사용하여 이전 버전을 적극적으로 삭제합니다. 그렇지 않으면 S3로 인해 엔드포인트 테스트 연결 실패가 발생할 수 있습니다.list-object호출 제한 시간. S3 버킷에 대한 수명 주기 정책을 생성하려면 단원을 참조하십시오.스토리지 수명 주기 관리. S3 객체의 버전을 삭제하려면 단원을 참조하십시오.버전 관리가 활성화된 버킷에서 객체 버전 삭제.

  • 다음이 DDL이 지원되지 않습니다.

    ALTER TABLE table name MODIFY COLUMN column name data type;
  • AWS DMS는 이름이 밑줄(_)로 시작하는 스키마로 변경 사항을 마이그레이션하거나 복제할 수 없습니다. 밑줄로 시작하는 이름의 스키마가 있다면 매핑 변환을 사용하여 대상에 있는 스키마의 이름을 바꿉니다.

  • Amazon Redshift 는 64KB를 초과하는 VARCHAR를 지원하지 않습니다. 기존 데이터베이스의 LOB는 Amazon Redshift 에 저장할 수 없습니다.

  • 기본 키 열 이름 중 하나에서 예약어를 사용하는 경우 다중 열 기본 키가 있는 테이블에 DELETE 문을 적용하는 것은 지원되지 않습니다. Go이리를 클릭하여 Amazon Redshift 예약어 목록을 확인합니다.

  • 소스 시스템에서 원본 테이블의 기본 키에 대해 UPDATE 작업을 수행하는 경우 성능 문제가 발생할 수 있습니다. 이러한 성능 문제는 대상에 변경 사항을 적용할 때 발생합니다. 이는 UPDATE (및 DELETE) 작업이 기본 키 값에 의존하여 대상 행을 식별하기 때문입니다. 원본 테이블의 기본 키를 업데이트하면 작업 로그에 다음과 같은 메시지가 포함됩니다.

    Update on table 1 changes PK to a PK that was previously updated in the same bulk update.
  • DMS는 Redshift 클러스터에 대한 엔드포인트를 구성할 때 사용자 지정 DNS 이름을 지원하지 않으므로 Amazon에서 제공한 DNS 이름을 사용해야 합니다. Amazon Redshift 클러스터가 동일한 클러스터에 있어야 합니다.AWS계정 및 리전을 복제 인스턴스로 사용하는 경우 사용자 지정 DNS 엔드포인트를 사용하는 경우 유효성 검사가 실패합니다.

  • Amazon Redshift Redshift에는 기본적으로 4시간의 유휴 세션 제한 시간이 있습니다. DMS 복제 작업 내에 활동이 없는 경우 Redshift 4시간 후에 세션 연결을 끊습니다. DMS를 연결할 수 없고 잠재적으로 다시 시작해야 하는 경우 오류가 발생할 수 있습니다. 해결 방법으로 DMS 복제 사용자에 대해 세션 시간 초과 제한을 4시간보다 크게 설정하십시오. 또는 의 설명을 참조하십시오.변경 USERAmazon Redshift 데이터베이스 개발자 안내서.

에서 Amazon Redshift 데이터베이스를 대상으로 구성AWS Database Migration Service

AWS Database Migration Service는 Amazon Redshift 인스턴스를 사용할 수 있도록 구성해야 합니다. 다음 표에는 Amazon Redshift 엔드포인트에서 사용할 수 있는 구성 속성에 대한 설명이 나와 있습니다.

속성

설명

서버

사용 중인 Amazon Redshift 클러스터의 이름입니다.

port

Amazon Redshift 포트 번호입니다. 기본값은 5439입니다.

username

등록된 사용자의 Amazon Redshift 사용자 이름입니다.

암호

사용자 이름 속성에 명명된 사용자의 암호입니다.

데이터베이스

사용 중인 Amazon Redshift 데이터 웨어하우스 (서비스) 의 이름입니다.

Amazon Redshift 엔드포인트에 추가 연결 문자열 속성을 추가하려면 다음을 지정해야 합니다.maxFileSizefileTransferUploadStreams속성. 이 속성에 대한 자세한 내용은 Amazon Redshift Redshift를 의 대상으로 사용 시 추가 연결 속성AWS DMS 섹션을 참조하십시오.

에서 Amazon Redshift 를 대상으로 사용하여 Enhanced VPC Routing 사용AWS Database Migration Service

Amazon Redshift 대상에 향상된 VPC 라우팅 기능을 사용하는 경우, Amazon Redshift 클러스터와 데이터 리포지토리 사이의 모든 COPY 트래픽은 VPC 통과합니다. Enhanced VPC Routing은 Amazon Redshift Redshift가 다른 리소스에 액세스하는 방식에 영향을 주기 때문에, VPC 올바르게 구성하지 않았다면 COPY 명령이 실패할 수 있습니다.

AWS DMS는 COPY 명령을 사용하여 S3의 데이터를 Amazon Redshift 클러스터로 이동하기 때문에 이 동작의 영향을 받을 수 있습니다.

다음은 단계입니다.AWS DMS는 Amazon Redshift 대상으로 데이터를 로드하는 데 사용됩니다.

  1. AWS DMS는 소스에서 복제 서버에 있는 .csv 파일로 데이터를 복사합니다.

  2. AWS DMS를 사용합니다.AWSSDK를 사용하여 .csv 파일을 계정에 있는 S3 버킷으로 복사합니다.

  3. AWS DMS그런 다음 는 Amazon Redshift Redshift에서 COPY 명령을 사용하여 S3의 .csv 파일에서 Amazon Redshift Redshift에 있는 적절한 테이블로 데이터를 복사합니다.

Enhanced VPC Routing을 사용 설정하지 않은 경우 Amazon Redshift 인터넷을 통해 트래픽을 포함하여 인터넷을 통해 트래픽을 라우팅합니다.AWS회로망. 이 기능이 활성화되지 않으면, 네트워크 경로를 구성하지 않아도 됩니다. 이 기능이 활성화되면, 특히 클러스터의 VPC와 사용자의 데이터 리소스 사이의 네트워크 경로를 생성해야 합니다. 필요한 구성에 대한 자세한 내용은 단원을 참조하십시오.Enhanced VPC Routing자세한 내용은 Amazon Redshift 설명서를 참조하십시오.

생성 및 사용AWS KMSAmazon Redshift 타겟 데이터를 암호화하기 위한 키

Amazon Redshift로 복사되기 전에 Amazon S3 S3로 푸시되는 대상 데이터를 암호화할 수 있습니다. 이를 위해 사용자 지정 AWS KMS 키를 생성하고 사용할 수 있습니다. 생성한 키를 사용하여 Amazon Redshift 대상 엔드포인트를 생성할 때 다음 메커니즘 중 하나를 사용하여 대상 데이터를 암호화할 수 있습니다.

KMS 키를 사용하여 Amazon Redshift 대상 데이터를 암호화하려면AWS Identity and Access ManagementAmazon Redshift 데이터에 액세스할 권한이 있는 (IAM) 역할. 그러면 생성한 암호화 키에 연결된 정책 (키 정책) 에서 이 IAM 역할에 액세스합니다. 이 작업은 IAM 콘솔에서 다음을 생성하여 수행할 수 있습니다.

  • 를 포함하는 IAM 역할AWS-관리형 정책.

  • 이 역할을 참조하는 키 정책이 있는 KMS 키.

다음 절차에서 그 방법을 설명합니다.

필수 를 사용하여 IAM 역할을 생성하려면AWS-관리형 정책

  1. https://console.aws.amazon.com/iam/에서 IAM 콘솔을 엽니다.

  2. 탐색 창에서 역할(Roles)을 선택합니다. 역할 페이지가 열립니다.

  3. 역할 생성(Create role)을 선택합니다. 역할 생성 페이지가 열립니다.

  4. 다음으로 바꿉니다.AWS서비스신뢰할 수 있는 엔터티로 선택됨,DMS역할을 사용할 서비스로서 사용할 수 있습니다.

  5. [다음: 권한(Next: Permissions)]을 선택합니다. Attach permissions policies(권한 정책 연결) 페이지가 나타납니다.

  6. AmazonDMSRedshiftS3Role 정책을 찾아 선택합니다.

  7. [다음: 권한(Next: Tags)]를 선택합니다. 태그 추가(Add tags) 페이지가 나타납니다. 여기서 원하는 태그를 추가할 수 있습니다.

  8. [다음: 권한(Next: 검토를 입력하고 결과를 검토합니다.

  9. 필요한 설정이 되었다면 역할의 이름(예: DMS-Redshift-endpoint-access-role)과 추가 설명을 입력한 다음 역할 생성을 선택합니다. 역할이 생성되었다는 메시지와 함께 역할 페이지가 열립니다.

이제 암호화를 위해 Amazon Redshift 리소스에 액세스할 수 있는 지정된 이름의 새 역할이 생성되었습니다. 예를 들면 다음과 같습니다.DMS-Redshift-endpoint-access-role.

생성AWS KMSIAM 역할을 참조하는 키 정책이 있는 암호화 키

참고

AWS DMS에서 AWS KMS 암호화 키를 사용하는 방법에 대한 자세한 내용은 암호화 키 설정 및 AWS KMS 권한 지정 단원을 참조하십시오.

  1. AWS Management Console에 로그인하고 https://console.aws.amazon.com/kms에서 AWS Key Management Service(AWS KMS) 콘솔을 엽니다.

  2. AWS 리전을 변경하려면 페이지의 오른쪽 상단 모서리에 있는 리전 선택기를 사용합니다.

  3. 탐색 창에서 고객 관리형 키(Customer managed keys)를 선택합니다.

  4. 키 생성(Create key)을 선택합니다. Configure key(키 구성) 페이지가 열립니다.

  5. 키 유형에 대해 Symmetric(대칭)을 선택합니다.

    참고

    이 키는 대칭 키만 생성할 수 있습니다.AWSAmazon Redshift Redshift와 같은 서비스는 대칭 암호화 키에서만 작동합니다.

  6. [Advanced Options]를 선택합니다. Key material origin(키 구성 요소 오리진)KMS가 선택되어 있는지 확인하고 다음을 선택합니다. Add labels(레이블 추가) 페이지가 열립니다.

  7. Create alias and description(별칭 및 설명 생성)에 키의 별칭(예: DMS-Redshift-endpoint-encryption-key)과 추가 설명을 입력합니다.

  8. 태크에서 키 식별과 키 사용 추적에 도움이 되는 태그를 추가한 후 다음을 선택합니다. Define key administrative permissions(키 관리 권한 정의) 페이지가 열리고 선택할 수 있는 사용자 및 역할 목록이 표시됩니다.

  9. 키를 관리할 사용자와 역할을 추가합니다. 키를 관리하는 데 필요한 권한이 이러한 사용자와 역할에 있는지 확인합니다.

  10. Key deletion(키 삭제)에서 키 관리자가 키를 삭제할 수 있는지 여부를 선택한 후 다음을 선택합니다. Define key usage permissions(키 사용 권한 정의) 페이지가 열리고 선택할 수 있는 추가 사용자 및 역할 목록이 표시됩니다.

  11. 이 계정에서 Amazon Redshift 대상에 대해 암호화 작업을 수행할 사용 가능한 사용자를 선택합니다. 에서 이전에 생성한 역할도 선택합니다.Roles예를 들어 액세스를 활성화하여 Amazon Redshift 대상 객체를 암호화할 수 있습니다.DMS-Redshift-endpoint-access-role).

  12. 목록에 없는 다른 계정을 추가하여 동일한 액세스 권한을 부여하려면 다른 AWS 계정에 대해 다른 AWS 계정 추가를 선택한 후 다음을 선택합니다. Review and edit key policy(키 정책 검토 및 편집) 페이지가 열리고 기존 JSON을 입력하여 검토하고 편집할 수 있는 키 정책 JSON이 표시됩니다. 여기서 키 정책이 이전 단계에서 선택한 역할 및 사용자(예: AdminUser1)를 참조하는 위치를 확인할 수 있습니다. 다음 예에 나온 것처럼 다양한 보안 주체(사용자 및 역할)에 허용되는 다양한 키 작업도 볼 수 있습니다.

    { "Id": "key-consolepolicy-3", "Version": "2012-10-17", "Statement": [ { "Sid": "Enable IAM User Permissions", "Effect": "Allow", "Principal": { "AWS": [ "arn:aws:iam::111122223333:root" ] }, "Action": "kms:*", "Resource": "*" }, { "Sid": "Allow access for Key Administrators", "Effect": "Allow", "Principal": { "AWS": [ "arn:aws:iam::111122223333:role/Admin" ] }, "Action": [ "kms:Create*", "kms:Describe*", "kms:Enable*", "kms:List*", "kms:Put*", "kms:Update*", "kms:Revoke*", "kms:Disable*", "kms:Get*", "kms:Delete*", "kms:TagResource", "kms:UntagResource", "kms:ScheduleKeyDeletion", "kms:CancelKeyDeletion" ], "Resource": "*" }, { "Sid": "Allow use of the key", "Effect": "Allow", "Principal": { "AWS": [ "arn:aws:iam::111122223333:role/DMS-Redshift-endpoint-access-role", "arn:aws:iam::111122223333:role/Admin", "arn:aws:iam::111122223333:role/User1" ] }, "Action": [ "kms:Encrypt", "kms:Decrypt", "kms:ReEncrypt*", "kms:GenerateDataKey*", "kms:DescribeKey" ], "Resource": "*" }, { "Sid": "Allow attachment of persistent resources", "Effect": "Allow", "Principal": { "AWS": [ "arn:aws:iam::111122223333:role/DMS-Redshift-endpoint-access-role", "arn:aws:iam::111122223333:role/Admin", "arn:aws:iam::111122223333:role/User1" ] }, "Action": [ "kms:CreateGrant", "kms:ListGrants", "kms:RevokeGrant" ], "Resource": "*", "Condition": { "Bool": { "kms:GrantIsForAWSResource": true } } } ]
  13. [마침]을 클릭합니다. 이암호화 키페이지가 열리고AWS KMS key가 생성되었습니다.

이제 지정된 별칭의 새 KMS 키가 생성되었습니다(예: DMS-Redshift-endpoint-encryption-key). 이 키를 사용하면AWS DMSAmazon Redshift 대상 데이터를 암호화합니다.

에서 Amazon Redshift 를 대상으로 사용 시 엔드포인트 설정AWS DMS

추가 연결 속성을 사용하는 것과 비슷하게 엔드포인트 설정을 사용하여 Amazon Redshift 대상을 구성할 수 있습니다. AWS CLI에서 --redshift-settings "json-settings" 옵션과 함께 create-endpoint 명령을 사용하여 대상 엔드포인트를 생성할 때 이러한 설정을 지정할 수 있습니다. 여기서 json-settings는 설정을 지정하는 파라미터가 포함된 JSON 객체입니다. 동일한 를 포함한 .json 파일을 지정할 수도 있습니다.json-settings객체를 예로 들면 다음과 같습니다. --redshift-settings file:///your-file-path/my_redshift_settings.json. 여기에서my_redshift_settings.json는 동일한 를 포함한 .json 파일의 이름입니다.json-settings object.

시작 대문자가 있는 엔드포인트 설정의 파라미터 이름을 제외하고, 엔드포인트 설정의 파라미터 이름은 동등한 추가 연결 속성의 이름과 동일합니다. 또한 추가 연결 속성을 사용하는 모든 Amazon Redshift 대상 엔드포인트 설정을--redshift-settings옵션 중create-endpoint명령. 에서 사용 가능한 설정에 대한 자세한 내용은AWS CLI를 호출합니다.create-endpoint참조, 참조create-endpointAWS CLI명령 참조...에 대한AWS DMS. 이러한 설정에 대한 자세한 내용은 Amazon Redshift Redshift를 의 대상으로 사용 시 추가 연결 속성AWS DMS의 해당 추가 연결 속성을 참조하십시오.

Amazon Redshift 대상 엔드포인트 설정을 사용하여 다음을 구성할 수 있습니다.

  • 사용자 지정 AWS KMS 데이터 암호화 키. 그런 다음 이 키를 사용하여 Amazon S3 S3로 푸시되는 데이터를 암호화할 수 Amazon Redshift.

  • Amazon Redshift Redshift로 마이그레이션한 데이터의 중간 스토리지인 사용자 지정 S3 버킷.

  • PostgreSQL 소스에서 부울을 부울로 매핑합니다. 기본적으로 부울 유형은 varchar (1) 로 마이그레이션됩니다. 지정할 수 있습니다.MapBooleanAsBoolean다음 예제와 같이 Redshift 대상이 부울 유형을 부울로 마이그레이션할 수 있도록 합니다.

    redshift-settings='{"MapBooleanAsBoolean": "true"}'

데이터 암호화를 위한 KMS 키 설정

다음 예는 S3로 푸시되는 데이터를 암호화하도록 사용자 지정 KMS 키를 구성하는 방법을 보여 줍니다. 먼저 AWS CLI에서 다음 create-endpoint 호출을 할 수 있습니다.

aws dms create-endpoint --endpoint-identifier redshift-target-endpoint --endpoint-type target --engine-name redshift --username your-username --password your-password --server-name your-server-name --port 5439 --database-name your-db-name --redshift-settings '{"EncryptionMode": "SSE_KMS", "ServerSideEncryptionKmsKeyId": "arn:aws:kms:us-east-1:111122223333:key/24c3c5a1-f34a-4519-a85b-2debbef226d1"}'

여기서 --redshift-settings 옵션에 의해 지정된 JSON 객체는 다음 두 가지 파라미터를 정의합니다. 하나는 값이 SSE_KMSEncryptionMode 파라미터입니다. 다른 하나는 값이 arn:aws:kms:us-east-1:111122223333:key/24c3c5a1-f34a-4519-a85b-2debbef226d1ServerSideEncryptionKmsKeyId 파라미터입니다. 이 값은 사용자 지정 KMS 키의 Amazon 리소스 이름(ARN)입니다.

기본적으로 S3 데이터 암호화는 S3 서버 측 암호화를 사용하여 수행됩니다. 이전 예의 Amazon Redshift 대상의 경우, 다음 예에서처럼 이것은 엔드포인트 설정을 지정하는 것에 해당합니다.

aws dms create-endpoint --endpoint-identifier redshift-target-endpoint --endpoint-type target --engine-name redshift --username your-username --password your-password --server-name your-server-name --port 5439 --database-name your-db-name --redshift-settings '{"EncryptionMode": "SSE_S3"}'

S3 서버 측 암호화 작업에 대한 자세한 내용은 단원을 참조하십시오.서버 측 암호화를 사용하여 데이터 보호Amazon Simple Storage Service 사용 설명서

참고

CLI를 사용할 수도 있습니다.modify-endpoint의 값을 변경하는 명령을 사용하여EncryptionMode에서 기존 엔드포인트에 대한 매개변수SSE_KMSSSE_S3. 하지만 변경할 수 없습니다.EncryptionMode값: 부터SSE_S3SSE_KMS.

Amazon S3 버킷 설정 Amazon

데이터를 Amazon Redshift 대상 엔드포인트로 마이그레이션하는 경우,AWS DMS는 마이그레이션된 데이터를 Amazon Redshift로 복사하기 전에 기본 Amazon S3 버킷을 중간 작업 스토리지로 사용합니다. 예를 들어, 다음 예에서는 를 사용하여 Amazon Redshift 대상 엔드포인트를 생성과 관련해 표시됩니다.AWS KMS데이터 암호화 키는 이 기본 S3 버킷을 사용합니다 (참조).데이터 암호화를 위한 KMS 키 설정).

대신 AWS CLI create-endpoint 명령의 --redshift-settings 옵션 값에 다음 파라미터를 포함하여 이 중간 스토리지에 대한 사용자 지정 S3 버킷을 지정할 수 있습니다.

  • BucketName— S3 버킷 스토리지의 이름으로 지정하는 문자열.

  • BucketFolder— (선택 사항) 지정된 S3 버킷의 스토리지 폴더 이름으로 지정할 수 있는 문자열.

  • ServiceAccessRoleArn— S3 버킷에 대한 관리 액세스를 허용하는 IAM 역할의 ARN. 일반적으로 AmazonDMSRedshiftS3Role 정책에 따라 이 역할을 만듭니다. 예를 들어 필수 를 사용하여 IAM 역할을 생성하는 절차를 참조하십시오.AWS-관리형 정책 의생성 및 사용AWS KMSAmazon Redshift 타겟 데이터를 암호화하기 위한 키.

    참고

    create-endpoint 명령의 --service-access-role-arn 옵션을 사용하여 다른 IAM 역할의 ARN을 지정하면 이 IAM 역할 옵션이 우선 적용됩니다.

다음 예에서는 다음에서 이러한 파라미터를 사용하여 사용자 지정 Amazon S3 버킷을 지정하는 방법을 보여줍니다.create-endpoint를 사용하여 호출AWS CLI.

aws dms create-endpoint --endpoint-identifier redshift-target-endpoint --endpoint-type target --engine-name redshift --username your-username --password your-password --server-name your-server-name --port 5439 --database-name your-db-name --redshift-settings '{"ServiceAccessRoleArn": "your-service-access-ARN", "BucketName": "your-bucket-name", "BucketFolder": "your-bucket-folder-name"}'

Amazon Redshift Redshift를 의 대상으로 사용 시 추가 연결 속성AWS DMS

추가 연결 속성을 사용하여 Amazon Redshift 대상을 구성할 수도 있습니다. 대상 엔드포인트 생성 시 이러한 설정을 지정합니다. 연결 속성 설정이 여러 개인 경우, 추가 공백 없이 세미콜론으로 구분하십시오.

다음 표에는 Amazon Redshift Redshift가 대상으로 사용 시 사용 가능한 추가 연결 속성이 나와 있습니다.

이름 설명

maxFileSize

데이터를 Amazon Redshift Redshift로 전송할 때 사용되는 .csv 파일의 최대 크기 (KB 단위) 를 지정합니다.

기본값: 32768킬로바이트 (32메가바이트)

유효한 값: 1—1,048,576

예: maxFileSize=512

fileTransferUploadStreams

단일 파일을 업로드할 때 사용되는 스레드 수를 지정합니다.

기본값: 10

유효한 값: 1—64

예: fileTransferUploadStreams=20

acceptanydate

0000-00-00과 같이 잘못된 날짜 형식을 포함하여 모든 날짜 형식을 수락할지 여부를 지정합니다. 부울 값입니다.

기본값: false

유효한 값: true | false

예: acceptanydate=true

dateformat

날짜 형식을 지정합니다. 문자열 입력이며 기본적으로 비어 있습니다. 기본 형식은 YYYY-MM-DD이지만 DD-MM-YYYY 등으로 변경할 수 있습니다. 날짜 또는 시간 값에 다른 형식을 사용할 경우 auto 인수와 함께 dateformat 파라미터를 사용하십시오. auto 인수는 dateformat 문자열을 사용할 때 지원되지 않는 몇 가지 형식을 인식합니다. auto' 키워드는 대/소문자를 구별합니다.

기본값: 비어 있음

유효한 값: 'dateformat_string' 또는 auto

예: dateformat=auto

timeformat

시간 형식을 지정합니다. 문자열 입력이며 기본적으로 비어 있습니다. auto 인수는 timeformat 문자열을 사용할 때 지원되지 않는 몇 가지 형식을 인식합니다. 날짜 및 시간 값에 사용되는 형식이 서로 다를 경우 auto 인수와 함께 timeformat 파라미터를 사용하십시오.

기본값: 10

유효한 값: 'timeformat_string' | 'auto' | 'epochsecs' | 'epochmillisecs'

예: timeformat=auto

emptyasnull

AWS DMS가 비어 있는 CHAR 및 VARCHAR 필드를 null로 마이그레이션할지 지정합니다. true 값은 빈 CHAR 및 VARCHAR 필드를 null로 설정합니다.

기본값: false

유효한 값: true | false

예: emptyasnull=true

truncateColumns

열의 데이터를 열 명세에 따라 적합한 수의 문자로 자릅니다. VARCHAR 또는 CHAR 데이터 형식의 열에만 적용되며, 행의 크기는 4MB 이하입니다.

기본값: false

유효한 값: true | false

예:

truncateColumns=true;

removeQuotes

입력 데이터의 문자열에서 묶고 있는 인용 부호를 제거합니다. 인용 부호 안의 문자는 구분자를 포함하여 모두 유지됩니다. Amazon Redshift 대상의 따옴표를 제거하는 방법은Amazon Redshift 데이터베이스 개발자 안내서.

기본값: false

유효한 값: true | false

예:

removeQuotes=true;

trimBlanks

VARCHAR 문자열에서 후행 공백 문자를 제거합니다. 이 파라미터는 VARCHAR 데이터 형식의 열에만 적용됩니다.

기본값: false

유효한 값: true | false

예:

trimBlanks=false;

encryptionMode Amazon Redshift Redshift로 복사되기 전에 데이터를 S3으로 푸시하는 데 사용할 서버 측 암호화 모드를 지정합니다. 유효한 값은 SSE_S3(S3 서버 측 암호화) 또는 SSE_KMS(KMS 키 암호화)입니다. SSE_KMS를 선택하는 경우, serverSideEncryptionKmsKeyId 파라미터를 암호화에 사용할 KMS 키의 Amazon 리소스 이름(ARN)으로 설정합니다.
참고

CLI를 사용할 수도 있습니다.modify-endpoint의 값을 변경하는 명령을 사용하여encryptionMode기존 엔드포인트의 속성SSE_KMSSSE_S3. 하지만 변경할 수 없습니다.encryptionMode값: 부터SSE_S3SSE_KMS.

기본값: SSE_S3

유효한 값: SSE_S3 또는 SSE_KMS

예: encryptionMode=SSE_S3;

serverSideEncryptionKmsKeyId 설정한 경우encryptionModeSSE_KMS에서 이 파라미터를 KMS 키의 ARN으로 설정합니다. 이 ARN은 계정을 위해 생성한 AWS KMS 키 목록에서 키 별칭을 선택하면 찾을 수 있습니다. 키를 생성할 때 특정 정책과 역할을 키에 연결해야 합니다. 자세한 정보는 생성 및 사용AWS KMSAmazon Redshift 타겟 데이터를 암호화하기 위한 키을 참조하십시오.

예:

serverSideEncryptionKmsKeyId=arn:aws:kms:us-east-1:111122223333:key/24c3c5a1-f34a-4519-a85b-2debbef226d1;

enableParallelBatchInMemoryCSVFiles 이 속성을 다음으로 설정false를 사용할 때ParallelLoadThreads작업 설정. 이enableParallelBatchInMemoryCSVFiles속성은 DMS가 메모리 대신 디스크에 쓰도록 함으로써 대규모 멀티스레드 전체 로드 작업의 성능을 향상시킵니다. 기본값은 true입니다.
compressCsvFile 이 속성을 사용하여 마이그레이션 중에 Redshift 타겟으로 전송된 데이터를 압축합니다. 기본값은 입니다.true및 압축은 기본적으로 활성화되어 있습니다.

Amazon Redshift 를 위한 멀티스레드 작업 설정

멀티스레드 작업 설정을 사용하여 Amazon Redshift 대상 엔드포인트에서 전체 로드 및 변경 데이터 캡처 (CDC) 작업의 성능을 개선할 수 있습니다. 이를 통해 버퍼에 저장할 동시 스레드 수와 레코드 수를 지정할 수 있습니다.

Amazon Redshift 를 위한 멀티스레드 전체 로드 작업 설정

전체 로드 성능을 승격하려면 다음을 사용할 수 있습니다.ParallelLoad*작업 설정:

  • ParallelLoadThreads— DMS가 전체 로드 중에 Amazon Redshift 대상 엔드포인트로 데이터 레코드를 푸시하기 위해 사용하는 동시 스레드 수를 지정합니다. 기본값은 0이고 최대값은 32입니다.

    enableParallelBatchInMemoryCSVFiles속성 설정false를 사용할 때ParallelLoadThreads작업 설정. 이 속성은 DMS가 메모리 대신 디스크에 쓰도록 함으로써 대규모 멀티스레드 전체 로드 작업의 성능을 향상시킵니다. 기본값은 true입니다.

  • ParallelLoadBufferSize— Redshift 타겟에서 parallel 로드 스레드를 사용하는 동안 최대 데이터 레코드 요청을 지정합니다. 기본값은 100이고 최대값은 1,000입니다. 다음과 같은 경우 이 옵션을 사용하는 것이 좋습니다. ParallelLoadThreads > 1 (1보다 큼).

참고

제품 사용에 대한 SupportParallelLoad*Amazon Redshift 대상 엔드포인트에 대한 전체 로드 중 작업 설정은 다음 위치에서 사용할 수 있습니다.AWS DMS버전 3.4.5 이상.

ReplaceInvalidCharsRedshift 엔드포인트 설정은 변경 데이터 캡처 (CDC) 중이나 parallel 로드가 활성화된 FULL LOAD 마이그레이션 작업 중에는 사용할 수 없습니다. parallel 로드가 활성화되지 않은 경우 FULL LOAD 마이그레이션이 지원됩니다. 자세한 내용은 를 참조하십시오.RedshiftSettingsAWS Database Migration ServiceAPI 참조

Amazon Redshift 레드시프트에 대한 멀티스레드 CDC 작업 설정

CDC 성능을 승격하기 위해 다음을 사용할 수 있습니다.ParallelApply*작업 설정:

  • ParallelApplyThreads— 에서 제공되는 동시 스레드의 수를 지정합니다.AWS DMS는 CDC 로드 중에 가 사용하여 데이터 레코드를 Amazon Redshift 대상 엔드포인트로 푸시합니다. 기본값은 0이고 최대값은 32입니다.

  • ParallelApplyBufferSize— Redshift 대상에서 parallel 적용 스레드를 사용하는 동안 최대 데이터 레코드 요청을 지정합니다. 기본값은 100이고 최대값은 1,000입니다. 다음과 같은 경우 이 옵션을 사용하는 것이 좋습니다. ParallelApplyThreads > 1 (1보다 큼).

    Redshift 대상으로 최대한 활용하려면 다음 값을 사용하는 것이 좋습니다.ParallelApplyBufferSize두 배 이상 (두 배 이상)ParallelApplyThreads.

참고

제품 사용에 대한 SupportParallelApply*CDC에서 Amazon Redshift 대상 엔드포인트로 이동하는 동안 작업 설정은 다음에서 사용할 수 있습니다AWS DMS버전 3.4.3 이상.

적용되는 병렬 처리 수준은 총계 간의 상관 관계에 따라 달라집니다.배치 크기최대 파일 크기데이터를 전송하는 데 사용됩니다. Redshift 타겟과 함께 멀티스레드 CDC 작업 설정을 사용할 때 배치 크기가 최대 파일 크기에 비해 클 때 이점을 얻을 수 있습니다. 예를 들어 다음과 같은 엔드포인트와 작업 설정을 조합하여 최적의 성능을 위해 튜닝할 수 있습니다.

// Redshift endpoint setting MaxFileSize=250000; // Task settings BatchApplyEnabled=true; BatchSplitSize =8000; BatchApplyTimeoutMax =1800; BatchApplyTimeoutMin =1800; ParallelApplyThreads=32; ParallelApplyBufferSize=100;

위의 설정을 사용하면 트랜잭션 워크로드가 많은 고객은 8000MB의 배치 버퍼가 1800초 만에 채워지고 최대 파일 크기가 250MB인 32개의 parallel 스레드를 사용함으로써 이점을 얻을 수 있습니다.

자세한 정보는 변경 처리 튜닝 설정을 참조하십시오.

참고

Redshift 클러스터에 지속적으로 복제하는 동안 실행되는 DMS 쿼리는 실행 중인 다른 애플리케이션 쿼리와 동일한 WLM (워크로드 관리) 대기열을 공유할 수 있습니다. 따라서 Redshift 대상으로 지속적으로 복제하는 동안 성능에 영향을 주도록 WLM 속성을 올바르게 구성하는 것이 좋습니다. 예를 들어 다른 parallel ETL 쿼리가 실행 중이면 DMS가 느리게 실행되고 성능 향상이 손실됩니다.

Amazon Redshift 대상 데이터 형식

용 Amazon Redshift 엔드포인트AWS DMS는 대부분의 Amazon Redshift 데이터 유형을 지원합니다. 다음 테이블에는 사용 시 지원되는 Amazon Redshift 대상 데이터 형식이 나와 있습니다.AWS DMS및 기본 매핑 위치AWS DMS데이터 형식.

AWS DMS 데이터 형식에 대한 추가 정보는 데이터 형식AWSDatabase Migration Service 단원을 참조하십시오.

AWS DMS 데이터 형식

Amazon Redshift 데이터 형식

BOOLEAN

BOOL

BYTES

VARCHAR(길이)

날짜

날짜

TIME

VARCHAR(20)

DATETIME

크기가 0 이상이고 6 이하인 경우 Redshift 대상 열 유형에 따라 다음 중 하나가 적용됩니다.

TIMESTAMP (s)

TIMESTAMPTZ (s) — 소스 타임스탬프에 영역 오프셋이 포함된 경우 (예: SQL Server 또는 Oracle) 삽입/업데이트 시 UTC로 변환됩니다. 오프셋이 포함되어 있지 않으면 시간은 이미 UTC로 간주됩니다.

크기가 7 이상이고 9 이하인 경우:

VARCHAR (37)

INT1

INT2

INT2

INT2

INT4

INT4

INT8

INT8

NUMERIC

크기가 0 이상이고 37 이하인 경우:

NUMERIC (p,s)

크기가 38 이상이고 127 이하인 경우:

VARCHAR(길이)

REAL4

FLOAT4

REAL8

FLOAT8

STRING

길이가 1~65,535,535인 경우, VARCHAR (바이트 단위의 길이) 을 사용합니다.

길이가 65,536~2,147,483,647인 경우, VARCHAR (65535) 을 사용합니다.

UINT1

INT2

UINT2

INT2

UINT4

INT4

UINT8

NUMERIC (20,0)

WSTRING

길이가 1~65,535,535인 경우, NVARCHAR (바이트 단위의 길이) 을 사용합니다.

길이가 65,536~2,147,483,647인 경우, NVARCHAR (65535) 을 사용합니다.

BLOB

VARCHAR(최대 LOB 크기 *2)

LOB 최대 크기는 31KB를 초과할 수 없습니다. Amazon Redshift 는 64KB를 초과하는 VARCHAR를 지원하지 않습니다.

NCLOB

NVARCHAR(최대 LOB 크기)

LOB 최대 크기는 63KB를 초과할 수 없습니다. Amazon Redshift 는 64KB를 초과하는 VARCHAR를 지원하지 않습니다.

CLOB

VARCHAR(최대 LOB 크기)

LOB 최대 크기는 63KB를 초과할 수 없습니다. Amazon Redshift 는 64KB를 초과하는 VARCHAR를 지원하지 않습니다.