Amazon 사용 OpenSearch 의 대상으로 서비스 클러스터AWS Database Migration Service - AWS Database Migration Service

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Amazon 사용 OpenSearch 의 대상으로 서비스 클러스터AWS Database Migration Service

을 사용할 수 있습니다.AWS DMS데이터를 Amazon으로 마이그레이션 OpenSearch 서비스 (OpenSearch Service). OpenSearch Service는 손쉽게 배포, 운영 및 확장할 수 있도록 해주는 관리형 서비스입니다. OpenSearch 서비스 클러스터.

In OpenSearch Service, 인덱스와 문서로 작업할 수 있습니다. 원래 요청 ping에 대한색인는 문서 모음이며문서는 스칼라 값, 배열 및 기타 객체를 포함하는 JSON 객체입니다.OpenSearch는 JSON 기반 쿼리 언어를 제공하므로 인덱스에서 데이터를 쿼리하여 해당 문서를 가져올 수 있습니다.

일시AWS DMS대상 엔드포인트에 대한 인덱스를 생성합니다. OpenSearch Service는 소스 엔드포인트에서 각 테이블에 대해 1개의 인덱스를 생성합니다. 를 생성하기 위한 비용 OpenSearch 서비스 인덱스는 다음과 같은 다양한 요인에 따라 다릅니다. 이러한 요인으로는 생성되는 인덱스 수, 이러한 인덱스에 있는 데이터의 총량, 소량의 메타데이터 등이 있습니다.OpenSearch각 문서에 대해 저장합니다.

구성 OpenSearch 마이그레이션 범위에 적합한 컴퓨팅 및 스토리지 리소스를 갖춘 서비스 클러스터를 구성합니다. 사용할 복제 작업에 따라 다음 요소를 고려하는 것이 좋습니다.

  • 전체 데이터 로드의 경우, 마이그레이션할 데이터의 총량과 전송 속도를 고려합니다.

  • 지속적인 변경 사항을 복제하는 경우, 업데이트 빈도와 end-to-end 지연 시간 요구 사항

또한 에서 인덱스 설정을 구성합니다. OpenSearch 문서 개수에 주의하며 클러스터를 구성합니다.

멀티스레드 전체 로드 작업 설정

전송 속도를 향상하는 데 도움이 되도록,AWS DMS에 대한 멀티스레드 전체 로드를 지원합니다. OpenSearch 서비스 대상 클러스터.AWS DMS는 다음과 같은 작업 설정을 통해 이 멀티태스킹에서 지원됩니다.

  • MaxFullLoadSubTasks— 병렬로 로드할 최대 소스 테이블 수를 표시하려면 이 옵션을 사용합니다. DMS는 각 테이블을 해당 테이블에 로드합니다. OpenSearch 전용 하위 작업을 사용한 서비스 대상 인덱스입니다. 기본값은 8이며, 최대값은 49입니다.

  • ParallelLoadThreads— 이 옵션을 사용하여 다음과 같은 스레드 수를 지정합니다.AWS DMS를 사용하여 각 테이블을 테이블에 로드합니다. OpenSearch 서비스 대상 인덱스. 에 대한 최대값 OpenSearch 서비스 대상은 32입니다. 이 최대 한도를 증가시키도록 요청할 수 있습니다.

    참고

    ParallelLoadThreads를 기본값(0)에서 변경하지 않으면 AWS DMS는 한 번에 하나의 레코드를 전송합니다. 이 접근 방식은 OpenSearch 서비스 클러스터. 이 옵션을 1 이상으로 설정해야 합니다.

  • ParallelLoadBufferSize— parallel 로드 스레드에서 데이터를 로드하기 위해 사용하는 버퍼에 저장할 최대 레코드 수를 지정하려면 이 옵션을 사용합니다. OpenSearch 서비스 대상. 기본값은 50입니다. 최대값은 1,000입니다. 이 설정은 ParallelLoadThreads와 함께 사용하십시오. ParallelLoadBufferSize는 둘 이상의 스레드가 있는 경우에만 유효합니다.

DMS에서 를 로드하는 방법에 대한 자세한 내용은 OpenSearch 멀티스레딩을 사용하는 서비스 클러스터는 다음을 참조하십시오.AWS블로그 게시물아마존 확장 OpenSearch 에 대한 서비스AWS Database Migration Service이주.

멀티스레드 CDC 로드 작업 설정

에 대한 변경 데이터 캡처 (CDC) 성능을 향상시킬 수 있습니다. OpenSearch 서비스 대상 클러스터를 사용하여 작업 설정을 사용하여 동작을 수정합니다.PutRecordsAPI 호출. 이렇게 하려면 ParallelApply* 작업 설정을 사용하여 동시 스레드 수, 스레드당 대기열 및 버퍼에 저장할 레코드 수를 지정해야 합니다. 예를 들어 CDC 로드를 수행하고 32개의 스레드를 병렬로 적용한다고 가정하겠습니다. 또한 버퍼당 50개 레코드가 저장된 스레드당 64개 대기열에 액세스하려고 합니다.

참고

사용 SupportParallelApply*CDC에서 아마존으로 보내는 동안 작업 설정 OpenSearch 서비스 대상 엔드포인트는 에서 사용할 수 있습니다.AWS DMS버전 3.4.0 이상입니다.

CDC 성능을 승격하기 위해 AWS DMS에서는 다음 작업 설정을 지원합니다.

  • ParallelApplyThreads— 동시 스레드 수를 지정합니다.AWS DMS는 데이터 레코드를 로 푸시하기 위해 CDC 로드 중에 를 사용합니다. OpenSearch 서비스 대상 엔드포인트입니다. 기본값은 0이고 최대값은 32입니다.

  • ParallelApplyBufferSize— 동시 스레드에 푸시할 각 버퍼 대기열에 저장할 최대 레코드 수를 지정합니다. OpenSearch CDC 로드 중 서비스 대상 엔드포인트. 기본값은 100이고 최대값은 1,000입니다. ParallelApplyThreads가 둘 이상의 스레드를 지정할 때 이 옵션을 사용합니다.

  • ParallelApplyQueuesPerThread— 대기열에서 데이터 레코드를 가져오고 에 대한 배치 로드를 생성하기 위한 대기열 수를 지정합니다. OpenSearch CDC 중 서비스 엔드포인트.

ParallelApply* 작업 설정을 사용할 때 partition-key-type 기본값은 테이블의 schema-name.table-name가 아니라 primary-key입니다.

관계형 데이터베이스 테이블에서 OpenSearch 서비스 인덱스

AWS DMS는 데이터 마이그레이션을 지원합니다. OpenSearch Service 스칼라 데이터 형식입니다. Oracle 또는 MySQL과 같은 관계형 데이터베이스에서 로 마이그레이션할 때 OpenSearch 서비스, 이 데이터를 저장하는 방법을 다시 구성해야 할 수도 있습니다.

AWS DMS는 다음을 지원합니다. OpenSearch 서비스 스칼라 데이터 형식:

  • Boolean

  • 날짜

  • Float

  • 정수

  • String

AWS DMS는 날짜 형식의 데이터를 문자열 형식으로 변환합니다. 사용자 지정 매핑을 지정하여 이러한 날짜를 해석할 수 있습니다.

AWS DMS는 LOB 데이터 형식의 마이그레이션을 지원하지 않습니다.

Amazon 사용을 위한 사전 조건 OpenSearch 대상 서비스AWS Database Migration Service

작업을 시작하기 전에 OpenSearch 의 대상으로 서비스 데이터베이스AWS DMS를 생성했는지 확인합니다.AWS Identity and Access Management(IAM) 역할. 이 역할은 다음과 같습니다.AWS DMS에 액세스 OpenSearch 대상 엔드포인트에서 서비스 인덱스를 생성합니다. 최소 액세스 권한 집합이 다음 IAM 정책에 나와 있습니다.

{ "Version": "2012-10-17", "Statement": [ { "Sid": "1", "Effect": "Allow", "Principal": { "Service": "dms.amazonaws.com" }, "Action": "sts:AssumeRole" } ] }

마이그레이션에서 사용하는 역할 OpenSearch Service 에는 다음 권한이 있어야 합니다.

{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "es:ESHttpDelete", "es:ESHttpGet", "es:ESHttpHead", "es:ESHttpPost", "es:ESHttpPut" ], "Resource": "arn:aws:es:region:account-id:domain/domain-name/*" } ] }

이전 예제에서 바꾸기region와 함께AWS리전 식별자account-id당신과 함께AWS계정 IDdomain-nameAmazon 이름으로 바꿉니다. OpenSearch 서비스 도메인. arn:aws:es:us-west-2:123456789012:domain/my-es-domain를 예로 들 수 있음

사용 시 추가 연결 속성 OpenSearch 대상 서비스AWS DMS

을 설정할 때 OpenSearch 서비스 대상 엔드포인트로, 추가 연결 속성을 지정할 수 있습니다. 추가 연결 속성은 키-값 페어로 지정되고 세미콜론으로 구분됩니다.

다음 표에는 를 사용하는 경우 사용 가능한 추가 연결 속성에 관해 설명합니다. OpenSearch Service 인스턴스를AWS DMS소스.

속성 이름 유효한 값 기본값과 설명

fullLoadErrorPercentage

0보다 크고 100 이하인 양의 정수입니다.

10 - 전체 로드 작업의 경우 이 속성이 작업 실패 전에 허용되는 오류의 임계값을 결정합니다. 예를 들어 소스 엔드포인트에 1,500개 행이 있으며 이 파라미터가 10으로 설정되어 있다고 가정합니다. 이 경우, AWS DMS가 대상 엔드포인트에 작성할 때 150개(행 수의 10%)를 초과하는 오류를 포착하면 작업이 실패합니다.

errorRetryDuration

0보다 큰 양의 정수입니다.

300 - 대상 엔드포인트에 오류가 발생하면 AWS DMS가 이를 몇 초 동안 재시도합니다. 그렇지 않으면 테스트가 실패한 것입니다.

Amazon 사용 관련 제한 사항 OpenSearch 대상 서비스AWS Database Migration Service

Amazon 사용 시 다음 제한 사항이 적용됩니다. OpenSearch 타겟으로서의 서비스:

  • OpenSearch Service는 동적 매핑 (auto 추정) 을 사용하여 데이터 마이그레이션에 사용할 데이터 형식을 결정합니다.

  • OpenSearch Service는 각 문서를 고유 ID로 저장합니다. 다음은 ID의 예입니다.

    "_id": "D359F8B537F1888BC71FE20B3D79EAE6674BE7ACA9B645B0279C7015F6FF19FD"

    각 문서 ID의 길이는 스토리지 요구 사항에 부합하도록 64바이트입니다. 예를 들어, 에서 100,000개의 행을 마이그레이션하는 경우AWS DMS소스, 결과 OpenSearch 서비스 인덱스에는 640만 바이트의 스토리지가 추가로 필요하게 됩니다.

  • 다음으로 바꿉니다. OpenSearch 서비스, 기본 키 속성 업데이트를 허용할 수 없습니다. 대상에 원치 않는 데이터가 발생할 수 있으므로 변경 데이터 캡처(CDC)와 함께 지속적인 복제 사용 시 이 제한이 중요합니다. CDC 모드에서 기본 키는 32바이트 길이의 SHA256 값으로 매핑됩니다. 이는 사람이 읽을 수 있는 64바이트 문자열로 변환되며 다음과 같이 사용됩니다. OpenSearch 서비스 문서 ID.

  • 다음의 경우,AWS DMS가 마이그레이션할 수 없는 항목을 발견하면 Amazon에 오류 메시지를 작성합니다. CloudWatch 로그. 이러한 동작은 오류 메시지를 예외 테이블에 작성하는 다른 AWS DMS 대상 엔드포인트의 경우와는 다릅니다.

  • AWS DMS에서는 마스터 사용자 및 암호로 세분화된 액세스 제어가 활성화된 Amazon ES 클러스터에 대한 연결을 지원하지 않습니다.

Amazon용 대상 데이터 형식 OpenSearch 서비스

AWS DMS에서 다른 형식의 데이터베이스에서 가져온 데이터를 마이그레이션할 때, 원본 데이터베이스의 데이터 형식을 AWS DMS 데이터 형식이라고 하는 중간 데이터 형식에 매핑합니다. 그런 다음 중간 데이터 형식을 대상 데이터 형식에 매핑합니다. 다음 표는 각각을 보여 줍니다.AWS DMS에 매핑되는 데이터 형식 및 데이터 형식 OpenSearch 서비스.

AWS DMS 데이터 형식 OpenSearch Service 데이터

Boolean

boolean

날짜

문자열

시간

날짜

타임스탬프

날짜

INT4

integer

Real4

float

UINT4

integer

AWS DMS 데이터 형식에 대한 추가 정보는 데이터 형식AWSDatabase Migration Service 단원을 참조하십시오.