Amazon MSK Connect 문제 해결

다음 정보는 MSK Connect를 사용하는 동안 발생할 수 있는 문제를 해결하는 데 도움이 될 수 있습니다. AWS re:Post에 문제를 게시할 수도 있습니다.

커넥터가 퍼블릭 인터넷에서 호스팅되는 리소스에 액세스할 수 없습니다.

Amazon MSK Connect를 위한 인터넷 액세스 활성화를 참조하세요.

커넥터에서 실행 중인 작업 수가 tasks.max에 지정된 작업 수와 동일하지 않습니다.

다음은 커넥터가 지정된 최대 작업 수보다 적은 수의 작업을 사용하는 몇 가지 이유입니다.

• 일부 커넥터 구현은 사용할 수 있는 작업 수를 제한합니다. 예를 들어 MySQL을 위한 Debezium 커넥터는 단일 태스크 사용으로 제한됩니다.

• 자동 규모 조정 용량 모드를 사용하는 경우 Amazon MSK Connect는 커넥터에서 실행 중인 작업자 수와 작업자당 MCU 수에 비례하는 값으로 커넥터의 tasks.max 속성을 재정의합니다.

• 싱크 커넥터의 경우 병렬 처리 수준(작업 수)은 주제 파티션 수를 초과할 수 없습니다. 작업 최대값을 이보다 크게 설정할 수는 있지만, 단일 파티션은 한 번에 두 개 이상의 작업으로 처리되지 않습니다.

• Kafka Connect 2.7.x에서 기본 소비자 파티션 할당자는 RangeAssignor입니다. 이 할당자의 동작은 모든 주제의 첫 번째 파티션을 단일 소비자에게, 모든 주제의 두 번째 파티션을 단일 소비자에게 제공하는 등의 작업을 수행합니다. 즉, RangeAssignor를 사용하는 싱크 커넥터의 최대 활성 작업 수는 사용 중인 단일 주제의 최대 파티션 수와 동일합니다. 이 방법이 사용 사례에 적합하지 않은 경우 consumer.partition.assignment.strategy 속성을 더 적합한 소비자 파티션 할당자로 설정하는 작업자 구성을 생성해야 합니다. Kafka 2.7 인터페이스 ConsumerPartitionAssignor: 알려진 모든 구현 클래스를 참조하십시오.