Kinesis 클라이언트 라이브러리 사용

Kinesis Client Library란 무엇입니까?

Kinesis Client Library(KCL)는 Amazon Kinesis Data Streams에서 데이터를 사용하고 처리하는 프로세스를 간소화하도록 설계된 독립형 Java 소프트웨어 라이브러리입니다. KCL은 분산 컴퓨팅과 관련된 많은 복잡한 작업을 처리하므로 개발자는 데이터 처리를 위한 비즈니스 로직을 구현하는 데 집중할 수 있습니다. 여러 작업자 간의 로드 밸런싱, 작업자 장애 대응, 처리된 레코드 검사, 스트림의 샤드 수 변경 대응과 같은 활동을 관리합니다.

KCL은 기본 라이브러리의 최신 버전, 보안 개선 사항 및 버그 수정을 포함하도록 자주 업데이트됩니다. 알려진 문제를 방지하고 모든 최신 개선 사항의 이점을 누리려면 최신 버전의 KCL을 사용하는 것이 좋습니다. 최신 KCL 버전을 찾으려면 KCL Github를 참조하세요.

중요

• 알려진 버그와 문제를 방지하려면 최신 KCL 버전을 사용하는 것이 좋습니다. KCL 2.6.0 이하를 사용하는 경우 스트림 용량이 변경될 때 샤드 처리를 차단할 수 있는 드문 조건을 방지하려면 KCL 2.6.1 이상으로 업그레이드하세요.

• KCL은 Java 라이브러리입니다. Java 이외의 언어에 대한 지원은 MultiLangDaemon이라는 Java 기반 데몬을 사용하여 제공됩니다. MultiLangDaemon은 STDIN 및 STDOUT을 통해 KCL 애플리케이션과 상호 작용합니다. GitHub의 MultiLangDaemon에 대한 자세한 내용은 섹션을 참조하세요비 Java 언어로 KCL을 사용하여 소비자 개발.

• AWS SDK for Java 버전 2.27.19~2.27.23을 KCL 3.x와 함께 사용하지 마세요. 이러한 버전에는 KCL의 DynamoDB 사용과 관련된 예외 오류가 발생하는 문제가 포함되어 있습니다. 이 문제를 방지하려면 AWS SDK for Java 버전 2.28.0 이상을 사용하는 것이 좋습니다.

KCL 주요 기능 및 이점

다음은 KCL의 주요 기능 및 관련 이점입니다.

• 확장성: KCL을 사용하면 여러 작업자에 처리 부하를 분산하여 애플리케이션이 동적으로 확장할 수 있습니다. 로드 재분산에 대한 걱정 없이 애플리케이션을 수동으로 또는 오토 스케일링으로 확장하거나 축소할 수 있습니다.

• 로드 밸런싱: KCL은 사용 가능한 작업자 간에 처리 로드의 균형을 자동으로 조정하여 작업자 간에 작업을 고르게 분산합니다.

• 체크포인트 지정: KCL은 처리된 레코드의 체크포인트 지정을 관리하여 애플리케이션이 마지막으로 성공적으로 처리된 위치에서 처리를 재개할 수 있도록 합니다.

• 내결함성: KCL은 내장 내결함성 메커니즘을 제공하여 개별 작업자가 실패하더라도 데이터 처리가 계속되도록 합니다. 또한 KCL은 at-least-once 전송을 제공합니다.

• 스트림 수준 변경 처리: KCL은 데이터 볼륨의 변경으로 인해 발생할 수 있는 샤드 분할 및 병합에 적응합니다. 상위 샤드가 완료되고 체크포인트가 지정된 후에만 하위 샤드가 처리되도록 하여 순서를 유지합니다.

• 모니터링: KCL은 소비자 수준 모니터링을 위해 Amazon CloudWatch와 통합됩니다.

• 다국어 지원: KCL은 기본적으로 Java를 지원하며 MultiLangDaemon을 통해 여러 비 Java 프로그래밍 언어를 활성화합니다.