리샤딩 중에 Amazon Kinesis 데이터 스트림의 소스 처리 순서가 잘못되었습니다. - Managed Service for Apache Flink

Amazon Managed Service for Apache Flink는 이전에 Amazon Kinesis Data Analytics for Apache Flink로 알려졌습니다.

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

리샤딩 중에 Amazon Kinesis 데이터 스트림의 소스 처리 순서가 잘못되었습니다.

현재 FlinkKinesisConsumer 구현에서는 Kinesis 샤드 간에 강력한 주문 보장을 제공하지 않습니다. 이로 인해 특히 out-of-order 처리 지연이 발생하는 Flink 애플리케이션의 경우 Kinesis Stream을 다시 샤딩하는 동안 처리가 발생할 수 있습니다. 이벤트 시간을 기반으로 하는 Windows 연산자와 같은 일부 상황에서는 결과적으로 지연이 발생하여 이벤트가 삭제될 수 있습니다.

Diagram showing shards and shard consumers with time progression and trim horizon.

이는 오픈 소스 Flink의 알려진 문제입니다. 커넥터 수정 사항이 제공될 때까지 다시 파티셔닝하는 동안 Flink 애플리케이션이 Kinesis Data Streams에 뒤쳐지지 않도록 합니다. Flink 앱이 처리 지연을 허용하도록 하면 처리의 out-of-order 영향과 데이터 손실 위험을 최소화할 수 있습니다.