Amazon Kinesis 資料串流處理在重新共用期間失序 - Managed Service for Apache Flink

Amazon Managed Service for Apache Flink 之前稱為 Amazon Kinesis Data Analytics for Apache Flink。

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

Amazon Kinesis 資料串流處理在重新共用期間失序

目前的 FlinkKinesisConsumer 實作不提供 Kinesis 碎片之間的強大排序保證。這可能會導致 out-of-order在重新共用 Kinesis Stream 期間進行處理,特別是對於經歷處理延遲的 Flink 應用程式。在某些情況下,例如根據事件時間的 Windows 運算子,事件可能會因為產生的延遲而被捨棄。

Diagram showing shards and shard consumers with time progression and trim horizon.

這是開放原始碼 Flink 中的已知問題。在提供連接器修正之前,請確保您的 Flink 應用程式在重新分割期間不會落後於 Kinesis 資料串流。透過確保 Flink 應用程式可容忍處理延遲,您可以將處理的影響 out-of-order和資料遺失的風險降到最低。