DynamoDB Streams und Apache Flink

Sie können Amazon DynamoDB Streams-Datensätze mit Apache Flink verwenden. Mit Amazon Managed Service für Apache Flink können Sie Streaming-Daten mithilfe von Apache Flink in Echtzeit transformieren und analysieren. Apache Flink ist ein Open-Source-Framework zur Stream-Verarbeitung für die Verarbeitung von Echtzeitdaten. Der Amazon DynamoDB Streams-Connector für Apache Flink vereinfacht die Erstellung und Verwaltung von Apache Flink-Workloads und ermöglicht Ihnen die Integration von Anwendungen mit anderen. AWS-Services

Amazon Managed Service für Apache Flink hilft Ihnen dabei, schnell end-to-end Stream-Verarbeitungsanwendungen für Protokollanalysen, Clickstream-Analysen, Internet der Dinge (IoT), Werbetechnologie, Spiele und mehr zu erstellen. Die vier häufigsten Anwendungsfälle sind Streaming extract-transform-load (ETL), ereignisgesteuerte Anwendungen, reaktionsschnelle Echtzeitanalysen und interaktive Abfragen von Datenströmen. Weitere Informationen zum Schreiben von Amazon DynamoDB Streams in Apache Flink finden Sie unter Amazon DynamoDB Streams Connector.

Verwenden des ShardFilter Parameters mit dem DynamoDB Streams Streams-Konnektor für Apache Flink

Amazon DynamoDB Streams unterstützt den ShardFilter Parameter in der DescribeStream API, um eine Teilmenge von Shards zu finden. Durch Angabe eines übergeordneten Shards in der Anfrage gibt DynamoDB Streams seine unmittelbar untergeordneten Shards zurück. Sie können den ShardFilter Parameter verwenden, um untergeordnete Shards schnell zu erkennen, nachdem ein übergeordneter Shard geschlossen wurde, wodurch Ihre Stream-Verarbeitungsanwendungen reaktionsschneller und kostengünstiger werden.

Amazon Managed Service für Apache Flink unterstützt den ShardFilter Parameter beim Lesen aus DynamoDB Streams. Um diese Funktion nutzen zu können, müssen Sie Zugriff auf eine spezielle Version des Flink-Connectors beantragen, die Unterstützung bietet. ShardFilter Öffnen Sie zunächst eine Support-Anfrage im AWS Support Center und fordern Sie Zugriff auf diese Binärdateien an. Weitere Informationen zur Verwendung von DynamoDB Streams mit Apache Flink finden Sie Lesen und Verarbeiten eines Streams im DynamoDB Developer Guide.