Modèle de diffusion pour la conservation de la sortie d'application dans une destination externe - Manuel du développeur des applications Amazon Kinesis Data Analytics pour SQL

Pour les nouveaux projets, nous vous recommandons d’utiliser le nouveau service géré pour Apache Flink Studio plutôt que les applications Kinesis Data Analytics pour SQL. Le service géré pour Apache Flink Studio allie facilité d’utilisation et capacités analytiques avancées, ce qui vous permet de créer des applications sophistiquées de traitement des flux en quelques minutes.

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Modèle de diffusion pour la conservation de la sortie d'application dans une destination externe

Amazon Kinesis Data Analytics utilise un modèle de diffusion « au moins une fois » pour la sortie d’application vers les destinations configurées. Lorsqu’une application est en cour d’exécution, Kinesis Data Analytics prend des points de contrôle internes. Ces points de contrôle sont des points dans le temps où les enregistrements de sortie ont été envoyés vers les destinations sans perte de données. Le service utilise les points de contrôle si nécessaire pour s'assurer que la sortie de votre application est envoyée au moins une fois aux destinations configurées.

Dans une situation normale, votre application traite les données entrantes en continu. Kinesis Data Analytics écrit la sortie sur les destinations configurées, telles qu'un flux de données Kinesis ou un flux de diffusion Firehose. Toutefois, votre application peut parfois être interrompue, par exemple :

  • Vous choisissez d'arrêter votre application et de la redémarrer ultérieurement.

  • Vous supprimez le rôle IAM dont Kinesis Data Analytics a besoin pour écrire la sortie de votre application vers la destination configurée. Sans le rôle IAM, Kinesis Data Analytics n’est pas autorisé à écrire vers la destination externe en votre nom.

  • Une indisponibilité du réseau ou d'autres défaillances de service internes entraînent l'arrêt temporaire de votre application.

Lorsque votre application redémarre, Kinesis Data Analytics veille à ce qu’elle continue de traiter et d’écrire la sortie à partir d’un point avant ou correspondant au moment où la défaillance s’est produite. Cela permet de garantir que rien ne manque dans la sortie de votre application envoyée vers les destinations configurées.

Supposons que vous avez configuré plusieurs destinations depuis le même flux intégré à l'application. Une fois que l’application s’est rétablie de la défaillance, Kinesis Data Analytics reprend l’envoi de la sortie vers les destinations configurées pour conservation à partir du dernier enregistrement qui a été envoyé vers la destination plus lente. De ce fait, le même enregistrement de sortie peut être envoyé plusieurs fois vers d’autres destinations. Dans ce cas, vous devez traiter les duplications potentielles dans la destination en externe.