Amazon Managed Service pour Apache Flink 1.19

Le service géré pour Apache Flink prend désormais en charge la version 1.19.1 d'Apache Flink. Cette section présente les principales nouvelles fonctionnalités et modifications apportées à la prise en charge d'Apache Flink par le service géré pour Apache Flink 1.19.1.

Note

Si vous utilisez une version antérieure prise en charge d'Apache Flink et que vous souhaitez mettre à niveau vos applications existantes vers Apache Flink 1.19.1, vous pouvez le faire en utilisant des mises à niveau de version d'Apache Flink sur place. Pour de plus amples informations, veuillez consulter Utiliser des mises à niveau de version sur place pour Apache Flink. Grâce aux mises à niveau de version ARN sur place, vous conservez la traçabilité des applications par rapport à une seule version d'Apache Flink, y compris les instantanés, les journaux, les métriques, les balises, les configurations Flink, etc.

Fonctionnalités prises en charge

Apache Flink 1.19.1 apporte des améliorations SQLAPI, telles que des paramètres nommés, un parallélisme de source personnalisé et des états TTLs différents pour les différents opérateurs Flink.

Fonctionnalités prises en charge et documentation associée

Fonctionnalités prises en charge	Description	Référence de documentation Apache Flink
SQLAPI: Support de configuration d'états différents à l'TTLsaide de SQL Hint	Les utilisateurs peuvent désormais configurer l'état TTL sur le stream, les jointures régulières et l'agrégation de groupes.	FLIP-373 : Configuration d'un état différent à l'TTLsaide SQL de Hint
SQLAPI: Support des paramètres nommés pour les fonctions et les procédures d'appel	Les utilisateurs peuvent désormais utiliser des paramètres nommés dans les fonctions, plutôt que de se fier à l'ordre des paramètres.	FLIP-378 : Support des paramètres nommés pour les fonctions et les procédures d'appel
SQLAPI: Configuration du parallélisme pour les sources SQL	Les utilisateurs peuvent désormais spécifier le parallélisme pour les SQL sources.	FLIP-367 : Support de configuration du parallélisme pour les tableaux/sources SQL
SQLAPI: Fenêtre de session de support TVF	Les utilisateurs peuvent désormais utiliser les fonctions tabulaires de la fenêtre de session.	FLINK-24024 : Fenêtre de session de support TVF
SQLAPI: L'TVFagrégation de fenêtres prend en charge les entrées du journal des modifications	Les utilisateurs peuvent désormais effectuer une agrégation de fenêtres sur les entrées du journal des modifications.	FLINK-20281 : L'agrégation de fenêtres prend en charge l'entrée du flux du journal des modifications
Support Python 3.11	Flink supporte désormais Python 3.11, qui est 10 à 60 % plus rapide que Python 3.10. Pour plus d'informations, consultez Nouveautés de Python 3.11.	FLINK-33030 : Ajout du support de Python 3.11
Fournir des mesures pour le TwoPhaseCommitting puits	Les utilisateurs peuvent consulter les statistiques relatives au statut des contributeurs dans les puits de validation en deux phases.	FLIP-371 : Fournir un contexte d'initialisation pour la création du Committer dans TwoPhaseCommittingSink
Reporters de suivi pour le redémarrage des tâches et le pointage	Les utilisateurs peuvent désormais surveiller les traces relatives à la durée des points de contrôle et aux tendances en matière de rétablissement. Dans Amazon Managed Service pour Apache Flink, nous activons les rapports de suivi SLF4j par défaut, afin que les utilisateurs puissent surveiller les traces des points de contrôle et des tâches via les journaux des applications. CloudWatch	FLIP-384 : Introduisez-le TraceReporter et utilisez-le pour créer des traces de point de contrôle et de récupération

Note

Vous pouvez opter pour les fonctionnalités suivantes en soumettant un dossier d'assistance :

Fonctionnalités d'inscription et documentation associée

Fonctionnalités d'inscription	Description	Référence de documentation Apache Flink
Support utilisant un intervalle de point de contrôle plus long lorsque la source traite le backlog	Il s'agit d'une fonctionnalité optionnelle, car les utilisateurs doivent adapter la configuration aux exigences spécifiques de leur travail.	FLIP-309 : Support de l'utilisation d'un intervalle de point de contrôle plus long lorsque la source traite le backlog
Rediriger System.out et System.err vers les journaux Java	Il s'agit d'une fonctionnalité optionnelle. Sur Amazon Managed Service pour Apache Flink, le comportement par défaut est d'ignorer les sorties de System.out et System.err, car la meilleure pratique en production consiste à utiliser l'enregistreur Java natif.	FLIP-390 : Système de support en panne et erreur de redirection ou de suppression LOG

Pour la documentation de la version 1.19.1 d'Apache Flink, consultez la documentation Apache Flink v1.19.1.

Modifications apportées à Amazon Managed Service pour Apache Flink 1.19.1

Logging Trace Reporter activé par défaut

Apache Flink 1.19.1 a introduit des traces de point de contrôle et de restauration, permettant aux utilisateurs de mieux résoudre les problèmes liés aux points de contrôle et à la reprise des tâches. Dans Amazon Managed Service pour Apache Flink, ces traces sont enregistrées dans le flux de CloudWatch log, ce qui permet aux utilisateurs de ventiler le temps consacré à l'initialisation des tâches et d'enregistrer la taille historique des points de contrôle.

La stratégie de redémarrage par défaut est désormais le délai exponentiel

Apache Flink 1.19.1 apporte des améliorations significatives à la stratégie de redémarrage à retard exponentiel. Dans Amazon Managed Service pour Apache Flink à partir de Flink 1.19.1, les tâches Flink utilisent par défaut la stratégie de redémarrage à retard exponentiel. Cela signifie que les tâches des utilisateurs seront restaurées plus rapidement après des erreurs transitoires, mais ne surchargeront pas les systèmes externes si les redémarrages des tâches persistent.

Corrections de bugs rétroportées

Amazon Managed Service pour Apache Flink rétroporte les correctifs de la communauté Flink pour les problèmes critiques. Cela signifie que le runtime est différent de la version 1.19.1 d'Apache Flink. Voici une liste des corrections de bogues que nous avons rétroportées :

Corrections de bugs rétroportées

Lien Apache Flink JIRA	Description
FLINK-35531	Ce correctif corrige la régression des performances introduite dans la version 1.17.0 qui ralentit les écritures. HDFS
FLINK-35157	Ce correctif résout le problème des tâches Flink bloquées lorsque des sources alignées en filigrane rencontrent des sous-tâches terminées.
FLINK-34252	Ce correctif résout le problème de génération de filigranes qui entraîne un état de IDLE filigrane erroné.
FLINK-34252	Ce correctif corrige la régression des performances lors de la génération de filigranes en réduisant les appels système.
FLINK-33936	Ce correctif résout le problème des enregistrements dupliqués lors de l'agrégation par mini-lots sur Table. API
FLINK-35498	Ce correctif résout le problème des conflits de noms d'arguments lors de la définition de paramètres nommés dans Table APIUDFs.
FLINK-33192	Ce correctif résout le problème d'une fuite de mémoire d'état dans les opérateurs de fenêtres due à un nettoyage incorrect du chronomètre.
FLINK-35069	Ce correctif résout le problème lorsqu'une tâche Flink se bloque et déclenche un chronomètre à la fin d'une fenêtre.
FLINK-35832	Ce correctif résout le problème lorsque des résultats incorrects sont IFNULL renvoyés.
FLINK-35886	Ce correctif résout le problème lorsque les tâches soumises à une contre-pression sont considérées comme inactives.

Composants

Composant	Version
Java	11 (recommandée)
Python	3,11
Kinesis Data Analytics Flink Runtime () aws-kinesisanalytics-runtime	1.2.0
Connecteurs	Pour plus d'informations sur les connecteurs disponibles, consultez la section Connecteurs Apache Flink.
Apache Beam (applications Beam uniquement)	Il n'existe pas d'Apache Flink Runner compatible pour Flink 1.19. Pour plus d'informations, consultez la section Compatibilité des versions de Flink.

Problèmes connus

Faisceau Apache

Il n'existe actuellement aucun Apache Flink Runner compatible pour Flink 1.19 dans Apache Beam. Pour plus d'informations, consultez la section Compatibilité des versions de Flink.

Service géré Amazon pour Apache Flink Studio

Studio utilise les blocs-notes Apache Zeppelin pour fournir une expérience de développement à interface unique pour le développement, le débogage du code et l'exécution d'applications de traitement de flux Apache Flink. Une mise à niveau de l'interpréteur Flink de Zeppelin est requise pour permettre le support de Flink 1.19. Ce travail est planifié avec la communauté Zeppelin et nous mettrons à jour ces notes lorsqu'il sera terminé. Vous pouvez continuer à utiliser Flink 1.15 avec Amazon Managed Service pour Apache Flink Studio. Pour plus d'informations, consultez la section Création d'un bloc-notes Studio.