Le service géré Amazon pour Apache Flink était auparavant connu sous le nom d’Amazon Kinesis Data Analytics pour Apache Flink.
Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Le service géré pour Apache Flink prend désormais en charge la version 1.19.1 d'Apache Flink. Cette section présente les principales nouvelles fonctionnalités et modifications apportées à la prise en charge d'Apache Flink par le service géré pour Apache Flink 1.19.1.
Note
Si vous utilisez une version antérieure prise en charge d'Apache Flink et que vous souhaitez mettre à niveau vos applications existantes vers Apache Flink 1.19.1, vous pouvez le faire en utilisant des mises à niveau de version d'Apache Flink sur place. Pour de plus amples informations, veuillez consulter Utiliser des mises à niveau de version sur place pour Apache Flink. Grâce aux mises à niveau de version sur place, vous conservez la traçabilité des applications par rapport à un seul ARN pour toutes les versions d'Apache Flink, y compris les instantanés, les journaux, les métriques, les balises, les configurations Flink, etc.
Fonctionnalités prises en charge
Apache Flink 1.19.1 apporte des améliorations à l'API SQL, telles que des paramètres nommés, un parallélisme de source personnalisé et des états TTLs différents pour les différents opérateurs Flink.
| Fonctionnalités prises en charge | Description | Référence de documentation Apache Flink |
|---|---|---|
| API SQL : Support de configuration d'états différents à l' TTLs aide de SQL Hint | Les utilisateurs peuvent désormais configurer l'état TTL sur le stream, les jointures régulières et l'agrégation de groupes. | FLIP-373 : Configuration d'un état différent à l' TTLs aide de SQL Hint |
| API SQL : Support des paramètres nommés pour les fonctions et les procédures d'appel | Les utilisateurs peuvent désormais utiliser des paramètres nommés dans les fonctions, plutôt que de se fier à l'ordre des paramètres. | FLIP-378 : Support des paramètres nommés pour les fonctions et les procédures d'appel |
| API SQL : définition du parallélisme pour les sources SQL | Les utilisateurs peuvent désormais spécifier le parallélisme pour les sources SQL. | FLIP-367 : Support de configuration du parallélisme pour les sources Table/SQL |
| API SQL : fenêtre de session de support TVF | Les utilisateurs peuvent désormais utiliser les fonctions tabulaires de la fenêtre de session. | FLINK-24024 : Session de support Window TVF |
| API SQL : l'agrégation Window TVF prend en charge les entrées du journal des modifications | Les utilisateurs peuvent désormais effectuer une agrégation de fenêtres sur les entrées du journal des modifications. | FLINK-20281 : L'agrégation de fenêtres prend en charge l'entrée du flux du journal des modifications |
|
Support Python 3.11 |
Flink supporte désormais Python 3.11, qui est 10 à 60 % plus rapide que Python 3.10. Pour plus d'informations, consultez Nouveautés de Python 3.11 |
FLINK-33030 : Ajout du support de python 3.11 |
| Fournir des mesures pour le TwoPhaseCommitting puits | Les utilisateurs peuvent consulter les statistiques relatives au statut des contributeurs dans les puits de validation en deux phases. | FLIP-371 : Fournir un contexte d'initialisation pour la création du Committer dans TwoPhaseCommittingSink |
|
Reporters de suivi pour le redémarrage des tâches et le pointage |
Les utilisateurs peuvent désormais surveiller les traces relatives à la durée des points de contrôle et aux tendances en matière de rétablissement. Dans Amazon Managed Service pour Apache Flink, nous activons les rapports de suivi SLF4j par défaut, afin que les utilisateurs puissent surveiller les traces des points de contrôle et des tâches via les journaux des applications. CloudWatch | FLIP-384 : Introduisez-le TraceReporter et utilisez-le pour créer des traces de point de contrôle et de récupération |
Note
Vous pouvez opter pour les fonctionnalités suivantes en soumettant un dossier d'assistance
| Fonctionnalités d'inscription | Description | Référence de documentation Apache Flink |
|---|---|---|
| Support utilisant un intervalle de point de contrôle plus long lorsque la source traite le backlog | Il s'agit d'une fonctionnalité optionnelle, car les utilisateurs doivent adapter la configuration aux exigences spécifiques de leur travail. | FLIP-309 : Support de l'utilisation d'un intervalle de point de contrôle plus long lorsque la source traite le backlog |
| Rediriger System.out et System.err vers les journaux Java | Il s'agit d'une fonctionnalité optionnelle. Sur Amazon Managed Service pour Apache Flink, le comportement par défaut est d'ignorer les sorties de System.out et System.err, car la meilleure pratique en production consiste à utiliser l'enregistreur Java natif. | FLIP-390 : Système de support en panne et erreur pour être redirigé vers LOG ou supprimé |
Pour la documentation de la version 1.19.1 d'Apache Flink, consultez la documentation Apache Flink
Modifications apportées à Amazon Managed Service pour Apache Flink 1.19.1
Logging Trace Reporter activé par défaut
Apache Flink 1.19.1 a introduit des traces de point de contrôle et de restauration, permettant aux utilisateurs de mieux résoudre les problèmes liés aux points de contrôle et à la reprise des tâches. Dans Amazon Managed Service pour Apache Flink, ces traces sont enregistrées dans le flux de CloudWatch log, ce qui permet aux utilisateurs de ventiler le temps consacré à l'initialisation des tâches et d'enregistrer la taille historique des points de contrôle.
La stratégie de redémarrage par défaut est désormais le délai exponentiel
Apache Flink 1.19.1 apporte des améliorations significatives à la stratégie de redémarrage à retard exponentiel. Dans Amazon Managed Service pour Apache Flink à partir de Flink 1.19.1, les tâches Flink utilisent par défaut la stratégie de redémarrage à retard exponentiel. Cela signifie que les tâches des utilisateurs seront restaurées plus rapidement après des erreurs transitoires, mais ne surchargeront pas les systèmes externes si les redémarrages des tâches persistent.
Corrections de bugs rétroportées
Amazon Managed Service pour Apache Flink rétroporte les correctifs de la communauté Flink pour les problèmes critiques. Cela signifie que le runtime est différent de la version 1.19.1 d'Apache Flink. Voici une liste des corrections de bogues que nous avons rétroportées :
| Lien vers Apache Flink JIRA | Description |
|---|---|
| FLINK-35531 |
Ce correctif corrige la régression des performances introduite dans la version 1.17.0 qui ralentit les écritures sur HDFS. |
| FLINK-35157 |
Ce correctif résout le problème des tâches Flink bloquées lorsque des sources alignées en filigrane rencontrent des sous-tâches terminées. |
| FLINK-34252 |
Ce correctif résout le problème de génération de filigranes qui entraîne un état de filigrane IDLE erroné. |
| FLINK-34252 |
Ce correctif corrige la régression des performances lors de la génération de filigranes en réduisant les appels système. |
| FLINK-33936 |
Ce correctif résout le problème des enregistrements dupliqués lors de l'agrégation par mini-lots sur l'API Table. |
| FLINK-35498 |
Ce correctif résout le problème des conflits de noms d'arguments lors de la définition de paramètres nommés dans l'API Table UDFs. |
| FLINK-33192 |
Ce correctif résout le problème d'une fuite de mémoire d'état dans les opérateurs de fenêtres due à un nettoyage incorrect du chronomètre. |
| FLINK-35069 |
Ce correctif résout le problème lorsqu'une tâche Flink se bloque et déclenche un chronomètre à la fin d'une fenêtre. |
| FLINK-35832 |
Ce correctif résout le problème lorsque IFNULL renvoie des résultats incorrects. |
| FLINK-35886 |
Ce correctif résout le problème lorsque les tâches soumises à une contre-pression sont considérées comme inactives. |
Composants
| Composant | Version |
|---|---|
| Java | 11 (recommandée) |
| Python |
3,11 |
| Kinesis Data Analytics Flink Runtime () aws-kinesisanalytics-runtime | 1.2.0 |
| Connecteurs | Pour plus d'informations sur les connecteurs disponibles, consultez la section Connecteurs Apache Flink. |
| Apache Beam (applications Beam uniquement) |
À partir de la version 2.61.0. Pour plus d'informations, consultez la section Compatibilité des versions de Flink |
Problèmes connus
Service géré Amazon pour Apache Flink Studio
Studio utilise les blocs-notes Apache Zeppelin pour fournir une expérience de développement à interface unique pour le développement, le débogage du code et l'exécution d'applications de traitement de flux Apache Flink. Une mise à niveau de l'interpréteur Flink de Zeppelin est requise pour permettre le support de Flink 1.19. Ce travail est planifié avec la communauté Zeppelin et nous mettrons à jour ces notes lorsqu'il sera terminé. Vous pouvez continuer à utiliser Flink 1.15 avec Amazon Managed Service pour Apache Flink Studio. Pour plus d'informations, consultez la section Création d'un bloc-notes Studio.
