Amazon Managed Service para Apache Flink Amazon se denominaba anteriormente Amazon Kinesis Data Analytics para Apache Flink.
Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Amazon Managed Service para Apache Flink 1.19
El servicio gestionado para Apache Flink ahora es compatible con la versión 1.19.1 de Apache Flink. En esta sección se presentan las principales novedades y cambios introducidos con la compatibilidad de Managed Service for Apache Flink con Apache Flink 1.19.1.
nota
Si utiliza una versión anterior compatible de Apache Flink y desea actualizar sus aplicaciones actuales a Apache Flink 1.19.1, puede hacerlo mediante las actualizaciones de versión locales de Apache Flink. Para obtener más información, consulte Utilice actualizaciones de versión locales para Apache Flink. Con las actualizaciones de versión locales, podrá seguir la trazabilidad de las aplicaciones con respecto a una sola ARN en todas las versiones de Apache Flink, incluidas las instantáneas, los registros, las métricas, las etiquetas, las configuraciones de Flink y mucho más.
Características admitidas
Apache Flink 1.19.1 introduce mejoras en el sistema SQLAPI, como los parámetros con nombre asignado, el paralelismo personalizado de las fuentes y los diferentes estados de los distintos operadores de Flink. TTLs
Funciones compatibles y documentación relacionada | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Características admitidas | Descripción | Referencia de la documentación de Apache Flink | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| SQLAPI: Support Configuring Different State TTLs mediante SQL Hint | Los usuarios ahora pueden configurar TTL el estado de las uniones regulares de la transmisión y la agregación de grupos. | FLIP-373: Configuración de un estado diferente TTLs mediante Hint SQL |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| SQLAPI: Support con nombres para funciones y procedimientos de llamada | Los usuarios ahora pueden usar parámetros con nombre en las funciones, en lugar de confiar en el orden de los parámetros. | FLIP-378: Support named parameters for functions and call procedures |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| SQLAPI: Establecer el paralelismo para las fuentes SQL | Los usuarios ahora pueden especificar el paralelismo de las fuentes. SQL | FLIP-367: Support Setting Paralelism for Table/Sources SQL |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| SQLAPI: Ventana de sesión de soporte TVF | Los usuarios ahora pueden usar las funciones con valores de tabla de la ventana de sesión. | FLINK-24024: Ventana de sesión Support TVF |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| SQLAPI: La TVF agregación de ventanas admite entradas de registro de cambios | Los usuarios ahora pueden agregar ventanas en las entradas del registro de cambios. | FLINK-20281: La agregación de ventanas admite la entrada de flujos de registro de cambios |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Support Python 3.11 |
Flink ahora es compatible con Python 3.11, que es entre un 10 y un 60% más rápido en comparación con Python 3.10. Para obtener más información, consulte Novedades de Python 3.11 |
FLINK-33030: Se ha añadido compatibilidad con Python 3.11 |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Proporcione métricas para el sumidero TwoPhaseCommitting | Los usuarios pueden ver las estadísticas sobre el estado de los receptores en dos fases. | FLIP-371: Proporcione el contexto de inicialización para la creación de comités en TwoPhaseCommittingSink |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Localice a Reporters para reiniciar el trabajo y establecer puntos de control |
Los usuarios ahora pueden monitorear los rastros relacionados con la duración de los puntos de control y las tendencias de recuperación. En Amazon Managed Service para Apache Flink, habilitamos los indicadores de rastreo SLF4j de forma predeterminada para que los usuarios puedan monitorear los rastreos de puntos de control y trabajos a través de los registros de la aplicación. CloudWatch | FLIP-384: Introdúzcala y úsala para crear trazas de puntos de control TraceReporter y recuperación |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
nota
Puede optar por las siguientes funciones enviando un caso de soporte
Funciones opcionales y documentación relacionada | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Características de suscripción | Descripción | Referencia de la documentación de Apache Flink | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Support usa un intervalo de puntos de control mayor cuando la fuente está procesando el trabajo atrasado | Se trata de una función opcional, ya que los usuarios deben ajustar la configuración a los requisitos específicos de su trabajo. | FLIP-309: Support usa un intervalo de puntos de control más grande cuando la fuente está procesando el backlog |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Redirija System.out y System.err a los registros de Java | Se trata de una función opcional. En Amazon Managed Service para Apache Flink, el comportamiento predeterminado es ignorar la salida de System.out y System.err, ya que la mejor práctica en producción es utilizar el registrador Java nativo. | FLIP-390: Support System no funciona y se produce un error al ser redirigido o descartado LOG |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Cambios en Amazon Managed Service para Apache Flink 1.19.1
El registro de Trace Reporter está activado de forma predeterminada
Apache Flink 1.19.1 introdujo los rastreos de puntos de control y recuperación, lo que permitió a los usuarios depurar mejor los problemas relacionados con los puntos de control y la recuperación de tareas. En Amazon Managed Service para Apache Flink, estas trazas se registran en el flujo de CloudWatch registro, lo que permite a los usuarios desglosar el tiempo dedicado a la inicialización del trabajo y registrar el tamaño histórico de los puntos de control.
La estrategia de reinicio predeterminada ahora es el retraso exponencial
En Apache Flink 1.19.1, hay mejoras significativas en la estrategia de reinicio con retraso exponencial. En Amazon Managed Service para Apache Flink a partir de la versión 1.19.1, los trabajos de Flink utilizan la estrategia de reinicio con retraso exponencial de forma predeterminada. Esto significa que los trabajos de los usuarios se recuperarán más rápido de los errores transitorios, pero no sobrecargarán los sistemas externos si los reinicios persisten.
Componentes
| Componente | Versión |
|---|---|
| Java | 11 (recomendado) |
| Python |
3.11 |
| Tiempo de ejecución de Kinesis Data Analytics Flink () aws-kinesisanalytics-runtime | 1.2.0 |
| Connectors | Para obtener información sobre los conectores disponibles, consulte los conectores de Apache Flink. |
| Apache Beam (solo aplicaciones Beam) |
No existe un Apache Flink Runner compatible con Flink 1.19. Para obtener más información, consulte Compatibilidad de versiones de Flink |
Problemas conocidos
Apache Beam
Actualmente, no existe un Apache Flink Runner compatible con Flink 1.19 en Apache Beam. Para obtener más información, consulte Compatibilidad de versiones de Flink
Amazon Managed Service para Apache Flink Studio
Studio utiliza los cuadernos Apache Zeppelin para ofrecer una experiencia de desarrollo de interfaz única para desarrollar, depurar código y ejecutar aplicaciones de procesamiento de flujos de Apache Flink. Es necesaria una actualización del Flink Interpreter de Zeppelin para permitir la compatibilidad con Flink 1.19. Este trabajo está programado con la comunidad de Zeppelin y actualizaremos estas notas cuando esté terminado. Puedes seguir utilizando Flink 1.15 con Amazon Managed Service para Apache Flink Studio. Para obtener más información, consulte Creación de una libreta de Studio.
