Amazon Managed Service para Apache Flink 1.19

O Managed Service para Apache Flink agora oferece suporte ao Apache Flink versão 1.19.1. Esta seção apresenta os principais novos recursos e mudanças introduzidos com o Managed Service for Apache Flink, suporte ao Apache Flink 1.19.1.

nota

Se você estiver usando uma versão anterior compatível do Apache Flink e quiser atualizar seus aplicativos existentes para o Apache Flink 1.19.1, você pode fazer isso usando atualizações de versão do Apache Flink in-loco. Para obter mais informações, consulte Use atualizações de versão in-loco para o Apache Flink. Com as atualizações de versão no local, você mantém a rastreabilidade do aplicativo em relação a um único ARN nas versões do Apache Flink, incluindo instantâneos, registros, métricas, tags, configurações do Flink e muito mais.

Recursos compatíveis

O Apache Flink 1.19.1 introduz melhorias na API SQL, como parâmetros nomeados, paralelismo de origem personalizado e estados diferentes para vários operadores do Flink. TTLs

Recursos suportados e documentação relacionada

Recursos compatíveis	Descrição	Referência da documentação do Apache Flink
API SQL: Support a configuração de estados diferentes TTLs usando o SQL Hint	Agora, os usuários podem configurar o TTL de estado em junções regulares de stream e agregação de grupos.	FLIP-373: Configurando um estado diferente usando o SQL Hint TTLs
API SQL: Support parâmetros nomeados para funções e procedimentos de chamada	Agora, os usuários podem usar parâmetros nomeados em funções, em vez de confiar na ordem dos parâmetros.	FLIP-378: Support parâmetros nomeados para funções e procedimentos de chamada
API SQL: definindo paralelismo para fontes SQL	Agora, os usuários podem especificar o paralelismo para fontes SQL.	FLIP-367: Support Setting Parallelism para fontes de tabela/SQL
API SQL: Support Session Window TVF	Agora, os usuários podem usar as funções com valor de tabela da janela de sessão.	FLINK-24024: Sessão de suporte Window TVF
API SQL: A agregação Window TVF suporta entradas de registro de alterações	Agora, os usuários podem realizar a agregação de janelas nas entradas do changelog.	FLINK-20281: A agregação de janelas suporta entrada de fluxo de changelog
Support Python 3.11	O Flink agora suporta o Python 3.11, que é 10 a 60% mais rápido em comparação com o Python 3.10. Para obter mais informações, consulte O que há de novo no Python 3.11.	FLINK-33030: Adicionar suporte ao python 3.11
Forneça métricas para o TwoPhaseCommitting coletor	Os usuários podem visualizar estatísticas sobre o status dos committers em coletores de confirmação em duas fases.	FLIP-371: Forneça contexto de inicialização para a criação do Committer em TwoPhaseCommittingSink
Rastreie Reporters para reinício do trabalho e verificação	Agora, os usuários podem monitorar os rastreamentos da duração do ponto de verificação e das tendências de recuperação. No Amazon Managed Service para Apache Flink, habilitamos os relatores de rastreamento SLF4j por padrão, para que os usuários possam monitorar pontos de verificação e rastreamentos de trabalhos por meio de registros de aplicativos. CloudWatch	FLIP-384: Apresente TraceReporter e use-o para criar rastreamentos de verificação e recuperação

nota

Você pode optar pelos seguintes recursos enviando um caso de suporte:

Recursos de aceitação e documentação relacionada

Funcionalidades de adesão	Descrição	Referência da documentação do Apache Flink
Support usando um intervalo maior de ponto de verificação quando a fonte está processando a lista de pendências	Esse é um recurso opcional, pois os usuários devem ajustar a configuração de acordo com seus requisitos específicos de trabalho.	FLIP-309: Support usando um intervalo maior de ponto de verificação quando a fonte está processando a lista de pendências
Redirecione System.out e System.err para registros Java	Esse é um recurso opcional. No Amazon Managed Service para Apache Flink, o comportamento padrão é ignorar a saída de System.out e System.err porque a melhor prática na produção é usar o registrador Java nativo.	FLIP-390: Sistema de suporte desligado e erro ao ser redirecionado para o LOG ou descartado

Para a documentação da versão 1.19.1 do Apache Flink, consulte a documentação do Apache Flink v1.19.1.

Alterações no Amazon Managed Service para Apache Flink 1.19.1

O Logging Trace Reporter ativado por padrão

O Apache Flink 1.19.1 introduziu pontos de verificação e rastreamentos de recuperação, permitindo que os usuários depurassem melhor os problemas de pontos de verificação e recuperação de tarefas. No Amazon Managed Service para Apache Flink, esses rastreamentos são registrados no fluxo de CloudWatch log, permitindo que os usuários detalhem o tempo gasto na inicialização do trabalho e registrem o tamanho histórico dos pontos de verificação.

A estratégia de reinicialização padrão agora é atraso exponencial

No Apache Flink 1.19.1, há melhorias significativas na estratégia de reinicialização com atraso exponencial. No Amazon Managed Service para Apache Flink a partir do Flink 1.19.1, as tarefas do Flink usam a estratégia de reinicialização com atraso exponencial por padrão. Isso significa que as tarefas do usuário se recuperarão mais rapidamente de erros transitórios, mas não sobrecarregarão os sistemas externos se as reinicializações das tarefas persistirem.

Correções de bugs retroportadas

O Amazon Managed Service para Apache Flink fornece correções da comunidade Flink para problemas críticos. Isso significa que o tempo de execução é diferente da versão 1.19.1 do Apache Flink. A seguir está uma lista de correções de bugs que fizemos backport:

Correções de bugs retroportadas

Link do Apache Flink JIRA	Descrição
FLINK-35531	Essa correção aborda a regressão de desempenho introduzida na versão 1.17.0 que causa gravações mais lentas no HDFS.
FLINK-35157	Essa correção soluciona o problema de tarefas paralisadas do Flink quando fontes com alinhamento de marca d'água encontram subtarefas concluídas.
FLINK-34252	Essa correção soluciona o problema na geração de marca d'água que resulta em um estado incorreto de marca d'água IDLE.
FLINK-34252	Essa correção aborda a regressão de desempenho durante a geração da marca d'água, reduzindo as chamadas do sistema.
FLINK-33936	Essa correção soluciona o problema com registros duplicados durante a agregação de minilotes na API de tabelas.
FLINK-35498	Essa correção soluciona o problema com conflitos de nomes de argumentos ao definir parâmetros nomeados na API de tabela UDFs.
FLINK-33192	Essa correção soluciona o problema de um vazamento de memória de estado nos operadores de janela devido à limpeza incorreta do cronômetro.
FLINK-35069	Essa correção soluciona o problema quando uma tarefa do Flink trava, acionando um cronômetro no final de uma janela.
FLINK-35832	Essa correção soluciona o problema quando IFNULL retorna resultados incorretos.
FLINK-35886	Essa correção soluciona o problema quando tarefas com contrapressão são consideradas inativas.

Componentes

Componente	Versão
Java	11 (recomendado)
Python	3.11
Kinesis Data Analytics Flink Runtime () aws-kinesisanalytics-runtime	1.2.0
Connectors	Para obter informações sobre os conectores disponíveis, consulte Conectores Apache Flink.
Apache Beam (somente aplicativos Beam)	Da versão 2.61.0. Para obter mais informações, consulte Compatibilidade de versão do Flink.

Problemas conhecidos

Amazon Managed Service para Apache Flink Studio

O Studio usa notebooks Apache Zeppelin para fornecer uma experiência de desenvolvimento de interface única para desenvolvimento, depuração de código e execução de aplicativos de processamento de stream do Apache Flink. É necessário atualizar o Flink Interpreter do Zeppelin para permitir o suporte ao Flink 1.19. Este trabalho está agendado com a comunidade do Zeppelin e atualizaremos essas notas quando estiver concluído. Você pode continuar usando o Flink 1.15 com o Amazon Managed Service para Apache Flink Studio. Para obter mais informações, consulte Criação de um notebook Studio.