Amazon Managed Service para Apache Flink 1.18

O Managed Service para Apache Flink agora oferece suporte ao Apache Flink versão 1.18.1. Conheça os principais novos recursos e mudanças introduzidos com o Managed Service for Apache Flink, suporte ao Apache Flink 1.18.1.

nota

Se você estiver usando uma versão anterior compatível do Apache Flink e quiser atualizar seus aplicativos existentes para o Apache Flink 1.18.1, você pode fazer isso usando atualizações de versão do Apache Flink in-loco. Com as atualizações de versão no local, você mantém a rastreabilidade do aplicativo em relação a um único ARN nas versões do Apache Flink, incluindo instantâneos, registros, métricas, tags, configurações do Flink e muito mais. Você pode usar esse recurso em RUNNING um READY estado. Para obter mais informações, consulte Use atualizações de versão in-loco para o Apache Flink.

Recursos compatíveis com referências de documentação do Apache Flink

Recursos compatíveis	Descrição	Referência da documentação do Apache Flink
Conector Opensearch	Esse conector inclui um coletor que fornece at-least-once garantias.	github: Conector Opensearch
Conector Amazon DynamoDB	Esse conector inclui um coletor que fornece at-least-once garantias.	Coletor do Amazon DynamoDB
Conector MongoDB	Esse conector inclui uma fonte e um coletor que fornecem at-least-once garantias.	Conector MongoDB
Separe o Hive com o planejador Flink	Você pode usar o dialeto Hive diretamente sem a troca extra de JAR.	FLINK-26603: Separe o Hive com o planejador Flink
Desative o WAL em Rocks DBWrite BatchWrapper por padrão	Isso proporciona tempos de recuperação mais rápidos.	FLINK-32326: Desative o WAL em Rocks por padrão DBWrite BatchWrapper
Melhore o desempenho da agregação de marcas d'água ao ativar o alinhamento da marca d'água	Melhora o desempenho da agregação de marcas d'água ao ativar o alinhamento da marca d'água e adiciona o benchmark relacionado.	FLINK-32524: Desempenho de agregação de marcas d'água
Prepare o alinhamento da marca d'água para uso em produção	Elimina o risco de sobrecarga de grandes trabalhos JobManager	FLINK-32548: Prepare o alinhamento da marca d'água
Configurável RateLimitingStratey para coletor assíncrono	RateLimitingStrategy permite que você configure a decisão sobre o que escalar, quando escalar e quanto escalar.	FLIP-242: Introdução configurável RateLimitingStrategy para Async Sink
Estatísticas de tabelas e colunas de busca em massa	Desempenho aprimorado da consulta.	FLIP-247: Busca em massa de estatísticas de tabelas e colunas para determinadas partições

Para a documentação de lançamento do Apache Flink 1.18.1, consulte Anúncio de lançamento do Apache Flink 1.18.1.

Mudanças no Amazon Managed Service para Apache Flink com Apache Flink 1.18

Akka substituída por Pekko

O Apache Flink substituiu Akka por Pekko no Apache Flink 1.18. Essa alteração é totalmente suportada no Managed Service for Apache Flink a partir do Apache Flink 1.18.1 e versões posteriores. Você não precisa modificar seus aplicativos como resultado dessa alteração. Para obter mais informações, consulte FLINK-32468: Substitua Akka por Pekko.

Support a PyFlink execução do Runtime no Modo Thread

Essa alteração do Apache Flink introduz um novo modo de execução para a estrutura Pyflink Runtime, o Process Mode. O Modo de Processo agora pode executar funções definidas pelo usuário do Python no mesmo encadeamento, em vez de em um processo separado.

Correções de bugs retroportadas

O Amazon Managed Service para Apache Flink fornece correções da comunidade Flink para problemas críticos. Isso significa que o tempo de execução é diferente da versão 1.18.1 do Apache Flink. A seguir está uma lista de correções de bugs que fizemos backport:

Correções de bugs retroportadas

Link do Apache Flink JIRA	Descrição
FLINK-33863	Essa correção soluciona o problema quando uma restauração de estado falha para instantâneos compactados.
FLINK-34063	Essa correção soluciona o problema quando os operadores de origem perdem divisões quando a compactação de instantâneos está ativada. O Apache Flink oferece compressão opcional (padrão: desligado) para todos os pontos de verificação e pontos de salvamento. O Apache Flink identificou um bug no Flink 1.18.1 em que o estado do operador não pôde ser restaurado adequadamente quando a compactação de instantâneos foi ativada. Isso pode resultar na perda de dados ou na incapacidade de restaurar a partir do ponto de verificação.
FLINK-35069	Essa correção soluciona o problema quando uma tarefa do Flink trava, acionando um cronômetro no final de uma janela.
FLINK-35097	Essa correção soluciona o problema de registros duplicados em um conector de sistema de arquivos da API de tabela com o formato bruto.
FLINK-34379	Essa correção soluciona o problema de um OutOfMemoryError ao ativar a filtragem dinâmica de tabelas.
FLINK-28693	Essa correção soluciona o problema de a API de tabela não conseguir gerar um gráfico se a marca d'água tiver uma expressão ColumnBy.
FLINK-35217	Essa correção soluciona o problema de um ponto de verificação corrompido durante um modo específico de falha de trabalho do Flink.

Componentes

Componente	Versão
Java	11 (recomendado)
Scala	Desde a versão 1.15, o Flink é independente de Scala. Para referência, o MSF Flink 1.18 foi verificado em relação ao Scala 3.3 (LTS).
Serviço gerenciado para Apache Flink Flink Runtime () aws-kinesisanalytics-runtime	1.2.0
AWS Kinesis Connector (flink-connector-kinesis) [Fonte]	4.2.0-1.18
AWS Conector Kinesis (flink-connector-kinesis) [Pia]	4.2.0-1.18
Apache Beam (somente aplicativos Beam)	Da versão 2.57.0. Para obter mais informações, consulte Compatibilidade de versão do Flink.

Problemas conhecidos

Amazon Managed Service para Apache Flink Studio

O Studio usa notebooks Apache Zeppelin para fornecer uma experiência de desenvolvimento de interface única para desenvolvimento, depuração de código e execução de aplicativos de processamento de stream do Apache Flink. É necessário atualizar o Flink Interpreter do Zeppelin para permitir o suporte ao Flink 1.18. Este trabalho está agendado com a comunidade do Zeppelin e atualizaremos essas notas quando estiver concluído. Você pode continuar usando o Flink 1.15 com o Amazon Managed Service para Apache Flink Studio. Para obter mais informações, consulte Criação de um notebook Studio.

Ociosidade incorreta da marca d'água quando a subtarefa é pressionada de forma contrária

Há um problema conhecido na geração de marca d'água quando uma subtarefa é pressionada novamente, que foi corrigido a partir do Flink 1.19 e versões posteriores. Isso pode aparecer como um aumento no número de registros atrasados quando um gráfico de trabalho do Flink é pressionado em sentido contrário. Recomendamos que você atualize para a versão mais recente do Flink para obter essa correção. Para obter mais informações, consulte Contabilização incorreta do tempo limite de ociosidade da marca d'água quando a subtarefa é pressionada/bloqueada.