Amazon Managed Service para Apache Flink 1.18

O Managed Service para Apache Flink agora oferece suporte ao Apache Flink versão 1.18.1. Conheça os principais novos recursos e mudanças introduzidos com o Managed Service for Apache Flink, suporte ao Apache Flink 1.18.1.

nota

Se você estiver usando uma versão anterior compatível do Apache Flink e quiser atualizar seus aplicativos existentes para o Apache Flink 1.18.1, você pode fazer isso usando atualizações de versão do Apache Flink in-loco. Com as atualizações de versão no local, você mantém a rastreabilidade do aplicativo ARN em relação a uma única versão do Apache Flink, incluindo instantâneos, registros, métricas, tags, configurações do Flink e muito mais. Você pode usar esse recurso em RUNNING um READY estado. Para obter mais informações, consulte Use atualizações de versão in-loco para o Apache Flink.

Atributos compatíveis	Descrição	Referência da documentação do Apache Flink
Conector Opensearch	Esse conector inclui um coletor que fornece at-least-once garantias.	github: Conector Opensearch
Conector Amazon DynamoDB	Esse conector inclui um coletor que fornece at-least-once garantias.	Coletor do Amazon DynamoDB
Conector MongoDB	Esse conector inclui uma fonte e um coletor que fornecem at-least-once garantias.	Conector MongoDB
Separe o Hive com o planejador Flink	Você pode usar o dialeto Hive diretamente sem a troca extraJAR.	FLINK-26603: Separe o Hive com o planejador Flink
Desativar WAL em R ocksDBWrite BatchWrapper por padrão	Isso proporciona tempos de recuperação mais rápidos.	FLINK-32326: Desativar em WAL R por padrão ocksDBWrite BatchWrapper
Melhore o desempenho da agregação de marcas d'água ao ativar o alinhamento da marca d'água	Melhora o desempenho da agregação de marcas d'água ao ativar o alinhamento da marca d'água e adiciona o benchmark relacionado.	FLINK-32524: Desempenho de agregação de marcas d'água
Prepare o alinhamento da marca d'água para uso em produção	Elimina o risco de sobrecarga de grandes trabalhos JobManager	FLINK-32548: Preparar o alinhamento da marca d'água
Configurável RateLimitingStratey para coletor assíncrono	RateLimitingStrategy permite que você configure a decisão sobre o que escalar, quando escalar e quanto escalar.	FLIP-242: Introdução configurável RateLimitingStrategy para Async Sink
Estatísticas de tabelas e colunas de busca em massa	Desempenho aprimorado da consulta.	FLIP-247: Busca em massa de estatísticas de tabelas e colunas para determinadas partições

Para a documentação de lançamento do Apache Flink 1.18.1, consulte Anúncio de lançamento do Apache Flink 1.18.1.

Mudanças no Amazon Managed Service para Apache Flink com Apache Flink 1.18

Akka substituída por Pekko

O Apache Flink substituiu Akka por Pekko no Apache Flink 1.18. Essa alteração é totalmente suportada no Managed Service for Apache Flink a partir do Apache Flink 1.18.1 e versões posteriores. Você não precisa modificar seus aplicativos como resultado dessa alteração. Para obter mais informações, consulte FLINK-32468: Substitua Akka por Pekko.

Support a PyFlink execução do Runtime no Modo Thread

Essa alteração do Apache Flink introduz um novo modo de execução para a estrutura Pyflink Runtime, o Process Mode. O Modo de Processo agora pode executar funções definidas pelo usuário do Python no mesmo encadeamento em vez de em um processo separado.

Componentes

Componente	Version (Versão)
Java	11 (recomendado)
Scala	Desde a versão 1.15, o Flink é independente de Scala. Para referência, o MSF Flink 1.18 foi verificado em relação ao Scala 3.3 (). LTS
Serviço gerenciado para Apache Flink Flink Runtime () aws-kinesisanalytics-runtime	1.2.0
AWS Kinesis Connector (flink-connector-kinesis) [Fonte]	4.2.0-1.18
AWS Conector Kinesis (flink-connector-kinesis) [Pia]	4.2.0-1.18
Apache Beam (somente aplicativos Beam)	Anterior e até a versão 2.75.0. Para obter mais informações, consulte Compatibilidade de versão do Flink.

Correções de erros

Compressão de estado no Apache Flink 1.18.1

O Apache Flink oferece compressão opcional (padrão: desligado) para todos os pontos de verificação e pontos de salvamento. O Apache Flink identificou um bug no Flink 1.18.1 em que o estado do operador não pôde ser restaurado adequadamente quando a compactação de instantâneos foi ativada. Isso pode resultar na perda de dados ou na incapacidade de restaurar a partir do ponto de verificação. Para obter mais informações, consulte FLINK-34063: Quando a compactação de instantâneos está ativada, o redimensionamento de um operador de origem faz com que algumas divisões sejam perdidas.

Para resolver isso, o Amazon Managed Service para Apache Flink fez o backport da correção que será incluída nas futuras versões do Apache Flink. Para obter mais informações, consulte github: Sempre liberte os buffers de compressão.

Problemas conhecidos

Amazon Managed Service para Apache Flink Studio

O Studio usa notebooks Apache Zeppelin para fornecer uma experiência de desenvolvimento de interface única para desenvolvimento, depuração de código e execução de aplicativos de processamento de stream do Apache Flink. É necessário atualizar o Flink Interpreter do Zeppelin para permitir o suporte ao Flink 1.18. Este trabalho está agendado com a comunidade do Zeppelin e atualizaremos essas notas quando estiver concluído. Você pode continuar usando o Flink 1.15 com o Amazon Managed Service para Apache Flink Studio. Para obter mais informações, consulte Criação de um notebook Studio.