Anteriormente, o Amazon Managed Service for Apache Flink era conhecido como Amazon Kinesis Data Analytics for Apache Flink.
As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Amazon Managed Service para Apache Flink 1.19
O Managed Service para Apache Flink agora oferece suporte ao Apache Flink versão 1.19.1. Esta seção apresenta os principais novos recursos e mudanças introduzidos com o Managed Service for Apache Flink, suporte ao Apache Flink 1.19.1.
nota
Se você estiver usando uma versão anterior compatível do Apache Flink e quiser atualizar seus aplicativos existentes para o Apache Flink 1.19.1, você pode fazer isso usando atualizações de versão do Apache Flink in-loco. Para obter mais informações, consulte Use atualizações de versão in-loco para o Apache Flink. Com as atualizações de versão no local, você mantém a rastreabilidade do aplicativo ARN em relação a uma única versão do Apache Flink, incluindo instantâneos, registros, métricas, tags, configurações do Flink e muito mais.
Atributos compatíveis
O Apache Flink 1.19.1 introduz melhorias no SQLAPI, como parâmetros nomeados, paralelismo de origem personalizado e estados diferentes para vários operadores do Flink. TTLs
Recursos suportados e documentação relacionada | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Atributos compatíveis | Descrição | Referência da documentação do Apache Flink | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| SQLAPI: Support a configuração de estados diferentes TTLs usando o SQL Hint | Agora, os usuários podem configurar o estado TTL nas junções regulares do stream e na agregação de grupos. | FLIP-373: Configurando um estado diferente usando o Hint TTLs SQL |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| SQLAPI: Support parâmetros nomeados para funções e procedimentos de chamada | Agora, os usuários podem usar parâmetros nomeados em funções, em vez de confiar na ordem dos parâmetros. | FLIP-378: Support parâmetros nomeados para funções e procedimentos de chamada |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| SQLAPI: Definindo paralelismo para fontes SQL | Agora, os usuários podem especificar o paralelismo para as fontes. SQL | FLIP-367: Support Setting Parallelism for Table/Sources SQL |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| SQLAPI: Janela de sessão de suporte TVF | Agora, os usuários podem usar as funções com valor de tabela da janela de sessão. | FLINK-24024: Janela da sessão de suporte TVF |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| SQLAPI: A TVF agregação de janelas suporta entradas de registro de alterações | Agora, os usuários podem realizar a agregação de janelas nas entradas do changelog. | FLINK-20281: A agregação de janelas suporta a entrada de fluxo do changelog |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Support Python 3.11 |
O Flink agora suporta o Python 3.11, que é 10 a 60% mais rápido em comparação com o Python 3.10. Para obter mais informações, consulte O que há de novo no Python 3.11 |
FLINK-33030: Adicionar suporte ao python 3.11 |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Forneça métricas para o TwoPhaseCommitting coletor | Os usuários podem visualizar estatísticas sobre o status dos committers em coletores de confirmação em duas fases. | FLIP-371: Forneça contexto de inicialização para a criação do Committer em TwoPhaseCommittingSink |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
Rastreie Reporters para reinício do trabalho e verificação |
Agora, os usuários podem monitorar os rastreamentos da duração do ponto de verificação e das tendências de recuperação. No Amazon Managed Service para Apache Flink, habilitamos os relatores de rastreamento SLF4j por padrão, para que os usuários possam monitorar pontos de verificação e rastreamentos de trabalhos por meio de registros de aplicativos. CloudWatch | FLIP-384: Introduza TraceReporter e use-o para criar rastreamentos de verificação e recuperação |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
nota
Você pode optar pelos seguintes recursos enviando um caso de suporte
Recursos de aceitação e documentação relacionada | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Funcionalidades de adesão | Descrição | Referência da documentação do Apache Flink | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Support usando um intervalo maior de ponto de verificação quando a fonte está processando a lista de pendências | Esse é um recurso opcional, pois os usuários devem ajustar a configuração de acordo com seus requisitos específicos de trabalho. | FLIP-309: Support usando um intervalo maior de checkpoint quando a fonte está processando a lista de pendências |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Redirecione System.out e System.err para registros Java | Esse é um recurso opcional. No Amazon Managed Service para Apache Flink, o comportamento padrão é ignorar a saída de System.out e System.err porque a melhor prática na produção é usar o registrador Java nativo. | FLIP-390: Support System desligado e erro ao ser redirecionado ou descartado LOG |
|||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Para a documentação da versão 1.19.1 do Apache Flink, consulte a documentação do Apache
Alterações no Amazon Managed Service para Apache Flink 1.19.1
O Logging Trace Reporter ativado por padrão
O Apache Flink 1.19.1 introduziu pontos de verificação e rastreamentos de recuperação, permitindo que os usuários depurassem melhor os problemas de pontos de verificação e recuperação de tarefas. No Amazon Managed Service para Apache Flink, esses rastreamentos são registrados no fluxo de CloudWatch log, permitindo que os usuários detalhem o tempo gasto na inicialização do trabalho e registrem o tamanho histórico dos pontos de verificação.
A estratégia de reinicialização padrão agora é atraso exponencial
No Apache Flink 1.19.1, há melhorias significativas na estratégia de reinicialização com atraso exponencial. No Amazon Managed Service para Apache Flink a partir do Flink 1.19.1, as tarefas do Flink usam a estratégia de reinicialização com atraso exponencial por padrão. Isso significa que as tarefas do usuário se recuperarão mais rapidamente de erros transitórios, mas não sobrecarregarão os sistemas externos se as reinicializações das tarefas persistirem.
Componentes
| Componente | Version (Versão) |
|---|---|
| Java | 11 (recomendado) |
| Python |
3.11 |
| Kinesis Data Analytics Flink Runtime () aws-kinesisanalytics-runtime | 1.2.0 |
| Connectors | Para obter informações sobre os conectores disponíveis, consulte Conectores Apache Flink. |
| Apache Beam (somente aplicativos Beam) |
Não há Apache Flink Runner compatível para o Flink 1.19. Para obter mais informações, consulte Compatibilidade de versão do Flink |
Problemas conhecidos
Feixe Apache
Atualmente, não há Apache Flink Runner compatível para Flink 1.19 no Apache Beam. Para obter mais informações, consulte Compatibilidade de versão do Flink
Amazon Managed Service para Apache Flink Studio
O Studio usa notebooks Apache Zeppelin para fornecer uma experiência de desenvolvimento de interface única para desenvolvimento, depuração de código e execução de aplicativos de processamento de stream do Apache Flink. É necessário atualizar o Flink Interpreter do Zeppelin para permitir o suporte ao Flink 1.19. Este trabalho está agendado com a comunidade do Zeppelin e atualizaremos essas notas quando estiver concluído. Você pode continuar usando o Flink 1.15 com o Amazon Managed Service para Apache Flink Studio. Para obter mais informações, consulte Criação de um notebook Studio.
