Anteriormente, o Amazon Managed Service for Apache Flink era conhecido como Amazon Kinesis Data Analytics for Apache Flink.
As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Amazon Managed Service para Apache Flink 1.15
O Managed Service para Apache Flink oferece suporte aos seguintes novos recursos no Apache 1.15.2:
| Atributo | Descrição | Referência do Apache FLIP |
|---|---|---|
| Coletor assíncrono | Uma estrutura AWS contribuída para criar destinos assíncronos que permite aos desenvolvedores criar AWS conectores personalizados com menos da metade do esforço anterior. Para obter mais informações, consulte The Generic Asynchronous Base Sink |
FLIP-171: Coletor assíncrono |
| Coletor do Kinesis Data Firehose | AWS contribuiu com um novo Amazon Kinesis Firehose Sink usando a estrutura Async. | Coletor Amazon Kinesis Data Firehose |
| Interromper com o Savepoint | Interromper com Savepoint garante uma operação de parada limpa e, mais importante, oferecendo suporte a semântica de exatamente uma vez para clientes que confiam nela. | FLIP-34: Encerrar/suspender |
| Desacoplamento do Scala | Agora, os usuários podem aproveitar o Java API de qualquer versão do Scala, incluindo o Scala 3. Os clientes precisarão incluir a biblioteca padrão Scala de sua seleção em seus aplicativos Scala. | FLIP-28: Objetivo de longo prazo de tornar o Flink-table |
| Scala | Veja desacoplamento do Scala acima | FLIP-28: Objetivo de longo prazo de tornar o Flink-table |
| Métricas unificadas de conectores | O Flink definiu métricas padrãonumRestarts paralelamente às métricas fullRestarts de disponibilidade. |
FLIP-33: Padronizar métricas de conectores e FLIP-179: |
| Verificação de tarefas concluídas | Esse recurso é ativado por padrão no Flink 1.15 e possibilita continuar executando pontos de verificação mesmo que partes do gráfico de trabalho tenham concluído o processamento de todos os dados, o que pode acontecer se ele contiver fontes limitadas (em lote). | FLIP-147: Support Checkpoints após |
Alterações no Amazon Managed Service for Apache Flink com o Apache Flink 1.15
Notebooks Studio
O Managed Service for Apache Flink Studio agora é compatível com o Apache Flink 1.15. O Managed Service for Apache Flink Studio utiliza blocos de anotações do Apache Zeppelin para fornecer uma experiência de desenvolvimento de interface única para desenvolvimento, depuração de código e execução de aplicativos de processamento de stream do Apache Flink. Você pode aprender mais sobre o Managed Service for Apache Flink Studio e os conceitos básicos em. Use um notebook Studio com serviço gerenciado para Apache Flink
EFOconector
Ao atualizar para o Managed Service for Apache Flink versão 1.15, verifique se você está usando o EFO conector mais recente, ou seja, qualquer versão 1.15.3 ou mais recente. Para obter mais informações sobre o motivo, consulte FLINK-29324
Desacoplamento do Scala
A partir do Flink 1.15.2, você precisará agrupar a biblioteca padrão Scala de sua seleção em seus aplicativos Scala.
Coletor Kinesis Data Firehose
Ao atualizar para o Managed Service for Apache Flink versão 1.15, certifique-se de usar o coletor Amazon Kinesis Data Firehose
Conetores Kafka
Ao fazer o upgrade para o Amazon Managed Service for Apache Flink for Apache Flink versão 1.15, verifique se você está usando o conector Kafka mais recente. APIs O Apache Flink foi descontinuado FlinkKafkaConsumer
Componentes
| Componente | Version (Versão) |
|---|---|
| Java | 11 (recomendado) |
| Scala | 2.12 |
| Serviço gerenciado para Apache Flink Flink Runtime () aws-kinesisanalytics-runtime | 1.2.0 |
| AWS Conector Kinesis () flink-connector-kinesis |
1.15.4 |
| Apache Beam (somente aplicativos Beam) |
2.33.0, com Jackson versão 2.12.2 |
