Exemplos de Java para Managed Service para Apache Flink

Os exemplos a seguir demonstram como criar aplicativos escritos em Java.

nota

A maioria dos exemplos foi projetada para ser executada localmente, na máquina de desenvolvimento e no IDE de sua escolha, e no Amazon Managed Service para Apache Flink. Eles demonstram os mecanismos que você pode usar para transmitir os parâmetros do aplicativo e como definir a dependência corretamente para executar o aplicativo nos dois ambientes sem alterações.

Melhore o desempenho da serialização definindo a personalização TypeInfo

Este exemplo ilustra como definir customização TypeInfo em seu registro ou objeto de estado para evitar que a serialização volte para a serialização menos eficiente do Kryo. Isso é necessário, por exemplo, quando seus objetos contêm um List ouMap. Para obter mais informações, consulte Tipos de dados e serialização na documentação do Apache Flink. O exemplo também mostra como testar se a serialização do seu objeto se baseia na serialização menos eficiente do Kryo.

Exemplo de código: CustomTypeInfo

Comece a usar a DataStream API

Este exemplo mostra um aplicativo simples, lendo de um stream de dados do Kinesis e gravando em outro stream de dados do Kinesis, usando a API. DataStream O exemplo demonstra como configurar o arquivo com as dependências corretas, criar o Uber-JAR e, em seguida, analisar os parâmetros de configuração, para que você possa executar o aplicativo localmente, no seu IDE e no Amazon Managed Service para Apache Flink.

Exemplo de código: GettingStarted

Comece a usar a API de tabelas e o SQL

Este exemplo mostra um aplicativo simples usando a Table API e o SQL. Ele demonstra como integrar a DataStream API com a Table API ou SQL no mesmo aplicativo Java. Também demonstra como usar o DataGen conector para gerar dados de teste aleatórios de dentro do próprio aplicativo Flink, sem a necessidade de um gerador de dados externo.

Exemplo completo: GettingStartedTable

Use o S3Sink (API) DataStream

Este exemplo demonstra como usar as DataStream APIs FileSink para gravar arquivos JSON em um bucket do S3.

Exemplo de código: S3Sink

Use uma fonte do Kinesis, consumidores padrão ou EFO e um coletor (API) DataStream

Este exemplo demonstra como configurar uma fonte que consome de um stream de dados do Kinesis, usando o consumidor padrão ou o EFO, e como configurar um coletor no stream de dados do Kinesis.

Exemplo de código: KinesisConnectors

Use um coletor Amazon Data Firehose (API) DataStream

Este exemplo mostra como enviar dados para o Amazon Data Firehose (anteriormente conhecido como Kinesis Data Firehose).

Exemplo de código: KinesisFirehoseSink

Use o conector de pia Prometheus

Este exemplo demonstra o uso do conector coletor Prometheus para gravar dados de séries temporais no Prometheus.

Exemplo de código: PrometheusSink

Use agregações de janelas (API) DataStream

Este exemplo demonstra quatro tipos de agregação de janelas na API. DataStream

1. Janela deslizante com base no tempo de processamento

2. Janela deslizante com base na hora do evento

3. Janela de queda com base no tempo de processamento

4. Janela de queda com base na hora do evento

Exemplo de código: Janelamento

Usar métricas personalizadas

Este exemplo mostra como adicionar métricas personalizadas ao seu aplicativo Flink e enviá-las para CloudWatch métricas.

Exemplo de código: CustomMetrics

Use os provedores de configuração do Kafka para obter armazenamento de chaves e armazenamento confiável personalizados para mTLS em tempo de execução

Este exemplo ilustra como você pode usar os provedores de configuração do Kafka para configurar um armazenamento de chaves e um armazenamento confiável personalizados com certificados para autenticação mTLS para o conector Kafka. Essa técnica permite carregar os certificados personalizados necessários do Amazon S3 e os segredos de AWS Secrets Manager quando o aplicativo é iniciado.

Exemplo de código: kafka-MTLS-keystore- ConfigProviders

Use os provedores de configuração do Kafka para buscar segredos para a autenticação SASL/SCRAM em tempo de execução

Este exemplo ilustra como você pode usar os provedores de configuração do Kafka para obter credenciais AWS Secrets Manager e baixar o armazenamento confiável do Amazon S3 para configurar a autenticação SASL/SCRAM em um conector Kafka. Essa técnica permite carregar os certificados personalizados necessários do Amazon S3 e os segredos de AWS Secrets Manager quando o aplicativo é iniciado.

Exemplo de código: Kafka- - SASL_SSL ConfigProviders

Use os provedores de configuração do Kafka para obter armazenamento de chaves e armazenamento confiável personalizados para mTLS em tempo de execução com a Table API/SQL

Este exemplo ilustra como você pode usar os provedores de configuração do Kafka na API de tabela /SQL para configurar um repositório de chaves e um armazenamento confiável personalizados com certificados para autenticação mTLS para o conector Kafka. Essa técnica permite carregar os certificados personalizados necessários do Amazon S3 e os segredos de AWS Secrets Manager quando o aplicativo é iniciado.

Exemplo de código: kafka-MTLS-Keystore-SQL - ConfigProviders

Use saídas laterais para dividir um fluxo

Este exemplo ilustra como aproveitar as saídas laterais no Apache Flink para dividir um fluxo em atributos especificados. Esse padrão é particularmente útil ao tentar implementar o conceito de Dead Letter Queues (DLQ) em aplicativos de streaming.

Exemplo de código: SideOutputs

Use a E/S assíncrona para chamar um endpoint externo

Este exemplo ilustra como usar o Apache Flink Async I/O para chamar um endpoint externo de forma sem bloqueio, com novas tentativas de erros recuperáveis.

Exemplo de código: asynciO