Anteriormente, o Amazon Managed Service for Apache Flink era conhecido como Amazon Kinesis Data Analytics for Apache Flink.
As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Exemplos em Python de serviço gerenciado para Apache Flink
Os exemplos a seguir demonstram como criar aplicativos escritos em Python.
nota
A maioria dos exemplos foi projetada para ser executada localmente, na sua máquina IDE de desenvolvimento e na sua preferida, e no Amazon Managed Service para Apache Flink. Eles demonstram o mecanismo simples que você pode usar para passar os parâmetros do aplicativo e como definir a dependência corretamente para executar o aplicativo nos dois ambientes sem alterações.
Dependências do projeto
A maioria dos PyFlink exemplos exige uma ou mais dependências na forma de JAR arquivos, por exemplo, para conectores Flink. Essas dependências devem então ser empacotadas com o aplicativo quando implantadas no Amazon Managed Service para Apache Flink.
Os exemplos a seguir já incluem as ferramentas que permitem executar o aplicativo localmente para desenvolvimento e teste, além de empacotar as dependências necessárias corretamente. Essas ferramentas requerem o uso de Java JDK11 e Apache Maven. Consulte o que README está contido em cada exemplo para obter instruções específicas.
Exemplos
Este exemplo demonstra a estrutura básica de um PyFlink aplicativo usando código SQL incorporado em Pyton. Esse projeto também fornece um esqueleto para qualquer PyFlink aplicativo que inclua JAR dependências, como conectores. A README seção fornece orientações detalhadas sobre como executar seu aplicativo Python localmente para desenvolvimento. O exemplo também mostra como incluir uma única JAR dependência, o conector SQL Kinesis neste exemplo, em PyFlink seu aplicativo.
Exemplo de código: GettingStarted
Este exemplo demonstra quatro tipos de agregação de janelas SQL incorporadas em um aplicativo Python.
-
Janela deslizante com base no tempo de processamento
-
Janela deslizante com base na hora do evento
-
Janela de queda com base no tempo de processamento
-
Janela de queda com base na hora do evento
Exemplo de código: Janelamento
Este exemplo mostra como gravar sua saída no Amazon S3 como JSON arquivos, usando SQL incorporado em um aplicativo Python. Você deve ativar o ponto de verificação para que o coletor do S3 grave e rotacione arquivos no Amazon S3.
Exemplo de código: S3Sink
Este exemplo demonstra como definir uma função definida pelo usuário, implementá-la em Python e usá-la em SQL código executado em um aplicativo Python.
Exemplo de código: UDF
Este exemplo demonstra como enviar dados para o Amazon Data SQL Firehose usando.
Exemplo de código: FirehoseSink