Introdução ao Amazon Managed Service para Apache Flink para Python - Managed Service for Apache Flink

Anteriormente, o Amazon Managed Service for Apache Flink era conhecido como Amazon Kinesis Data Analytics for Apache Flink.

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Introdução ao Amazon Managed Service para Apache Flink para Python

Esta seção apresenta os conceitos fundamentais do Managed Service for Apache Flink usando Python e a API de tabela. Ela descreve as opções disponíveis para criar e testar seus aplicativos. Ela também fornece instruções para instalar as ferramentas necessárias para concluir os tutoriais deste guia e criar seu primeiro aplicativo.

Conceitos básicos do Pyflink - O intérprete de Python para Apache | Amazon Web Services

Antes de começar, recomendamos que você assista ao vídeo a seguir:

Componentes de um serviço gerenciado para o aplicativo Apache Flink

Para processar dados, seu aplicativo do Managed Service for Apache Flink usa um aplicativo Python que processa a entrada e produz a saída usando o runtime do Apache Flink.

O aplicativo do Managed Service for Apache Flink tem os seguintes componentes:

  • Propriedades de runtime: você pode usar as propriedades de runtime para configurar seu aplicativo sem recompilar o código do aplicativo.

  • Fonte da tabela: o aplicativo consome dados usando uma fonte. Um conector de origem lê dados de um fluxo de dados do Kinesis, de um tópico do Amazon MSK ou similar. Para ter mais informações, consulte Fontes da API de tabela.

  • Funções: o aplicativo processa dados usando uma ou mais funções. Uma função pode transformar, enriquecer ou agregar dados.

  • Coletor: o aplicativo produz dados para fontes externas usando coletores. Um conector de coletor grava dados em um stream de dados do Kinesis, um stream Firehose Firehose, um tópico do Amazon MSK, um bucket do Amazon S3 e assim por diante. Para ter mais informações, consulte Coletores de API de tabela.

Depois de criar o código do seu aplicativo, é necessário fazer o upload do pacote do código em um bucket do Amazon S3. Em seguida, crie um aplicativo do Managed Service for Apache Flink. Insira a localização do pacote do código, uma fonte de dados de transmissão e, normalmente, um local de transmissão ou arquivo que recebe os dados processados do aplicativo.

Pré-requisitos

Antes de iniciar este tutorial, conclua duas primeiras etapas de Introdução ao Amazon Managed Service para Apache Flink (DataStreamAPI):

Para começar, consulte o Criar um aplicativo.