Anteriormente, o Amazon Managed Service for Apache Flink (Amazon MSF) era conhecido como Amazon Kinesis Data Analytics for Apache Flink.
As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Conceitos básicos do Amazon Managed Service for Apache Flink (API Table)
Esta seção apresenta os conceitos fundamentais do Managed Service for Apache Flink e como implementar um aplicativo em Java usando a API Table e SQL. Ele demonstra como alternar entre diferentes APIs no mesmo aplicativo e descreve as opções disponíveis para criar e testar seus aplicativos. Ela também fornece instruções para instalar as ferramentas necessárias para concluir os tutoriais deste guia e criar seu primeiro aplicativo.
Tópicos
Analise os componentes do aplicativo do Managed Service for Apache Flink
nota
O Managed Service for Apache Flink é compatível com todo o Apache Flink APIs
Para processar dados, seu aplicativo do Managed Service for Apache Flink usa um aplicativo Java que processa a entrada e produz a saída usando o runtime do Apache Flink.
Um aplicativo típico do Apache Flink tem os seguintes componentes:
-
Propriedades de runtime: você pode usar propriedades de runtime para passar parâmetros de configuração para seu aplicativo sem modificar e republicar o código.
-
Fontes: o aplicativo consome dados de uma ou mais fontes. Uma fonte usa um conector
para ler dados de um sistema externo, como um fluxo de dados do Kinesis ou um tópico do Amazon MSK. Para desenvolvimento ou teste, também é possível fazer com que as fontes gerem dados de teste aleatoriamente. Para obter mais informações, consulte Adicione fontes de dados de transmissão ao Managed Service for Apache Flink. Com o SQL ou a API Table, as fontes são definidas como tabelas de origem. -
Transformações: o aplicativo processa dados por meio de uma ou mais transformações que podem filtrar, enriquecer ou agregar dados. Ao usar SQL ou API Table, as transformações são definidas como consultas em tabelas ou visualizações.
-
Coletores: o aplicativo envia dados para sistemas externos por meio de coletores. Um coletor usa um conector
para enviar dados para um sistema externo, como um fluxo de dados do Kinesis, um tópico do Amazon MSK, um bucket do Amazon S3 ou um banco de dados relacional. Também é possível usar um conector especial para imprimir a saída somente para fins de desenvolvimento. Ao usar o SQL ou a API Table, os coletores são definidos como tabelas de coletores nas quais você inserirá os resultados. Para obter mais informações, consulte Grave dados com coletores no Managed Service for Apache Flink.
O aplicativo requer algumas dependências externas, como conectores Flink que o aplicativo usa ou, potencialmente, uma biblioteca Java. Para ser executado no Amazon Managed Service for Apache Flink, você deve empacotar o aplicativo junto com as dependências em um arquivo fat-JAR e carregá-lo em um bucket do Amazon S3. Em seguida, crie um aplicativo do Managed Service for Apache Flink. Você passa a localização do pacote de código, junto com outros parâmetros de configuração de runtime. Este tutorial demonstra como usar o Apache Maven para empacotar o aplicativo e como executá-lo localmente no IDE de sua escolha.
Conclua os pré-requisitos exigidos
Antes de iniciar este tutorial, conclua duas primeiras etapas de Comece a usar o Amazon Managed Service para Apache Flink (DataStream API):
Para começar, consulte o Criar uma aplicação do .
Próxima etapa
