Amazon Managed Service for Apache Flink

Você pode usar o Apache Flink para transferir seus dados de séries temporais do Amazon Managed Service para Apache Flink, MSK Amazon, Apache Kafka e outras tecnologias de streaming diretamente para o Amazon Timestream for. LiveAnalytics Criamos um conector de dados de amostra do Apache Flink para o Timestream. Também criamos um aplicativo de amostra para enviar dados para o Amazon Kinesis para que os dados possam fluir do Kinesis para o Managed Service para Apache Flink e, finalmente, para o Amazon Timestream. Todos esses artefatos estão disponíveis para você em GitHub. Este tutorial em vídeo descreve a configuração.

nota

O Java 11 é a versão recomendada para usar o serviço gerenciado para o aplicativo Apache Flink. Se você tiver várias versões do Java, certifique-se de exportar o Java 11 para sua variável de HOME ambiente JAVA _.

Aplicação de exemplo

Para começar, siga o procedimento abaixo:

1. Crie um banco de dados no Timestream com o nome kdaflink seguindo as instruções descritas em Criar um banco de dados do

2. Crie uma tabela no Timestream com o nome kinesisdata1 seguindo as instruções descritas em Criar uma tabela

3. Crie um Amazon Kinesis Data Stream com o nome, TimestreamTestStream seguindo as instruções descritas em Criação de um stream

4. Clone o GitHub repositório do conector de dados Apache Flink para Timestream seguindo as instruções de GitHub

5. Para compilar, executar e usar o aplicativo de amostra, siga as instruções no conector de dados de amostra do Apache Flink README

6. Compile o serviço gerenciado para o aplicativo Apache Flink seguindo as instruções para compilar o código do aplicativo

7. Faça o upload do serviço gerenciado para o binário do aplicativo Apache Flink seguindo as instruções para carregar o código de streaming do Apache Flink

   1. Depois de clicar em Criar aplicativo, clique no link da IAM função do aplicativo

   2. Anexe as IAM políticas para AmazonKinesisReadOnlyAccessAmazonTimestreamFullAccesse.

      nota

      As IAM políticas acima não se restringem a recursos específicos e não são adequadas para uso em produção. Para um sistema de produção, considere o uso de políticas que restrinjam o acesso a recursos específicos.

8. Clone o GitHub repositório do aplicativo de amostra, gravando dados no Kinesis, seguindo as instruções do GitHub

9. Siga as instruções em READMEpara executar o aplicativo de amostra para gravar dados no Kinesis

10. Execute uma ou mais consultas no Timestream para garantir que os dados estejam sendo enviados do Kinesis para o Managed Service for Apache Flink to Timestream seguindo as instruções para Criar uma tabela

Tutorial em vídeo

Este vídeo explica como usar o Timestream com o Managed Service para Apache Flink.