Amazon Managed Service for Apache Flink

Você pode usar o Apache Flink para transferir seus dados de séries temporais do Amazon Managed Service para Apache Flink, Amazon MSK, Apache Kafka e outras tecnologias de streaming diretamente para o Amazon Timestream for. LiveAnalytics Criamos um conector de dados de amostra do Apache Flink para o Timestream. Também criamos um aplicativo de amostra para enviar dados para o Amazon Kinesis para que os dados possam fluir do Kinesis para o Managed Service para Apache Flink e, finalmente, para o Amazon Timestream. Todos esses artefatos estão disponíveis para você em GitHub. Este tutorial em vídeo descreve a configuração.

nota

O Java 11 é a versão recomendada para usar o serviço gerenciado para o aplicativo Apache Flink. Se você tiver várias versões do Java, certifique-se de exportar o Java 11 para sua variável de ambiente JAVA_HOME.

Aplicação de exemplo

Para começar, siga o procedimento abaixo:

1. Crie um banco de dados no Timestream com o nome kdaflink seguindo as instruções descritas em. Criar um banco de dados do

2. Crie uma tabela no Timestream com o nome kinesisdata1 seguindo as instruções descritas em. Criar uma tabela

3. Crie um Amazon Kinesis Data Stream com o nome TimestreamTestStream seguindo as instruções descritas em Criação de um stream.

4. Clone o GitHub repositório do conector de dados Apache Flink para Timestream seguindo as instruções de. GitHub

5. Para compilar, executar e usar o aplicativo de amostra, siga as instruções no README do conector de dados de amostra do Apache Flink.

6. Compile o serviço gerenciado para o aplicativo Apache Flink seguindo as instruções para compilar o código do aplicativo.

7. Faça o upload do serviço gerenciado para o binário do aplicativo Apache Flink seguindo as instruções para carregar o código de streaming do Apache Flink.

   1. Depois de clicar em Criar aplicativo, clique no link da função do IAM para o aplicativo.

   2. Anexe as políticas do IAM para AmazonKinesisReadOnlyAccessAmazonTimestreamFullAccesse.

      nota

      As políticas do IAM acima não se restringem a recursos específicos e não são adequadas para uso em produção. Para um sistema de produção, considere o uso de políticas que restrinjam o acesso a recursos específicos.

8. Clone o GitHub repositório do aplicativo de amostra que grava dados no Kinesis seguindo as instruções de. GitHub

9. Siga as instruções no README para executar o aplicativo de amostra para gravar dados no Kinesis.

10. Execute uma ou mais consultas no Timestream para garantir que os dados estejam sendo enviados do Kinesis para o Managed Service for Apache Flink to Timestream seguindo as instruções para. Criar uma tabela

Tutorial em vídeo

Este vídeo explica como usar o Timestream com o Managed Service para Apache Flink.