Use conectores para mover dados no Managed Service for Apache Flink com a API DataStream

Na DataStream API Amazon Managed Service for Apache Flink, conectores são componentes de software que movem dados para dentro e para fora de um aplicativo Managed Service for Apache Flink. Os conectores são integrações flexíveis que permitem a leitura de arquivos e diretórios. Os conectores consistem em módulos completos para interagir com os serviços da Amazon e sistemas de terceiros.

Os tipos de conectores incluem o seguinte:

• Adicionar fontes de dados de streaming: forneça dados para seu aplicativo a partir de um fluxo de dados do Kinesis, arquivo ou de outra fonte de dados.

• Grave dados usando coletores: envie dados do seu aplicativo para um stream de dados do Kinesis, stream Firehose ou outro destino de dados.

• Use E/S assíncrona: fornece acesso assíncrono a uma fonte de dados (como um banco de dados) para enriquecer os eventos de fluxo.

Conectores disponíveis

A estrutura do Apache Flink contém conectores para acessar dados de várias fontes. Para obter informações sobre conectores disponíveis na estrutura do Apache Flink, consulte Conectores na Documentação do Apache Flink.

Atenção

Se você tem aplicativos em execução no Flink 1.6, 1.8, 1.11 ou 1.13 e gostaria de executá-los nas regiões do Oriente Médio (EAU), Ásia-Pacífico (Hyderabad), Israel (Tel Aviv), Europa (Zurique), Oriente Médio (Emirados Árabes Unidos), Ásia-Pacífico (Melbourne) ou Ásia-Pacífico (Jacarta), talvez seja necessário reconstruir seu arquivo de aplicativos com um conector atualizado ou atualizar para o Flink 1.18.

Os conectores Apache Flink são armazenados em seus próprios repositórios de código aberto. Se você estiver atualizando para a versão 1.18 ou posterior, deverá atualizar suas dependências. Para acessar o repositório dos AWS conectores Apache Flink, consulte. flink-connector-aws

A antiga fonte org.apache.flink.streaming.connectors.kinesis.FlinkKinesisConsumer do Kinesis foi descontinuada e pode ser removida com uma versão futura do Flink. Em vez disso, use o Kinesis Source.

Não há compatibilidade de estado entre FlinkKinesisConsumer KinesisStreamsSource e. Para obter detalhes, consulte Migração de trabalhos existentes para a nova fonte do Kinesis Streams na documentação do Apache Flink.

A seguir estão as diretrizes recomendadas:

Atualizações de conectores

Versão do Flink	Conector usado	Resolução
1,19, 1,20	Fonte Kinesis	Ao fazer o upgrade para o Managed Service for Apache Flink versão 1.19 e 1.20, verifique se você está usando o conector de origem mais recente do Kinesis Data Streams. Isso deve ser qualquer versão 5.0.0 ou posterior. Para obter mais informações, consulte Conector do Amazon Kinesis Data Streams.
1,19, 1,20	Pia Kinesis	Ao fazer o upgrade para o Managed Service for Apache Flink versão 1.19 e 1.20, verifique se você está usando o conector coletor mais recente do Kinesis Data Streams. Isso deve ser qualquer versão 5.0.0 ou posterior. Para obter mais informações, consulte Kinesis Streams Sink.
1,19, 1,20	Fonte do DynamoDB Streams	Ao fazer o upgrade para o Managed Service for Apache Flink versão 1.19 e 1.20, verifique se você está usando o conector de origem mais recente do DynamoDB Streams. Isso deve ser qualquer versão 5.0.0 ou posterior. Para obter mais informações, consulte Amazon DynamoDB Connector.
1,19, 1,20	Coletor do DynamoDB	Ao fazer o upgrade para o Managed Service for Apache Flink versão 1.19 e 1.20, verifique se você está usando o conector de coletor mais recente do DynamoDB. Isso deve ser qualquer versão 5.0.0 ou posterior. Para obter mais informações, consulte Amazon DynamoDB Connector.
1,19, 1,20	Coletor Amazon SQS	Ao fazer o upgrade para o Managed Service for Apache Flink versão 1.19 e 1.20, verifique se você está usando o conector de coletor Amazon SQS mais recente. Isso deve ser qualquer versão 5.0.0 ou posterior. Para obter mais informações, consulte Amazon SQS Sink.
1,19, 1,20	Serviço gerenciado da Amazon para Prometheus Sink	Ao fazer o upgrade para o Managed Service for Apache Flink versão 1.19 e 1.20, verifique se você está usando o conector coletor Amazon Managed Service for Prometheus mais recente. Essa deve ser qualquer versão 1.0.0 ou posterior. Para obter mais informações, consulte Prometheus Sink.