Modelo de entrega para manter a saída do aplicativo em um destino externo - Guia do Desenvolvedor de Amazon Kinesis Data Analytics para aplicativos SQL

Para novos projetos, recomendamos que você use o novo Managed Service for Apache Flink Studio em vez do Kinesis Data Analytics para aplicativos SQL. O Managed Service for Apache Flink Studio combina facilidade de uso com recursos analíticos avançados, permitindo que você crie aplicativos sofisticados de processamento de stream em minutos.

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Modelo de entrega para manter a saída do aplicativo em um destino externo

O Amazon Kinesis Data Analytics usa o modelo de entrega "ao menos uma vez" para a saída de aplicativo nos destinos configurados. Quando um aplicativo está em execução, o Kinesis Data Analytics usa pontos de verificação internos. Esses pontos de verificação são momentos específicos nos quais os registros de saída foram entregues aos destinos sem perda de dados. O serviço usa os pontos de verificação, conforme forem necessários, para garantir que a saída do seu aplicativo seja entregue pelo menos uma vez aos destinos configurados.

Em uma situação normal, seu aplicativo processa os dados recebidos continuamente. O Kinesis Data Analytics grava a saída nos destinos configurados, como um stream de dados do Kinesis ou um stream de entrega do Firehose. No entanto, o aplicativo pode ser interrompido ocasionalmente; por exemplo:

  • Você opta por interromper o aplicativo e reiniciá-lo mais tarde.

  • Você exclui a função do perfil do IAM de que o Kinesis Data Analytics precisa para gravar a saída do aplicativo no destino configurado. Sem a função do perfil do IAM, o Kinesis Data Analytics não tem permissões para gravar conteúdo no destino externo em seu nome.

  • Uma falha da rede ou outra falha de serviço interna faz com que a execução do aplicativo seja interrompida momentaneamente.

Quando o aplicativo for reiniciado, o Kinesis Data Analytics garantirá que ele continuará processando e gravando a saída de um ponto anterior ou igual ao momento em que a falha ocorreu. Isso ajuda a garantir que ele não perderá a entrega de qualquer saída do aplicativo para os destinos configurados.

Suponha que você tenha configurado vários destinos do mesmo fluxo de aplicativo. Depois que o aplicativo se recuperar da falha, o Kinesis Data Analytics continuará mantendo a saída nos destinos configurados a partir do último registro entregue no destino mais lento. Isso pode fazer com que o mesmo registro de saída seja entregue mais de uma vez nos outros destinos. Nesse caso, você deverá lidar com as duplicações potenciais no destino externamente.