Etapa 7: Finalizar - Amazon Kinesis Data Streams

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Etapa 7: Finalizar

Como você está pagando para usar o fluxo de dados do Kinesis, certifique-se de excluí-lo e de excluir a tabela do Amazon DynamoDB correspondente ao concluir. As cobranças nominais ocorrerão em um stream ativo mesmo quando você não estiver enviando e recebendo registros. Isso ocorre porque um stream ativo usa recursos por meio da "escuta" contínua de registros recebidos e solicitações para obter registros.

Para excluir o stream e tabela
  1. Desligue os produtores e consumidores que possam estar em execução.

  2. Abra o console do Kinesis em https://console.aws.amazon.com/kinesis.

  3. Escolha o stream que você criou para este aplicativo (StockTradeStream).

  4. Escolha Delete Stream (Excluir streaming).

  5. Abra o console do DynamoDB em https://console.aws.amazon.com/dynamodb/.

  6. Exclua a tabela StockTradesProcessor.

Resumo

Para processar uma grande quantidade de dados quase em tempo real, não é preciso escrever nenhum código mágico nem desenvolver uma imensa infraestrutura. É tão simples quanto escrever lógica para processar uma pequena quantidade de dados (como escrever processRecord(Record)), mas usando o Kinesis Data Streams para escalar e ter um processo que funciona para uma grande quantidade de dados de streaming. Você não precisa se preocupar com a escalabilidade do processamento, porque o Kinesis Data Streams cuida de tudo. Você só precisa enviar seus registros de streaming ao Kinesis Data Streams e escrever a lógica para processar cada novo registro recebido.

Veja aqui alguns aprimoramentos potenciais para este aplicativo.

Agregar em todos os estilhaços

Atualmente, você obtém estatísticas resultantes da agregação de registros de dados recebidos por um único operador proveniente de um único estilhaço. (Um estilhaço não pode ser processado por mais de um operador em um aplicativo ao mesmo tempo). Naturalmente, quando escala e tem mais de um estilhaço, você pode agregar em todos os estilhaços. É possível fazer isso tendo uma arquitetura de pipeline em que a saída de cada operador é alimentada em outro fluxo com um único estilhaço, o qual é processado por um operador que agrega as saídas do primeiro estágio. Como os dados do primeiro estágio são limitados (um exemplo por minuto por estilhaço), eles podem ser facilmente tratados por um estilhaço.

Escalar o processamento

Quando o stream é expandido para ter muitos estilhaços (porque muitos produtores estão enviando dados), a maneira de escalar o processamento é adicionando mais operadores. Você pode executar os operadores em instâncias do Amazon EC2 e usar grupos do Auto Scaling.

Usar conectores para Amazon S3/DynamoDB/Amazon Redshift/Storm

Como um fluxo é processado continuamente, sua saída pode ser enviada para outros destinos. A AWSfornece conectores para integrar o Kinesis Data Streams a outros serviços da AWS e ferramentas de terceiros.