Etapa 7: Concluir - Amazon Kinesis Data Streams

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Etapa 7: Concluir

Como você está pagando para usar o stream de dados do Kinesis, certifique-se de excluí-lo e excluir a tabela do Amazon DynamoDB correspondente quando concluir. As cobranças nominais ocorrerão em um stream ativo mesmo quando você não estiver enviando e recebendo registros. Isso ocorre porque um stream ativo usa recursos por meio da "escuta" contínua de registros recebidos e solicitações para obter registros.

Para excluir o stream e tabela
  1. Desligue os produtores e consumidores que possam estar em execução.

  2. Abra o console do Kinesis em https://console.aws.amazon.com/kinesis.

  3. Escolha o stream que você criou para este aplicativo (StockTradeStream).

  4. Escolha Delete Stream (Excluir streaming).

  5. Abra o console do DynamoDB em https://console.aws.amazon.com/dynamodb/.

  6. Exclua a tabela StockTradesProcessor.

Resumo

Para processar uma grande quantidade de dados quase em tempo real, não é preciso escrever nenhum código mágico nem desenvolver uma imensa infraestrutura. É tão simples quanto escrever lógica processar uma pequena quantidade de dados (como escreverprocessRecord(Record)), só que usando o Kinesis Data Streams para escalar de modo que funcione para uma grande quantidade de dados de streaming. Você não precisa se preocupar com a escalabilidade do processamento, porque o Kinesis Data Streams cuida disso para você. Você só precisa enviar seus registros de streaming ao Kinesis Data Streams e escrever a lógica para processar cada novo registro recebido.

Veja aqui alguns aprimoramentos potenciais para este aplicativo.

Agregar em todos os estilhaços

Atualmente, você obtém estatísticas resultantes da agregação de registros de dados recebidos por um único operador proveniente de um único estilhaço. (Um estilhaço não pode ser processado por mais de um operador em um aplicativo ao mesmo tempo). Naturalmente, quando escala e tem mais de um estilhaço, você pode agregar em todos os estilhaços. É possível fazer isso tendo uma arquitetura de pipeline em que a saída de cada operador é alimentada em outro fluxo com um único estilhaço, o qual é processado por um operador que agrega as saídas do primeiro estágio. Como os dados do primeiro estágio são limitados (um exemplo por minuto por estilhaço), eles podem ser facilmente tratados por um estilhaço.

Escalar o processamento

Quando o stream é expandido para ter muitos estilhaços (porque muitos produtores estão enviando dados), a maneira de escalar o processamento é adicionando mais operadores. Você pode executar os operadores nas instâncias do Amazon EC2 e usar os grupos do Auto Scaling.

Usar conectores para o Amazon S3/DynamoDB/Amazon Redshift/Storm

Como um stream é processado continuamente, sua saída pode ser enviada a outros destinos.AWSfornececonectoresPara integrar o Kinesis Data Streams com outrosAWSServiços da e ferramentas de terceiros.