O que é o Amazon Kinesis Data Streams? - Amazon Kinesis Data Streams

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

O que é o Amazon Kinesis Data Streams?

Você pode usar o Amazon Kinesis Data Streams para coletar e processar grandes fluxos de registros de dados em tempo real. Você pode criar aplicações de processamento de dados, conhecidos como aplicações do Kinesis Data Streams. Uma aplicação típica do Kinesis Data Streams lê dados de um fluxo de dados como registros de dados. Essas aplicações podem usar a Kinesis Client Library e serem executados em instâncias do Amazon EC2. Você pode enviar os registros processados para painéis, usá-los para gerar alertas, alterar dinamicamente as estratégias de preços e publicidade ou enviar dados para vários outros serviços da AWS . Para obter informações sobre os recursos e preços do Kinesis Data Streams, consulte Amazon Kinesis Data Streams.

O Kinesis Data Streams faz parte da plataforma de dados de streaming Kinesis, junto com o Firehose, o Kinesis Video Streams e o Managed Service para Apache Flink.

Para obter mais informações sobre soluções de AWS big data, consulte Big Data on AWS. Para obter mais informações sobre as soluções de dados de streaming da AWS , consulte O que são dados em streaming?

O que posso fazer com o Kinesis Data Streams?

Você pode usar o Kinesis Data Streams para entrada e agregação de dados de forma rápida e contínua. O tipo de dados usado pode incluir dados de log de infraestrutura de TI, logs de aplicativo, mídias sociais, feeds de dados de mercado e dados de sequência de cliques da web. Como o tempo de resposta para a entrada e o processamento de dados é em tempo real, o processamento geralmente é leve.

Estes são alguns cenários típicos de uso do Kinesis Data Streams:

Log acelerado e consumo e processamento de dados

Você pode ter produtores que gerem dados diretamente em um stream. Por exemplo, gere logs de sistemas e aplicativos e eles estarão disponíveis para processamento em segundos. Isso evitará que os dados de log sejam perdidos se o servidor de front-end ou de aplicações falhar. O Kinesis Data Streams fornece uma entrada acelerada de dados, pois você não organiza os dados em lotes nos servidores antes de enviá-los.

Métricas e relatórios em tempo real

Você pode usar dados coletados no Kinesis Data Streams para análise simples de dados e geração de relatórios em tempo real. Por exemplo, seu aplicativo de processamento de dados pode funcionar em métricas e geração de relatórios para logs do sistema e de aplicativos à medida que os dados passam por ele em vez de esperar receber lotes de dados.

Análise de dados em tempo real

Ela combina o poder do processamento paralelo com o valor de dados em tempo real. Por exemplo, processar clickstreams em tempo real e, em seguida, analisar o envolvimento da usabilidade do site usando várias aplicações diferentes do Kinesis Data Streams executadas em paralelo.

Complexo processamento de stream

Você pode criar Directed Acyclic Graphs (DAGs – Gráficos acíclicos dirigidos) de fluxos de dados e aplicações do Kinesis Data Streams. Normalmente, isso envolve colocar dados de várias aplicações do Kinesis Data Streams em outro fluxo para processamento downstream por outro aplicação desse serviço.

Benefícios do uso do Kinesis Data Streams

Embora você possa usar o Kinesis Data Streams para resolver vários problemas de dados em streaming, um uso comum é agregar dados em tempo real e carregar os dados agregados em um data warehouse ou cluster de redução de mapa.

Os dados são colocados em fluxos de dados do Kinesis, o que garante durabilidade e elasticidade. O atraso entre o momento em que um registro é colocado no stream e o tempo em que ele pode ser recuperado (put-to-get atraso) geralmente é inferior a 1 segundo. Em outras palavras, uma aplicação do Kinesis Data Streams pode começar a consumir os dados do fluxo quase que imediatamente após sua adição. Como é um serviço gerenciado, o Kinesis Data Streams libera você da carga operacional de criar e executar um pipeline de entrada de dados. Você pode criar aplicações de redução de mapa de streaming. A elasticidade do Kinesis Data Streams permite escalar o streaming. Assim, você nunca perde registros de dados porque eles expiraram.

Como várias aplicações do Kinesis Data Streams podem consumir dados de um fluxo, múltiplas ações como arquivamento e processamento podem ocorrer de maneira simultânea e independente. Por exemplo, dois aplicativos podem ler dados do mesmo stream. A primeira aplicação calcula agregados em execução e atualiza uma tabela do Amazon DynamoDB, e a segunda compacta e arquiva dados em um datastore, como o Amazon Simple Storage Service (Amazon S3). A tabela do DynamoDB com agregados em execução é então lida por um painel para gerar relatórios. up-to-the-minute

A Kinesis Client Library permite o consumo de dados tolerante a falhas de fluxos e fornece suporte à escalabilidade para aplicações do Kinesis Data Streams.

Para obter informações sobre como usar clusters do Amazon EMR para ler e processar fluxos de dados diretamente do Kinesis, consulte Conetor do Kinesis.