O que é o Amazon Kinesis Data Firehose? - Amazon Kinesis Data Firehose

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

O que é o Amazon Kinesis Data Firehose?

O Amazon Kinesis Data Firehose é um serviço totalmente gerenciado para fornecimento de tempo realstreaming de dadosPara destinos da, como Amazon Simple Storage Service (Amazon S3), Amazon Redshift, Amazon OpenSearch Service, Splunk e qualquer endpoint HTTP personalizado ou endpoints HTTP de propriedade de provedores de serviços de terceiros compatíveis, incluindo Datadog, Dynatrace, LogicMonitor, MongoDB, New Relic e Sumo Logic. O Kinesis Data Firehose faz parte da plataforma de streaming de dados do Kinesis, junto com oKinesis Data Streams,Kinesis Video Streams, eAmazon Kinesis Data Analytics. Com o Kinesis Data Firehose, você não precisa gravar aplicativos ou gerenciar recursos. Você configura os produtores de dados para enviar dados ao Kinesis Data Firehose e ele entregará automaticamente os dados ao destino especificado. Você também pode configurar o Kinesis Data Firehose para transformar os dados antes de entregá-los.

Para obter mais informações sobreAWSSoluções de Big Data, consulteBig data emAWS. Para obter mais informações sobreAWSSoluções de streaming de dados do, consulteO que são dados de streaming?

nota

Anote o mais recenteAWSSolução de dados de streaming para Amazon MSKO que forneceAWSModelos do CloudFormation em que os dados fluem através de produtores, armazenamento em streaming, consumidores e destinos.

Principais conceitos

Será útil compreender os conceitos a seguir quando você começar a usar o Kinesis Data Firehose:

Fluxo de entrega do Kinesis Data Firehose

A entidade subjacente do Kinesis Data Firehose. Você usa o Kinesis Data Firehose criando um fluxo de entrega do Kinesis Data Firehose e, em seguida, enviando dados para ele. Para obter mais informações, consulte Criar um fluxo de entrega do Amazon Kinesis Data Firehose e Envio de dados para um fluxo de entrega do Amazon Kinesis Data Firehose.

record

Os dados de interesse que o produtor dos dados envia para um fluxo de entrega do Kinesis Data Firehose. Um registro pode ter, no máximo, 1000 KB.

produtor de dados

Os produtores enviam registros para fluxos de entrega do Kinesis Data Firehose. Por exemplo, um servidor web que envia dados de log para um fluxo de entrega é um produtor de dados. Você também pode configurar seu fluxo de entrega do Kinesis Data Firehose para ler automaticamente os dados de um fluxo de dados existente do Kinesis e carregá-lo nos destinos. Para obter mais informações, consulte Envio de dados para um fluxo de entrega do Amazon Kinesis Data Firehose.

tamanho e intervalo do buffer

O Kinesis Data Firehose armazena em buffer os dados de entrada em streaming até um tamanho determinado ou por um período especificado antes de entregá-los para os destinos.Buffer Sizeestá em MBs eBuffer IntervalEstá em segundos.

Fluxo de dados

No caso dos destinos do Amazon S3, os dados em streaming são entregues ao bucket do S3. Se a transformação de dados estiver habilitada, você poderá fazer backup dos dados de origem em outro bucket do Amazon S3, se desejar.


                Fluxo de dados do Amazon Kinesis Data Firehose para Amazon S3

No caso dos destinos do Amazon Redshift, os dados em streaming são entregues no bucket do S3 primeiro. Em seguida, o Kinesis Data Firehose emite um Amazon RedshiftCOPYPara carregar dados do bucket do S3 para o cluster do Amazon Redshift. Se a transformação de dados estiver habilitada, você poderá fazer backup dos dados de origem em outro bucket do Amazon S3, se desejar.


                Fluxo de dados do Amazon Kinesis Data Firehose para Amazon Redshift

No caso dos destinos do OpenSearch Service, os dados em streaming são entregues ao cluster do OpenSearch Service e eles podem ser submetidos a backup no bucket do S3 simultaneamente, se você desejar.


                Fluxo de dados do Amazon Kinesis Data Firehose para OpenSearch Service

Para destinos do Splunk, os dados em streaming são entregues ao Splunk e eles podem ser submetidos a backup no bucket do S3 simultaneamente, se você desejar.


                Fluxo de dados do Amazon Kinesis Data Firehose para Splunk