O Amazon Data Firehose era conhecido anteriormente como Amazon Kinesis Data Firehose
As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
O que é o Amazon Data Firehose?
O Amazon Data Firehose é um serviço totalmente gerenciado para fornecer dados de streaming
Para obter mais informações sobre soluções de AWS big data, consulte Big Data on AWS
nota
Observe a mais recente solução AWS de dados de streaming para Amazon MSK
Aprenda os principais conceitos
Ao começar a usar o Amazon Data Firehose, você pode se beneficiar da compreensão dos seguintes conceitos:
- Stream Firehose
-
A entidade subjacente do Amazon Data Firehose. Você usa o Amazon Data Firehose criando um stream do Firehose e enviando dados para ele. Para obter mais informações, consulte Crie um stream do Firehose e Enviar dados para um stream do Firehose.
- registro
-
Os dados de interesse que seu produtor de dados envia para um stream do Firehose. Um registro pode ter, no máximo, 1000 KB.
- produtor de dados
-
Os produtores enviam discos para as transmissões do Firehose. Por exemplo, um servidor web que envia dados de log para um stream do Firehose é um produtor de dados. Você também pode configurar seu stream do Firehose para ler automaticamente os dados de um stream de dados existente do Kinesis e carregá-los nos destinos. Para ter mais informações, consulte Enviar dados para um stream do Firehose.
- tamanho e intervalo do buffer
-
O Amazon Data Firehose armazena os dados de streaming recebidos em um determinado tamanho ou por um determinado período de tempo antes de entregá-los aos destinos. Buffer Sizeestá em MBs e Buffer Interval está em segundos.
Entenda o fluxo de dados no Amazon Data Firehose
Para destinos do Amazon S3, os dados em streaming são entregues no bucket do S3. Se a transformação de dados estiver habilitada, você também poderá fazer backup dos dados da fonte em outro bucket do Amazon S3.
![Fluxo de dados do Amazon Data Firehose para o Amazon S3](images/fh-flow-s3.png)
Para os destinos do Amazon Redshift, os dados em streaming são entregues primeiro no bucket do S3. Em seguida, o Amazon Data Firehose emite um comando do Amazon COPY Redshift para carregar dados do seu bucket do S3 para o seu cluster do Amazon Redshift. Se a transformação de dados estiver habilitada, você também poderá fazer backup dos dados da fonte em outro bucket do Amazon S3.
![Fluxo de dados do Amazon Data Firehose para o Amazon Redshift](images/fh-flow-rs.png)
Para destinos OpenSearch de serviço, os dados de streaming são entregues ao seu cluster de OpenSearch serviços e, opcionalmente, podem ser copiados para seu bucket do S3 simultaneamente.
![Fluxo de dados do Amazon Data Firehose para serviço OpenSearch](images/fh-flow-es.png)
Para destinos do Splunk, os dados em streaming são entregues ao Splunk e eles podem ser submetidos a backup no bucket do S3 simultaneamente, se você desejar.
![Fluxo de dados do Amazon Data Firehose para Splunk](images/fh-flow-splunk.png)