¿Qué es Amazon Data Firehose? - Amazon Data Firehose

La entrega de transmisiones de Amazon Data Firehose a Apache Iceberg Tables en Amazon S3 está en versión preliminar y está sujeta a cambios.

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

¿Qué es Amazon Data Firehose?

Amazon Data Firehose es un servicio totalmente gestionado para entregar datos de streaming en tiempo real a destinos como Amazon Simple Storage Service (Amazon S3), Amazon Redshift, Amazon Service, OpenSearch Amazon Serverless, Splunk, Apache Iceberg Tables y HTTP cualquier HTTP punto final personalizado propiedad de proveedores de servicios externos compatibles, incluidos Datadog, LogicMonitor Dynatrace, MongoDB, New Relic, Coralogix y Elastic. OpenSearch Con Amazon Data Firehose, no necesita escribir aplicaciones ni administrar recursos. Usted configura sus generadores de datos para que envíen datos a Amazon Data Firehose, que los entrega automáticamente al destino que haya especificado. También puede configurar Amazon Data Firehose para transformar los datos antes de entregarlos.

Para obtener más información sobre las soluciones de AWS big data, consulte Big Data en AWS. Para obtener más información sobre las soluciones de datos de streaming de AWS , consulte ¿Qué son los datos de streaming?.

nota

Tenga en cuenta la última solución de AWS transmisión de datos para Amazon, MSK que proporciona AWS CloudFormation plantillas en las que los datos fluyen a través de los productores, el almacenamiento de streaming, los consumidores y los destinos.

Conozca los conceptos clave

Al empezar a utilizar Amazon Data Firehose, podrá beneficiarse de la comprensión de los siguientes conceptos.

Firehose Stream

La entidad subyacente de Amazon Data Firehose. Para utilizar Amazon Data Firehose, debe crear una transmisión de Firehose y, a continuación, enviarle datos. Para obtener más información, consulte Tutorial: Crear una transmisión de Firehose desde la consola y Enviar datos a una transmisión de Firehose.

Grabar

Los datos de interés que su productor de datos envía a una transmisión de Firehose. Cada registro puede pesar hasta 1 000 KB.

Productor de datos

Los productores envían los discos a Firehose Streams. Por ejemplo, un servidor web que envía datos de registro a una transmisión de Firehose es un productor de datos. También puede configurar la transmisión de Firehose para que lea automáticamente los datos de una transmisión de datos de Kinesis existente y los cargue en los destinos. Para obtener más información, consulte Enviar datos a una transmisión de Firehose.

Tamaño e intervalo del búfer

Amazon Data Firehose almacena en búfer los datos de streaming entrantes hasta un tamaño determinado o durante un período de tiempo determinado antes de entregarlos a los destinos. Buffer Sizeestá en MBs y Buffer Interval está en segundos.

Comprenda el flujo de datos en Amazon Data Firehose

En el caso de los destinos de Amazon S3, los datos de streaming se entregan en el bucket de S3. Si habilita la transformación de datos, puede realizar una copia de seguridad de los datos de origen en otro bucket de Amazon S3.

Un diagrama que muestra el flujo de datos de Amazon Data Firehose para Amazon S3.

En el caso de los destinos de Amazon Redshift, los datos de streaming se entregan primero en el bucket de S3. A continuación, Amazon Data Firehose emite un comando de Amazon COPY Redshift para cargar los datos del bucket de S3 al clúster de Amazon Redshift. Si habilita la transformación de datos, puede realizar una copia de seguridad de los datos de origen en otro bucket de Amazon S3.

Diagrama que muestra el flujo de datos de Amazon Data Firehose para Amazon Redshift.

En el OpenSearch caso de los destinos de servicio, los datos de streaming se envían a su clúster de OpenSearch servicios y, si lo prefiere, se puede hacer una copia de seguridad de los mismos en su bucket de S3 de forma simultánea.

Un diagrama que muestra el flujo de datos de Amazon Data Firehose para OpenSearch Service.

Si el destino es Splunk, los datos de streaming se entregan a Splunk y se puede hacer un backup de ellos en el bucket de S3 simultáneamente.

Un diagrama que muestra el flujo de datos de Amazon Data Firehose para Splunk.