Was ist Amazon Data Firehose?

Amazon Data Firehose ist ein vollständig verwalteter Service für die Bereitstellung von Echtzeit-Streaming-Daten an Ziele wie Amazon Simple Storage Service (Amazon S3), Amazon Redshift, Amazon OpenSearch Service, Amazon OpenSearch Serverless, Splunk und alle benutzerdefinierten HTTP-Endpunkte oder HTTP-Endpunkte, die unterstützten Drittanbietern gehören, einschließlich Datadog, Dynatrace LogicMonitor, MongoDB , New Relic, Coralogix und Elastic. Mit Amazon Data Firehose müssen Sie keine Anwendungen schreiben oder Ressourcen verwalten. Sie konfigurieren Ihre Datenproduzenten so, dass sie Daten an Amazon Data Firehose senden, und es stellt die Daten automatisch an das angegebene Ziel bereit. Sie können Amazon Data Firehose auch so konfigurieren, dass Ihre Daten vor der Bereitstellung transformiert werden.

Weitere Informationen zu AWS-Big-Data-Lösungen finden Sie unter Big Data auf AWS. Weitere Informationen zu AWS-Streaming-Datenlösungen finden Sie unter Was sind Streaming-Daten?

Anmerkung

Beachten Sie die neueste AWS Streaming-Datenlösung für Amazon MSK, die AWS CloudFormation Vorlagen bereitstellt, in denen Daten durch Produzenten, Streaming-Speicher, Verbraucher und Ziele fließen.

Die wichtigsten Konzepte

Bei den ersten Schritten mit Amazon Data Firehose können Sie davon profitieren, die folgenden Konzepte zu verstehen:

Firehose-Stream

Die zugrunde liegende Entität von Amazon Data Firehose. Sie verwenden Amazon Data Firehose, indem Sie einen Firehose-Stream erstellen und dann Daten an diesen senden. Weitere Informationen finden Sie unter Erstellen eines Firehose-Streams und Senden von Daten an einen Firehose-Stream.

record

Die relevanten Daten, die Ihr Datenproduzent an einen Firehose-Stream sendet. Ein Datensatz kann bis zu 1000 KB groß sein.

Datenproduzent

Produzenten senden Datensätze an Firehose-Streams. Beispielsweise ist ein Webserver, der Protokolldaten an einen Firehose-Stream sendet, ein Datenproduzent. Sie können Ihren Firehose-Stream auch so konfigurieren, dass Daten aus einem vorhandenen Kinesis-Datenstrom automatisch gelesen und in Ziele geladen werden. Weitere Informationen finden Sie unter Senden von Daten an einen Firehose-Stream.

Puffergröße und Pufferintervall

Amazon Data Firehose puffert eingehende Streaming-Daten auf eine bestimmte Größe oder für einen bestimmten Zeitraum, bevor sie an Ziele bereitgestellt werden. Buffer Size ist in MBs und Buffer Interval ist in Sekunden angegeben.

Datenfluss

Für Amazon-S3-Ziele werden die Streaming-Daten in Ihren S3-Bucket geleitet. Wenn die Datentransformation aktiviert ist, können Sie optional Quelldaten in einem anderen Amazon-S3-Bucket sichern.

Für Amazon-Redshift-Ziele werden die Streaming-Daten zuerst in Ihren S3-Bucket geleitet. Amazon Data Firehose gibt dann einen Amazon-Redshift-COPYBefehl aus, um Daten aus Ihrem S3-Bucket in Ihren Amazon-Redshift-Cluster zu laden. Wenn die Datentransformation aktiviert ist, können Sie optional Quelldaten in einem anderen Amazon-S3-Bucket sichern.

Für OpenSearch Serviceziele werden Streaming-Daten an Ihren OpenSearch Service-Cluster übermittelt und können optional gleichzeitig in Ihrem S3-Bucket gesichert werden.

Für Splunk-Ziele werden die Streaming-Daten an Splunk gesendet und können gleichzeitig optional in Ihrem S3-Bucket gesichert werden.