Zieleinstellungen konfigurieren - Amazon Data Firehose
Zieleinstellungen für Amazon S3 konfigurierenZieleinstellungen für Amazon Redshift konfigurierenKonfigurieren Sie die Zieleinstellungen für den Dienst OpenSearch Konfigurieren Sie die Zieleinstellungen für Serverless OpenSearch Konfigurieren Sie die Zieleinstellungen für den HTTP-EndpunktKonfigurieren Sie die Zieleinstellungen für DatadogKonfigurieren Sie die Zieleinstellungen für HoneycombKonfigurieren Sie die Zieleinstellungen für CoralogixKonfigurieren Sie die Zieleinstellungen für DynatraceKonfigurieren Sie die Zieleinstellungen für LogicMonitorKonfigurieren Sie die Zieleinstellungen für Logz.ioZieleinstellungen für MongoDB Cloud konfigurierenKonfigurieren Sie die Zieleinstellungen für New RelicKonfigurieren Sie die Zieleinstellungen für SnowflakeKonfigurieren Sie die Zieleinstellungen für SplunkKonfigurieren Sie die Zieleinstellungen für Splunk Observability CloudKonfigurieren Sie die Zieleinstellungen für Sumo LogicKonfigurieren Sie die Zieleinstellungen für Elastic

Amazon Data Firehose war zuvor als Amazon Kinesis Data Firehose bekannt

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Zieleinstellungen konfigurieren

In diesem Thema werden die Zieleinstellungen für Ihren Firehose-Stream basierend auf dem von Ihnen ausgewählten Ziel beschrieben. Weitere Informationen zu Pufferhinweisen finden Sie unter. Verstehen Sie die Hinweise zur Pufferung

Zieleinstellungen für Amazon S3 konfigurieren

Sie müssen die folgenden Einstellungen angeben, um Amazon S3 als Ziel für Ihren Firehose-Stream zu verwenden.

  • Geben Sie Werte für folgende Felder ein.

    S3 bucket

    Wählen Sie einen S3-Bucket, den Sie besitzen und an den die Streaming-Daten geliefert werden sollen. Sie können einen neuen S3-Bucket erstellen oder einen vorhandenen wählen.

    Neues Zeilentrennzeichen

    Sie können Ihren Firehose-Stream so konfigurieren, dass ein neues Zeilentrennzeichen zwischen Datensätzen in Objekten hinzugefügt wird, die an Amazon S3 geliefert werden. Wählen Sie dazu Aktiviert. Um kein neues Zeilentrennzeichen zwischen Datensätzen in Objekten hinzuzufügen, die an Amazon S3 geliefert werden, wählen Sie Deaktiviert. Wenn Sie Athena verwenden möchten, um S3-Objekte mit aggregierten Datensätzen abzufragen, aktivieren Sie diese Option.

    Dynamische Partitionierung

    Wählen Sie Aktiviert, um die dynamische Partitionierung zu aktivieren und zu konfigurieren.

    Deaggregation mehrerer Datensätze

    Dabei werden die Datensätze im Firehose-Stream analysiert und entweder anhand eines gültigen JSON-Codes oder anhand des angegebenen neuen Zeilentrennzeichens getrennt.

    Wenn Sie mehrere Ereignisse, Protokolle oder Datensätze zu einem einzigen PutRecord PutRecordBatch API-Aufruf zusammenfassen, können Sie dennoch die dynamische Partitionierung aktivieren und konfigurieren. Wenn Sie bei aggregierten Daten die dynamische Partitionierung aktivieren, analysiert Amazon Data Firehose die Datensätze und sucht innerhalb jedes API-Aufrufs nach mehreren gültigen JSON-Objekten. Wenn der Firehose-Stream mit Kinesis Data Stream als Quelle konfiguriert ist, können Sie auch die integrierte Aggregation in der Kinesis Producer Library (KPL) verwenden. Die Datenpartitionsfunktion wird ausgeführt, nachdem die Daten deaggregiert wurden. Daher kann jeder Datensatz in jedem API-Aufruf an unterschiedliche Amazon-S3-Präfixe übermittelt werden. Sie können die Lambda-Funktionsintegration auch nutzen, um jede andere Deaggregation oder jede andere Transformation vor der Datenpartitionierungsfunktion durchzuführen.

    Wichtig

    Wenn Ihre Daten aggregiert sind, kann die dynamische Partitionierung erst nach der Deaggregation der Daten angewendet werden. Wenn Sie also die dynamische Partitionierung für Ihre aggregierten Daten aktivieren, müssen Sie Aktiviert auswählen, um die Deaggregation mehrerer Datensätze zu aktivieren.

    Firehose Stream führt die folgenden Verarbeitungsschritte in der folgenden Reihenfolge durch: KPL-Deaggregation (Protobuf), JSON- oder Delimiter-Deaggregation, Lambda-Verarbeitung, Datenpartitionierung, Datenformatkonvertierung und Amazon S3 S3-Lieferung.

    Deaggregationstyp für mehrere Datensätze

    Wenn Sie die Deaggregation mehrerer Datensätze aktiviert haben, müssen Sie die Methode angeben, mit der Firehose Ihre Daten deaggregieren soll. Verwenden Sie das Dropdown-Menü, um entweder JSON oder Delimited auszuwählen.

    Inline-Parsing

    Dies ist einer der unterstützten Mechanismen zur dynamischen Partitionierung Ihrer Daten, die für Amazon S3 bestimmt sind. Um Inline-Parsing als dynamische Partitionierungsmethode für Ihre Streaming-Daten zu verwenden, müssen Sie Datensatzparameter auswählen, die als Partitionierungsschlüssel verwendet werden sollen, und für jeden angegebenen Partitionierungsschlüssel einen Wert angeben. Wählen Sie Aktiviert, um die Inline-Parsing zu aktivieren und zu konfigurieren.

    Wichtig

    Wenn Sie in den obigen Schritten eine AWS Lambda-Funktion für die Transformation Ihrer Quelldatensätze angegeben haben, können Sie diese Funktion verwenden, um Ihre an S3 gebundenen Daten dynamisch zu partitionieren, und Sie können Ihre Partitionierungsschlüssel trotzdem mit Inline-Parsing erstellen. Bei der dynamischen Partitionierung können Sie entweder Inline-Parsing oder Ihre AWS Lambda-Funktion verwenden, um Ihre Partitionierungsschlüssel zu erstellen. Oder Sie können sowohl Inline-Parsing als auch Ihre AWS Lambda-Funktion gleichzeitig verwenden, um Ihre Partitionierungsschlüssel zu erstellen.

    Dynamische Partitionierung-Schlüssel

    Sie können die Felder Schlüssel und Wert verwenden, um die Datensatzparameter anzugeben, die als dynamische Partitionierungsschlüssel verwendet werden sollen, und JQ-Abfragen, um dynamische Partitionierungsschlüsselwerte zu generieren. Firehose unterstützt nur jq 1.6. Sie können bis zu 50 dynamische Partitionierungsschlüssel angeben. Sie müssen gültige JQ-Ausdrücke für Ihre dynamischen Partitionierungsschlüsselwerte eingeben, um die dynamische Partitionierung für Ihren Firehose-Stream erfolgreich zu konfigurieren.

    S3-Bucket-Präfix

    Wenn Sie die dynamische Partitionierung aktivieren und konfigurieren, müssen Sie die S3-Bucket-Präfixe angeben, an die Amazon Data Firehose partitionierte Daten liefern soll.

    Damit die dynamische Partitionierung korrekt konfiguriert werden kann, muss die Anzahl der S3-Bucket-Präfixe mit der Anzahl der angegebenen Partitionierungsschlüssel identisch sein.

    Sie können Ihre Quelldaten mit Inline-Parsing oder mit Ihrer angegebenen AWS Lambda-Funktion partitionieren. Wenn Sie eine AWS Lambda-Funktion zum Erstellen von Partitionierungsschlüsseln für Ihre Quelldaten angegeben haben, müssen Sie die S3-Bucket-Präfixwerte manuell im folgenden Format eingeben: "partitionKeyFromLambda:KeyID“. Wenn Sie Inline-Parsing verwenden, um die Partitionierungsschlüssel für Ihre Quelldaten anzugeben, können Sie die S3-Bucket-Vorschauwerte entweder manuell im folgenden Format eingeben: "partitionKeyFromquery:keyID“ oder Sie können die Schaltfläche Dynamische Partitionierungsschlüssel anwenden wählen, um Ihre dynamischen Partitionierungsschlüssel/Wertepaare zur automatischen Generierung Ihrer S3-Bucket-Präfixe zu verwenden. Bei der Partitionierung Ihrer Daten mit Inline-Parsing oder AWS Lambda können Sie auch die folgenden Ausdrucksformen in Ihrem S3-Bucket-Präfix verwenden:! {namespace:value}, wobei der Namespace entweder Query oder Lambda sein kann. partitionKeyFrom partitionKeyFrom

    Zeitzone für das Ausgabepräfix für S3-Bucket und S3-Fehler

    Wählen Sie unter Benutzerdefinierte Präfixe für Amazon Simple Storage Service Objects eine Zeitzone aus, die Sie für Datum und Uhrzeit verwenden möchten. Standardmäßig fügt Firehose ein Zeitpräfix in UTC hinzu. Sie können die in S3-Präfixen verwendete Zeitzone ändern, wenn Sie eine andere Zeitzone verwenden möchten.

    Hinweise zum Puffern

    Firehose puffert eingehende Daten, bevor sie an das angegebene Ziel gesendet werden. Die empfohlene Puffergröße für das Ziel ist von Dienstanbieter zu Dienstanbieter unterschiedlich.

    S3-Komprimierung

    Wählen Sie GZIP-, Snappy-, Zip- oder Hadoop-kompatible Snappy-Datenkomprimierung oder keine Datenkomprimierung. Snappy-, Zip- und Hadoop-kompatible Snappy-Komprimierung ist für Firehose-Streams mit Amazon Redshift als Ziel nicht verfügbar.

    S3-Dateierweiterungsformat (optional)

    Geben Sie ein Dateierweiterungsformat für Objekte an, die an den Amazon S3 S3-Ziel-Bucket geliefert werden. Wenn Sie diese Funktion aktivieren, überschreibt die angegebene Dateierweiterung die Standarddateierweiterungen, die durch Funktionen zur Datenformatkonvertierung oder S3-Komprimierung wie .parquet oder .gz hinzugefügt wurden. Vergewissern Sie sich, dass Sie die richtige Dateierweiterung konfiguriert haben, wenn Sie diese Funktion mit Datenformatkonvertierung oder S3-Komprimierung verwenden. Die Dateierweiterung muss mit einem Punkt (.) beginnen und kann die zulässigen Zeichen enthalten: 0-9a-z! -_.*' (). Die Dateierweiterung darf 128 Zeichen nicht überschreiten.

    S3-Verschlüsselung

    Firehose unterstützt die serverseitige Amazon S3-Verschlüsselung mit AWS Key Management Service (SSE-KMS) zur Verschlüsselung von gelieferten Daten in Amazon S3. Sie können wählen, ob Sie den im Ziel-S3-Bucket angegebenen Standardverschlüsselungstyp verwenden oder mit einem Schlüssel aus der Liste der Schlüssel verschlüsseln möchten, die Sie besitzen. AWS KMS Wenn Sie die Daten mit AWS KMS Schlüsseln verschlüsseln, können Sie entweder den AWS verwalteten Standardschlüssel (aws/s3) oder einen vom Kunden verwalteten Schlüssel verwenden. Weitere Informationen finden Sie unter Schutz von Daten mithilfe serverseitiger Verschlüsselung mit AWS KMS-verwalteten Schlüsseln (SSE-KMS).

Zieleinstellungen für Amazon Redshift konfigurieren

In diesem Abschnitt werden Einstellungen für die Verwendung von Amazon Redshift als Firehose-Stream-Ziel beschrieben.

Wählen Sie eines der folgenden Verfahren, je nachdem, ob Sie über einen von Amazon Redshift bereitgestellten Cluster oder eine Arbeitsgruppe von Amazon Redshift Serverless verfügen.

Von Amazon Redshift bereitgestellte Cluster

In diesem Abschnitt werden die Einstellungen für die Verwendung des von Amazon Redshift bereitgestellten Clusters als Firehose-Stream-Ziel beschrieben.

  • Geben Sie Werte für folgende Felder ein:

    Cluster

    Das Amazon-Redshift-Cluster, in das S3-Bucket-Daten kopiert werden. Konfigurieren Sie den Amazon Redshift Redshift-Cluster so, dass er öffentlich zugänglich ist, und entsperren Sie die IP-Adressen von Amazon Data Firehose. Weitere Informationen finden Sie unter Amazon Data Firehose Zugriff auf ein Amazon Redshift Redshift-Ziel gewähren .

    Authentifizierung

    Sie können entweder den Benutzernamen/das Passwort direkt eingeben oder das Geheimnis für den Zugriff auf den Amazon Redshift AWS Secrets Manager Redshift-Cluster abrufen.

    • Benutzername

      Geben Sie einen Amazon Redshift Redshift-Benutzer mit Zugriffsberechtigungen für den Amazon Redshift Redshift-Cluster an. Dieser Benutzer muss über die INSERT-Berechtigung von Amazon Redshift für das Kopieren von Daten aus dem S3-Bucket in den Amazon-Redshift-Cluster verfügen.

    • Passwort

      Geben Sie das Passwort für den Benutzer an, der über Zugriffsberechtigungen für den Cluster verfügt.

    • Secret

      Wählen Sie ein Geheimnis aus AWS Secrets Manager , das die Anmeldeinformationen für den Amazon Redshift Redshift-Cluster enthält. Wenn Sie Ihr Geheimnis nicht in der Drop-down-Liste sehen, erstellen Sie eines AWS Secrets Manager für Ihre Amazon Redshift Redshift-Anmeldeinformationen. Weitere Informationen finden Sie unter Authentifizieren Sie sich mit AWS Secrets Manager in Amazon Data Firehose.

    Datenbank

    Die Amazon-Redshift-Datenbank, in die die Daten kopiert werden.

    Tabelle

    Die Amazon-Redshift-Tabelle, in die die Daten kopiert werden.

    Spalten

    (Optional) Die spezifischen Spalten der Tabelle, zu der die Daten kopiert werden. Verwenden Sie diese Option, wenn die Anzahl der in Ihren Amazon-S3-Objekten definierten Spalten kleiner als die Anzahl der Spalten in der Amazon-Redshift-Tabelle ist.

    Intermediäres S3-Zwischenziel

    Firehose liefert Ihre Daten zuerst an Ihren S3-Bucket und gibt dann einen Amazon Redshift COPY Redshift-Befehl aus, um die Daten in Ihren Amazon Redshift Redshift-Cluster zu laden. Geben Sie einen S3-Bucket an, den Sie besitzen und an den die Streaming-Daten geliefert werden sollen. Erstellen Sie einen neuen S3-Bucket oder wählen Sie einen vorhandenen Bucket aus, den Sie besitzen.

    Firehose löscht die Daten nicht aus Ihrem S3-Bucket, nachdem sie in Ihren Amazon Redshift Redshift-Cluster geladen wurden. Sie können die Daten in Ihrem S3-Bucket mithilfe einer Lebenszykluskonfiguration verwalten. Weitere Informationen finden Sie unter Objekt-Lebenszyklusmanagement im Benutzerhandbuch zum Amazon Simple Storage Service.

    Intermediate S3-Präfix

    (Optional) Lassen Sie die Option leer, wenn Sie das Standardpräfix für Amazon-S3-Objekte verwenden möchten. Firehose verwendet automatisch ein Präfix im YYYY/MM/dd/HH UTC-Zeitformat für gelieferte Amazon S3 S3-Objekte. Sie können am Anfang dieses Präfix Elemente hinzufügen. Weitere Informationen finden Sie unter Amazon S3 S3-Objektnamenformat konfigurieren.

    COPY-Optionen

    Parameter, die Sie im COPY-Befehl von Amazon Redshift angeben können. Diese sind für Ihre Konfiguration möglicherweise erforderlich. Beispielsweise ist "GZIP" erforderlich, wenn die Amazon S3 S3-Datenkomprimierung aktiviert ist. „REGION" ist erforderlich, wenn sich Ihr S3-Bucket nicht in derselben AWS Region wie Ihr Amazon Redshift Redshift-Cluster befindet. Weitere Informationen finden Sie unter COPY im Entwicklerhandbuch für Amazon Redshift Database.

    Befehl COPY

    Der COPY-Befehl von Amazon Redshift. Weitere Informationen finden Sie unter COPY im Entwicklerhandbuch für Amazon Redshift Database.

    Retry duration

    Zeitdauer (0—7200 Sekunden), bis Firehose es erneut versucht, falls Daten in Ihrem Amazon Redshift COPY Redshift-Cluster ausfallen. Firehose versucht es alle 5 Minuten, bis die Wiederholungsdauer abgelaufen ist. Wenn Sie die Wiederholungsdauer auf 0 (Null) Sekunden setzen, versucht Firehose bei einem COPY fehlgeschlagenen Befehl nicht erneut.

    Hinweise zum Puffern

    Firehose puffert eingehende Daten, bevor sie an das angegebene Ziel gesendet werden. Die empfohlene Puffergröße für das Ziel ist von Dienstanbieter zu Dienstanbieter unterschiedlich.

    S3-Komprimierung

    Wählen Sie GZIP-, Snappy-, Zip- oder Hadoop-kompatible Snappy-Datenkomprimierung oder keine Datenkomprimierung. Snappy-, Zip- und Hadoop-kompatible Snappy-Komprimierung ist für Firehose-Streams mit Amazon Redshift als Ziel nicht verfügbar.

    S3-Dateierweiterungsformat (optional)

    S3-Dateierweiterungsformat (optional) — Geben Sie ein Dateierweiterungsformat für Objekte an, die an den Amazon S3 S3-Ziel-Bucket geliefert werden. Wenn Sie diese Funktion aktivieren, überschreibt die angegebene Dateierweiterung die Standarddateierweiterungen, die durch Funktionen zur Datenformatkonvertierung oder S3-Komprimierung wie .parquet oder .gz hinzugefügt wurden. Vergewissern Sie sich, dass Sie die richtige Dateierweiterung konfiguriert haben, wenn Sie diese Funktion mit Datenformatkonvertierung oder S3-Komprimierung verwenden. Die Dateierweiterung muss mit einem Punkt (.) beginnen und kann die zulässigen Zeichen enthalten: 0-9a-z! -_.*' (). Die Dateierweiterung darf 128 Zeichen nicht überschreiten.

    S3-Verschlüsselung

    Firehose unterstützt die serverseitige Amazon S3-Verschlüsselung mit AWS Key Management Service (SSE-KMS) zur Verschlüsselung von gelieferten Daten in Amazon S3. Sie können wählen, ob Sie den im Ziel-S3-Bucket angegebenen Standardverschlüsselungstyp verwenden oder mit einem Schlüssel aus der Liste der Schlüssel verschlüsseln möchten, die Sie besitzen. AWS KMS Wenn Sie die Daten mit AWS KMS Schlüsseln verschlüsseln, können Sie entweder den AWS verwalteten Standardschlüssel (aws/s3) oder einen vom Kunden verwalteten Schlüssel verwenden. Weitere Informationen finden Sie unter Schutz von Daten mithilfe serverseitiger Verschlüsselung mit AWS KMS-verwalteten Schlüsseln (SSE-KMS).

Zieleinstellungen für Amazon Redshift Serverless Workgroup konfigurieren

In diesem Abschnitt werden Einstellungen für die Verwendung der Amazon Redshift Serverless Workgroup als Firehose-Stream-Ziel beschrieben.

  • Geben Sie Werte für folgende Felder ein:

    Workgroup name (Name der Arbeitsgruppe)

    Die Arbeitsgruppe von Amazon Redshift Serverless, in die S3-Bucket-Daten kopiert werden. Konfigurieren Sie die Amazon Redshift Serverless-Arbeitsgruppe so, dass sie öffentlich zugänglich ist, und entsperren Sie die Firehose-IP-Adressen. Weitere Informationen finden Sie im Abschnitt Herstellen einer öffentlich zugänglichen Instance von Amazon Redshift Serverless unter Verbindung mit Amazon Redshift Serverless herstellen und auch Amazon Data Firehose Zugriff auf ein Amazon Redshift Redshift-Ziel gewähren .

    Authentifizierung

    Sie können entweder den Benutzernamen/das Passwort direkt eingeben oder das Geheimnis für den Zugriff auf die Amazon Redshift AWS Secrets Manager Serverless-Arbeitsgruppe abrufen.

    • Benutzername

      Geben Sie einen Amazon Redshift-Benutzer mit Zugriffsberechtigungen für die Amazon Redshift Serverless-Arbeitsgruppe an. Dieser Benutzer muss über die INSERT-Berechtigung von Amazon Redshift für das Kopieren von Daten aus dem S3-Bucket in die Arbeitsgruppe von Amazon Redshift Serverless verfügen.

    • Passwort

      Geben Sie das Passwort für den Benutzer an, der über Zugriffsberechtigungen für die Amazon Redshift Serverless-Arbeitsgruppe verfügt.

    • Secret

      Wählen Sie ein Geheimnis aus AWS Secrets Manager , das die Anmeldeinformationen für die Amazon Redshift Serverless Workgroup enthält. Wenn Sie Ihr Geheimnis nicht in der Drop-down-Liste sehen, erstellen Sie eines AWS Secrets Manager für Ihre Amazon Redshift Redshift-Anmeldeinformationen. Weitere Informationen finden Sie unter Authentifizieren Sie sich mit AWS Secrets Manager in Amazon Data Firehose.

    Datenbank

    Die Amazon-Redshift-Datenbank, in die die Daten kopiert werden.

    Tabelle

    Die Amazon-Redshift-Tabelle, in die die Daten kopiert werden.

    Spalten

    (Optional) Die spezifischen Spalten der Tabelle, zu der die Daten kopiert werden. Verwenden Sie diese Option, wenn die Anzahl der in Ihren Amazon-S3-Objekten definierten Spalten kleiner als die Anzahl der Spalten in der Amazon-Redshift-Tabelle ist.

    Intermediäres S3-Zwischenziel

    Amazon Data Firehose übermittelt Ihre Daten zuerst an Ihren S3-Bucket und gibt dann einen Amazon COPY Redshift-Befehl aus, um die Daten in Ihre Amazon Redshift Serverless-Arbeitsgruppe zu laden. Geben Sie einen S3-Bucket an, den Sie besitzen und an den die Streaming-Daten geliefert werden sollen. Erstellen Sie einen neuen S3-Bucket oder wählen Sie einen vorhandenen Bucket aus, den Sie besitzen.

    Firehose löscht die Daten nicht aus Ihrem S3-Bucket, nachdem sie in Ihre Amazon Redshift Serverless-Arbeitsgruppe geladen wurden. Sie können die Daten in Ihrem S3-Bucket mithilfe einer Lebenszykluskonfiguration verwalten. Weitere Informationen finden Sie unter Objekt-Lebenszyklusmanagement im Benutzerhandbuch zum Amazon Simple Storage Service.

    Intermediate S3-Präfix

    (Optional) Lassen Sie die Option leer, wenn Sie das Standardpräfix für Amazon-S3-Objekte verwenden möchten. Firehose verwendet automatisch ein Präfix im YYYY/MM/dd/HH UTC-Zeitformat für gelieferte Amazon S3 S3-Objekte. Sie können am Anfang dieses Präfix Elemente hinzufügen. Weitere Informationen finden Sie unter Amazon S3 S3-Objektnamenformat konfigurieren.

    COPY-Optionen

    Parameter, die Sie im COPY-Befehl von Amazon Redshift angeben können. Diese sind für Ihre Konfiguration möglicherweise erforderlich. Beispielsweise ist "GZIP" erforderlich, wenn die Amazon S3 S3-Datenkomprimierung aktiviert ist. „REGION" ist erforderlich, wenn sich Ihr S3-Bucket nicht in derselben AWS Region wie Ihre Amazon Redshift Serverless-Arbeitsgruppe befindet. Weitere Informationen finden Sie unter COPY im Entwicklerhandbuch für Amazon Redshift Database.

    Befehl COPY

    Der COPY-Befehl von Amazon Redshift. Weitere Informationen finden Sie unter COPY im Entwicklerhandbuch für Amazon Redshift Database.

    Retry duration

    Zeitdauer (0—7200 Sekunden), bis Firehose es erneut versucht, falls Daten COPY an Ihre Amazon Redshift Serverless-Arbeitsgruppe ausfallen. Firehose versucht es alle 5 Minuten, bis die Wiederholungsdauer abgelaufen ist. Wenn Sie die Wiederholungsdauer auf 0 (Null) Sekunden setzen, versucht Firehose bei einem COPY fehlgeschlagenen Befehl nicht erneut.

    Hinweise zum Puffern

    Firehose puffert eingehende Daten, bevor sie an das angegebene Ziel gesendet werden. Die empfohlene Puffergröße für das Ziel ist von Dienstanbieter zu Dienstanbieter unterschiedlich.

    S3-Komprimierung

    Wählen Sie GZIP-, Snappy-, Zip- oder Hadoop-kompatible Snappy-Datenkomprimierung oder keine Datenkomprimierung. Snappy-, Zip- und Hadoop-kompatible Snappy-Komprimierung ist für Firehose-Streams mit Amazon Redshift als Ziel nicht verfügbar.

    S3-Dateierweiterungsformat (optional)

    S3-Dateierweiterungsformat (optional) — Geben Sie ein Dateierweiterungsformat für Objekte an, die an den Amazon S3 S3-Ziel-Bucket geliefert werden. Wenn Sie diese Funktion aktivieren, überschreibt die angegebene Dateierweiterung die Standarddateierweiterungen, die durch Funktionen zur Datenformatkonvertierung oder S3-Komprimierung wie .parquet oder .gz hinzugefügt wurden. Vergewissern Sie sich, dass Sie die richtige Dateierweiterung konfiguriert haben, wenn Sie diese Funktion mit Datenformatkonvertierung oder S3-Komprimierung verwenden. Die Dateierweiterung muss mit einem Punkt (.) beginnen und kann die zulässigen Zeichen enthalten: 0-9a-z! -_.*' (). Die Dateierweiterung darf 128 Zeichen nicht überschreiten.

    S3-Verschlüsselung

    Firehose unterstützt die serverseitige Amazon S3-Verschlüsselung mit AWS Key Management Service (SSE-KMS) zur Verschlüsselung von gelieferten Daten in Amazon S3. Sie können wählen, ob Sie den im Ziel-S3-Bucket angegebenen Standardverschlüsselungstyp verwenden oder mit einem Schlüssel aus der Liste der Schlüssel verschlüsseln möchten, die Sie besitzen. AWS KMS Wenn Sie die Daten mit AWS KMS Schlüsseln verschlüsseln, können Sie entweder den AWS verwalteten Standardschlüssel (aws/s3) oder einen vom Kunden verwalteten Schlüssel verwenden. Weitere Informationen finden Sie unter Schutz von Daten mithilfe serverseitiger Verschlüsselung mit AWS KMS-verwalteten Schlüsseln (SSE-KMS).

Konfigurieren Sie die Zieleinstellungen für den Dienst OpenSearch

In diesem Abschnitt werden Optionen für die Verwendung von OpenSearch Service für Ihr Ziel beschrieben.

  • Geben Sie Werte für folgende Felder ein:

    OpenSearch Dienstdomäne

    Die OpenSearch Dienstdomäne, an die Ihre Daten übermittelt werden.

    Index

    Der OpenSearch Service-Indexname, der bei der Indizierung von Daten in Ihrem OpenSearch Service-Cluster verwendet werden soll.

    Index rotation

    Wählen Sie aus, ob und wie oft der OpenSearch Serviceindex rotiert werden soll. Wenn die Indexrotation aktiviert ist, hängt Amazon Data Firehose den entsprechenden Zeitstempel an den angegebenen Indexnamen an und rotiert. Weitere Informationen finden Sie unter Konfigurieren Sie die Indexrotation für Service OpenSearch.

    Typ

    Der Name des OpenSearch Servicetyps, der bei der Indizierung von Daten für Ihren Service-Cluster verwendet werden soll. OpenSearch Für Elasticsearch 7.x und OpenSearch 1.x kann es nur einen Typ pro Index geben. Wenn Sie versuchen, einen neuen Typ für einen vorhandenen Index anzugeben, der bereits einen anderen Typ hat, gibt Firehose während der Laufzeit einen Fehler zurück.

    Lassen Sie dieses Feld für Elasticsearch 7.x leer.

    Retry duration

    Zeitdauer, bis Firehose es erneut versucht, falls eine Indexanforderung fehlschlägt. OpenSearch In diesem Fall versucht Firehose es alle 5 Minuten erneut, bis die Wiederholungsdauer abgelaufen ist. Für die Dauer der Wiederholungen können Sie einen beliebigen Wert zwischen 0 und 7200 Sekunden festlegen.

    Nach Ablauf der Wiederholungsdauer übermittelt Firehose die Daten an die Dead Letter Queue (DLQ), einen konfigurierten S3-Fehler-Bucket. Für Daten, die an DLQ geliefert werden, müssen Sie die Daten erneut vom konfigurierten S3-Fehler-Bucket zum Ziel zurückleiten. OpenSearch

    Wenn Sie verhindern möchten, dass der Firehose-Stream aufgrund von Ausfallzeiten oder Wartungsarbeiten an OpenSearch Clustern Daten an DLQ übermittelt, können Sie die Wiederholungsdauer auf einen höheren Wert in Sekunden konfigurieren. Sie können den Wert für die Wiederholungsdauer auf einen Wert von über 7200 Sekunden erhöhen, indem Sie sich an den Support wenden.AWS

    DocumentID-Typ

    Gibt die Methode zum Einrichten der Dokument-ID an. Die unterstützten Methoden sind Firehose-generierte Dokument-ID und OpenSearch Service-generierte Dokument-ID. Die von Firehose generierte Dokument-ID ist die Standardoption, wenn der Dokument-ID-Wert nicht festgelegt ist. OpenSearch Die vom Dienst generierte Dokument-ID ist die empfohlene Option, da sie schreibintensive Operationen wie Protokollanalysen und Beobachtbarkeit unterstützt, wodurch weniger CPU-Ressourcen in der OpenSearch Service-Domäne verbraucht werden und somit die Leistung verbessert wird.

    Destination VPC connectivity (Ziel-VPC-Konnektivität

    Wenn sich Ihre OpenSearch Service-Domain in einer privaten VPC befindet, verwenden Sie diesen Abschnitt, um diese VPC anzugeben. Geben Sie auch die Subnetze und Untergruppen an, die Amazon Data Firehose verwenden soll, wenn es Daten an Ihre OpenSearch Service-Domain sendet. Sie können dieselben Sicherheitsgruppen verwenden, die die OpenSearch Service-Domain verwendet. Wenn Sie verschiedene Sicherheitsgruppen angeben, stellen Sie sicher, dass diese ausgehenden HTTPS-Verkehr zur Sicherheitsgruppe der OpenSearch Dienstdomäne zulassen. Stellen Sie außerdem sicher, dass die Sicherheitsgruppe der OpenSearch Service-Domain HTTPS-Verkehr von den Sicherheitsgruppen zulässt, die Sie bei der Konfiguration Ihres Firehose-Streams angegeben haben. Wenn Sie dieselbe Sicherheitsgruppe sowohl für Ihren Firehose-Stream als auch für die OpenSearch Service-Domain verwenden, stellen Sie sicher, dass die eingehende Regel der Sicherheitsgruppe HTTPS-Verkehr zulässt. Weitere Informationen zu den Regeln der Sicherheitsgruppe finden Sie unter Sicherheitsgruppenregeln im Amazon-VPC-Benutzerhandbuch.

    Wichtig

    Wenn Sie Subnetze für die Übertragung von Daten an das Ziel in einer privaten VPC angeben, stellen Sie sicher, dass Sie über genügend freie IP-Adressen in den ausgewählten Subnetzen verfügen. Wenn in einem bestimmten Subnetz keine kostenlose IP-Adresse verfügbar ist, kann Firehose keine ENIs für die Datenlieferung in der privaten VPC erstellen oder hinzufügen, und die Lieferung wird beeinträchtigt oder schlägt fehl.

    Puffer-Hinweise

    Amazon Data Firehose puffert eingehende Daten, bevor sie an das angegebene Ziel gesendet werden. Die empfohlene Puffergröße für das Ziel ist von Dienstanbieter zu Dienstanbieter unterschiedlich.

Konfigurieren Sie die Zieleinstellungen für Serverless OpenSearch

In diesem Abschnitt werden Optionen für die Verwendung von OpenSearch Serverless für Ihr Ziel beschrieben.

  • Geben Sie Werte für folgende Felder ein:

    OpenSearch Serverlose Erfassung

    Der Endpunkt für eine Gruppe von OpenSearch serverlosen Indizes, an die Ihre Daten übermittelt werden.

    Index

    Der OpenSearch Serverless-Indexname, der bei der Indizierung von Daten für Ihre Serverless-Sammlung verwendet werden soll. OpenSearch

    Destination VPC connectivity (Ziel-VPC-Konnektivität

    Wenn sich Ihre OpenSearch Serverless-Sammlung in einer privaten VPC befindet, verwenden Sie diesen Abschnitt, um diese VPC anzugeben. Geben Sie auch die Subnetze und Untergruppen an, die Amazon Data Firehose verwenden soll, wenn es Daten an Ihre OpenSearch Serverless-Sammlung sendet.

    Wichtig

    Wenn Sie Subnetze für die Übertragung von Daten an das Ziel in einer privaten VPC angeben, stellen Sie sicher, dass Sie über genügend freie IP-Adressen in den ausgewählten Subnetzen verfügen. Wenn in einem bestimmten Subnetz keine kostenlose IP-Adresse verfügbar ist, kann Firehose keine ENIs für die Datenlieferung in der privaten VPC erstellen oder hinzufügen, und die Lieferung wird beeinträchtigt oder schlägt fehl.

    Retry duration

    Zeitdauer, die Firehose benötigt, um es erneut zu versuchen, falls eine Indexanforderung an OpenSearch Serverless fehlschlägt. In diesem Fall versucht Firehose es alle 5 Minuten erneut, bis die Wiederholungsdauer abgelaufen ist. Für die Dauer der Wiederholungen können Sie einen beliebigen Wert zwischen 0 und 7200 Sekunden festlegen.

    Nach Ablauf der Wiederholungsdauer übermittelt Firehose die Daten an die Dead Letter Queue (DLQ), einen konfigurierten S3-Fehler-Bucket. Für Daten, die an DLQ geliefert werden, müssen Sie die Daten erneut vom konfigurierten S3-Fehler-Bucket zum serverlosen Ziel zurückleiten. OpenSearch

    Wenn Sie verhindern möchten, dass Firehose Stream aufgrund von Ausfallzeiten oder Wartungsarbeiten an OpenSearch serverlosen Clustern Daten an DLQ übermittelt, können Sie die Wiederholungsdauer auf einen höheren Wert in Sekunden konfigurieren. Sie können den Wert für die Wiederholungsdauer auf über 7200 Sekunden erhöhen, indem Sie sich an den Support wenden.AWS

    Puffer-Hinweise

    Amazon Data Firehose puffert eingehende Daten, bevor sie an das angegebene Ziel gesendet werden. Die empfohlene Puffergröße für das Ziel ist von Dienstanbieter zu Dienstanbieter unterschiedlich.

Konfigurieren Sie die Zieleinstellungen für den HTTP-Endpunkt

In diesem Abschnitt werden Optionen für die Verwendung von HTTP Endpunkt als Ihr Ziel beschrieben.

Wichtig

Wenn Sie einen HTTP-Endpunkt als Ziel wählen, lesen und befolgen Sie die Anweisungen unterAnhang – Spezifikationen für Anfragen und Antworten zur HTTP-Endpunktzustellung.

  • Geben Sie Werte für folgende Felder an:

    Name des HTTP-Endpunkts – optional

    Geben Sie einen benutzerfreundlichen Namen für den HTTP-Endpunkt an. z. B. My HTTP Endpoint Destination.

    URL des HTTP-Endpunkts

    Geben Sie die URL für den HTTP-Endpunkt im folgenden Format an: https://xyz.httpendpoint.com. Die URL muss eine HTTPS-URL sein.

    Authentifizierung

    Sie können entweder den Zugriffsschlüssel direkt eingeben oder den geheimen Schlüssel für den AWS Secrets Manager Zugriff auf den HTTP-Endpunkt abrufen.

    • (Optional) Zugriffsschlüssel

      Wenden Sie sich an den Endpunktbesitzer, wenn Sie den Zugriffsschlüssel benötigen, um die Datenlieferung an seinen Endpunkt von Firehose zu ermöglichen.

    • Secret

      Wählen Sie ein Geheimnis aus AWS Secrets Manager , das den Zugriffsschlüssel für den HTTP-Endpunkt enthält. Wenn Sie Ihr Geheimnis nicht in der Dropdownliste sehen, erstellen Sie eines AWS Secrets Manager für den Zugriffsschlüssel. Weitere Informationen finden Sie unter Authentifizieren Sie sich mit AWS Secrets Manager in Amazon Data Firehose.

    Inhaltskodierung

    Amazon Data Firehose verwendet Inhaltskodierung, um den Hauptteil einer Anfrage zu komprimieren, bevor sie an das Ziel gesendet wird. Wählen Sie GZIP oder Deaktiviert, um die Inhaltskodierung Ihrer Anfrage zu aktivieren/deaktivieren.

    Retry duration

    Geben Sie an, wie lange Amazon Data Firehose erneut versucht, Daten an den ausgewählten HTTP-Endpunkt zu senden.

    Nach dem Senden von Daten wartet Amazon Data Firehose zunächst auf eine Bestätigung vom HTTP-Endpunkt. Wenn ein Fehler auftritt oder die Bestätigung nicht innerhalb des Zeitlimits für die Bestätigung eingeht, startet Amazon Data Firehose den Zähler für die Dauer der Wiederholungsversuche. Der Vorgang wird wiederholt, bis die Wiederholungsdauer abgelaufen ist. Danach betrachtet Amazon Data Firehose den Fehler bei der Datenübermittlung und sichert die Daten in Ihrem Amazon S3 S3-Bucket.

    Jedes Mal, wenn Amazon Data Firehose Daten an den HTTP-Endpunkt sendet (entweder beim ersten Versuch oder bei einem erneuten Versuch), wird der Timeout-Zähler für die Bestätigung neu gestartet und auf eine Bestätigung vom HTTP-Endpunkt gewartet.

    Selbst wenn die Dauer des Wiederholungsversuchs abläuft, wartet Amazon Data Firehose immer noch auf die Bestätigung, bis sie eingeht oder das Bestätigungs-Timeout erreicht ist. Wenn bei der Bestätigung eine Zeitüberschreitung eintritt, bestimmt Amazon Data Firehose, ob im Wiederholungszähler noch Zeit übrig ist. Ist noch Zeit übrig, führt es erneut eine Wiederholung durch und wiederholt die Logik, bis es eine Bestätigung erhält, oder feststellt, dass die Wiederholungszeitdauer abgelaufen ist.

    Wenn Sie nicht möchten, dass Amazon Data Firehose erneut versucht, Daten zu senden, setzen Sie diesen Wert auf 0.

    Parameter – optional

    Amazon Data Firehose schließt diese Schlüssel-Wert-Paare in jedem HTTP-Aufruf ein. Diese Parameter können Ihnen helfen Ihnen, Ihre Ziele zu identifizieren und zu organisieren.

    Hinweise zum Puffern

    Amazon Data Firehose puffert eingehende Daten, bevor sie an das angegebene Ziel gesendet werden. Die empfohlene Puffergröße für das Ziel ist von Dienstanbieter zu Dienstanbieter unterschiedlich.

    Wichtig

    Wenn Sie für die HTTP-Endpunktziele 413 Antwortcodes vom Zielendpunkt in CloudWatch Logs sehen, verringern Sie die Größe der Pufferhinweise in Ihrem Firehose-Stream und versuchen Sie es erneut.

Konfigurieren Sie die Zieleinstellungen für Datadog

In diesem Abschnitt werden Optionen für die Verwendung von Datadog als Ziel beschrieben. Weitere Informationen zu Datadog finden Sie unter https://docs.datadoghq.com/integrations/amazon_web_services/.

  • Geben Sie Werte für die folgenden Felder an.

    URL des HTTP-Endpunkts

    Wählen Sie aus einer der folgenden Optionen im Dropdownmenü aus, wohin Sie Daten senden möchten.

    • Datadog-Protokolle – US1

    • Datadog-Protokolle — US3

    • Datadog-Protokolle – US5

    • Datadog-Protokolle - AP1

    • Datadog-Protokolle – US

    • Datadog-Protokolle – GOV

    • Datadog-Metriken – USA

    • Datadog-Metriken - US5

    • Datadog-Metriken - AP1

    • Datadog-Metriken – EU

    • Datadog-Konfigurationen - US1

    • Datadog-Konfigurationen - US3

    • Datadog-Konfigurationen - US5

    • Datadog-Konfigurationen - AP1

    • Datadog-Konfigurationen — EU

    • Datadog-Konfigurationen — US-Regierung

    Authentifizierung

    Sie können entweder den API-Schlüssel direkt eingeben oder den geheimen Schlüssel für den Zugriff auf Datadog abrufen. AWS Secrets Manager

    • API-Schlüssel

      Wenden Sie sich an Datadog, um den API-Schlüssel zu erhalten, den Sie benötigen, um die Datenlieferung an diesen Endpunkt von Firehose zu aktivieren.

    • Secret

      Wählen Sie ein Geheimnis aus AWS Secrets Manager , das den API-Schlüssel für Datadog enthält. Wenn Sie Ihr Geheimnis nicht in der Drop-down-Liste sehen, erstellen Sie eines in. AWS Secrets Manager Weitere Informationen finden Sie unter Authentifizieren Sie sich mit AWS Secrets Manager in Amazon Data Firehose.

    Inhaltskodierung

    Amazon Data Firehose verwendet Inhaltskodierung, um den Hauptteil einer Anfrage zu komprimieren, bevor sie an das Ziel gesendet wird. Wählen Sie GZIP oder Deaktiviert, um die Inhaltskodierung Ihrer Anfrage zu aktivieren/deaktivieren.

    Retry duration

    Geben Sie an, wie lange Amazon Data Firehose erneut versucht, Daten an den ausgewählten HTTP-Endpunkt zu senden.

    Nach dem Senden von Daten wartet Amazon Data Firehose zunächst auf eine Bestätigung vom HTTP-Endpunkt. Wenn ein Fehler auftritt oder die Bestätigung nicht innerhalb des Zeitlimits für die Bestätigung eingeht, startet Amazon Data Firehose den Zähler für die Dauer der Wiederholungsversuche. Der Vorgang wird wiederholt, bis die Wiederholungsdauer abgelaufen ist. Danach betrachtet Amazon Data Firehose den Fehler bei der Datenübermittlung und sichert die Daten in Ihrem Amazon S3 S3-Bucket.

    Jedes Mal, wenn Amazon Data Firehose Daten an den HTTP-Endpunkt sendet (entweder beim ersten Versuch oder bei einem erneuten Versuch), wird der Timeout-Zähler für die Bestätigung neu gestartet und auf eine Bestätigung vom HTTP-Endpunkt gewartet.

    Selbst wenn die Dauer des Wiederholungsversuchs abläuft, wartet Amazon Data Firehose immer noch auf die Bestätigung, bis sie eingeht oder das Bestätigungs-Timeout erreicht ist. Wenn bei der Bestätigung eine Zeitüberschreitung eintritt, bestimmt Amazon Data Firehose, ob im Wiederholungszähler noch Zeit übrig ist. Ist noch Zeit übrig, führt es erneut eine Wiederholung durch und wiederholt die Logik, bis es eine Bestätigung erhält, oder feststellt, dass die Wiederholungszeitdauer abgelaufen ist.

    Wenn Sie nicht möchten, dass Amazon Data Firehose erneut versucht, Daten zu senden, setzen Sie diesen Wert auf 0.

    Parameter – optional

    Amazon Data Firehose schließt diese Schlüssel-Wert-Paare in jedem HTTP-Aufruf ein. Diese Parameter können Ihnen helfen Ihnen, Ihre Ziele zu identifizieren und zu organisieren.

    Hinweise zum Puffern

    Amazon Data Firehose puffert eingehende Daten, bevor sie an das angegebene Ziel gesendet werden. Die empfohlene Puffergröße für das Ziel ist von Dienstanbieter zu Dienstanbieter unterschiedlich.

Konfigurieren Sie die Zieleinstellungen für Honeycomb

In diesem Abschnitt werden Optionen für die Verwendung von Honeycomb als Ziel beschrieben. Weitere Informationen zu Honeycomb finden Sie unter https://docs.honeycomb.io/ getting-data-in /metrics//aws-cloudwatch-metrics.

  • Geben Sie Werte für folgende Felder an:

    Honeycomb-Kinesis-Endpunkt

    Geben Sie die URL für den HTTP-Endpunkt im folgenden Format an: https://api.honeycomb.io/1/kinesis_events/{{dataset}}

    Authentifizierung

    Sie können entweder den API-Schlüssel direkt eingeben oder den geheimen Schlüssel für den Zugriff auf Honeycomb abrufen. AWS Secrets Manager

    • API-Schlüssel

      Wenden Sie sich an Honeycomb, um den API-Schlüssel zu erhalten, den Sie benötigen, um die Datenlieferung an diesen Endpunkt von Firehose zu aktivieren.

    • Secret

      Wählen Sie ein Geheimnis aus AWS Secrets Manager , das den API-Schlüssel für Honeycomb enthält. Wenn Sie Ihr Geheimnis nicht in der Drop-down-Liste sehen, erstellen Sie eines in AWS Secrets Manager. Weitere Informationen finden Sie unter Authentifizieren Sie sich mit AWS Secrets Manager in Amazon Data Firehose.

    Inhaltskodierung

    Amazon Data Firehose verwendet Inhaltskodierung, um den Hauptteil einer Anfrage zu komprimieren, bevor sie an das Ziel gesendet wird. Wählen Sie GZIP, um die Inhaltskodierung Ihrer Anfrage zu aktivieren. Dies ist die empfohlene Option für das Ziel Honeycomb.

    Retry duration

    Geben Sie an, wie lange Amazon Data Firehose erneut versucht, Daten an den ausgewählten HTTP-Endpunkt zu senden.

    Nach dem Senden von Daten wartet Amazon Data Firehose zunächst auf eine Bestätigung vom HTTP-Endpunkt. Wenn ein Fehler auftritt oder die Bestätigung nicht innerhalb des Zeitlimits für die Bestätigung eingeht, startet Amazon Data Firehose den Zähler für die Dauer der Wiederholungsversuche. Der Vorgang wird wiederholt, bis die Wiederholungsdauer abgelaufen ist. Danach betrachtet Amazon Data Firehose den Fehler bei der Datenübermittlung und sichert die Daten in Ihrem Amazon S3 S3-Bucket.

    Jedes Mal, wenn Amazon Data Firehose Daten an den HTTP-Endpunkt sendet (entweder beim ersten Versuch oder bei einem erneuten Versuch), wird der Timeout-Zähler für die Bestätigung neu gestartet und auf eine Bestätigung vom HTTP-Endpunkt gewartet.

    Selbst wenn die Dauer des Wiederholungsversuchs abläuft, wartet Amazon Data Firehose immer noch auf die Bestätigung, bis sie eingeht oder das Bestätigungs-Timeout erreicht ist. Wenn bei der Bestätigung eine Zeitüberschreitung eintritt, bestimmt Amazon Data Firehose, ob im Wiederholungszähler noch Zeit übrig ist. Ist noch Zeit übrig, führt es erneut eine Wiederholung durch und wiederholt die Logik, bis es eine Bestätigung erhält, oder feststellt, dass die Wiederholungszeitdauer abgelaufen ist.

    Wenn Sie nicht möchten, dass Amazon Data Firehose erneut versucht, Daten zu senden, setzen Sie diesen Wert auf 0.

    Parameter – optional

    Amazon Data Firehose schließt diese Schlüssel-Wert-Paare in jedem HTTP-Aufruf ein. Diese Parameter können Ihnen helfen Ihnen, Ihre Ziele zu identifizieren und zu organisieren.

    Hinweise zum Puffern

    Amazon Data Firehose puffert eingehende Daten, bevor sie an das angegebene Ziel gesendet werden. Die empfohlene Puffergröße für das Ziel ist von Dienstanbieter zu Dienstanbieter unterschiedlich.

Konfigurieren Sie die Zieleinstellungen für Coralogix

In diesem Abschnitt werden Optionen für die Verwendung von Coralogix als Ziel beschrieben. Weitere Informationen zu Coralogix finden Sie unter https://coralogix.com/integrations/aws-firehose.

  • Geben Sie Werte für folgende Felder an:

    URL des HTTP-Endpunkts

    Wählen Sie die HTTP-Endpunkt-URL aus den folgenden Optionen im Dropdown-Menü aus:

    • Coralogix – USA

    • Coralogix – SINGAPUR

    • Coralogix – IRLAND

    • Coralogix - INDIEN

    • Coralogix - STOCKHOLM

    Authentifizierung

    Sie können entweder den privaten Schlüssel direkt eingeben oder den geheimen Schlüssel abrufen, AWS Secrets Manager um auf Coralogix zuzugreifen.

    • Privater Aktivierungsschlüssel

      Wenden Sie sich an Coralogix, um den privaten Schlüssel, den Sie für die Datenlieferung an diesen Endpunkt benötigen, von Firehose zu erhalten.

    • Secret

      Wählen Sie ein Geheimnis aus AWS Secrets Manager , das den privaten Schlüssel für Coralogix enthält. Wenn Sie Ihr Geheimnis nicht in der Drop-down-Liste sehen, erstellen Sie eines in. AWS Secrets Manager Weitere Informationen finden Sie unter Authentifizieren Sie sich mit AWS Secrets Manager in Amazon Data Firehose.

    Inhaltskodierung

    Amazon Data Firehose verwendet Inhaltskodierung, um den Hauptteil einer Anfrage zu komprimieren, bevor sie an das Ziel gesendet wird. Wählen Sie GZIP, um die Inhaltskodierung Ihrer Anfrage zu aktivieren. Dies ist die empfohlene Option für das Coralogix-Ziel.

    Retry duration

    Geben Sie an, wie lange Amazon Data Firehose erneut versucht, Daten an den ausgewählten HTTP-Endpunkt zu senden.

    Nach dem Senden von Daten wartet Amazon Data Firehose zunächst auf eine Bestätigung vom HTTP-Endpunkt. Wenn ein Fehler auftritt oder die Bestätigung nicht innerhalb des Zeitlimits für die Bestätigung eingeht, startet Amazon Data Firehose den Zähler für die Dauer der Wiederholungsversuche. Der Vorgang wird wiederholt, bis die Wiederholungsdauer abgelaufen ist. Danach betrachtet Amazon Data Firehose den Fehler bei der Datenübermittlung und sichert die Daten in Ihrem Amazon S3 S3-Bucket.

    Jedes Mal, wenn Amazon Data Firehose Daten an den HTTP-Endpunkt sendet (entweder beim ersten Versuch oder bei einem erneuten Versuch), wird der Timeout-Zähler für die Bestätigung neu gestartet und auf eine Bestätigung vom HTTP-Endpunkt gewartet.

    Selbst wenn die Dauer des Wiederholungsversuchs abläuft, wartet Amazon Data Firehose immer noch auf die Bestätigung, bis sie eingeht oder das Bestätigungs-Timeout erreicht ist. Wenn bei der Bestätigung eine Zeitüberschreitung eintritt, bestimmt Amazon Data Firehose, ob im Wiederholungszähler noch Zeit übrig ist. Ist noch Zeit übrig, führt es erneut eine Wiederholung durch und wiederholt die Logik, bis es eine Bestätigung erhält, oder feststellt, dass die Wiederholungszeitdauer abgelaufen ist.

    Wenn Sie nicht möchten, dass Amazon Data Firehose erneut versucht, Daten zu senden, setzen Sie diesen Wert auf 0.

    Parameter – optional

    Amazon Data Firehose schließt diese Schlüssel-Wert-Paare in jedem HTTP-Aufruf ein. Diese Parameter können Ihnen helfen Ihnen, Ihre Ziele zu identifizieren und zu organisieren.

    • applicationName: Die Umgebung, in der Sie Data Firehose ausführen

    • subsystemName: Der Name der Data-Firehose-Integration

    • ComputerName: Der Name des verwendeten Firehose-Streams

    Hinweise zum Puffern

    Amazon Data Firehose puffert eingehende Daten, bevor sie an das angegebene Ziel gesendet werden. Die empfohlene Puffergröße für das Ziel variiert je nach Dienstanbieter.

Konfigurieren Sie die Zieleinstellungen für Dynatrace

In diesem Abschnitt werden Optionen für die Verwendung von Dynatrace als Ziel beschrieben. Weitere Informationen finden Sie unter https://www.dynatrace.com/support/help/technology-support/cloud-platforms/ amazon-web-services /integrations//cloudwatch-metric-streams.

  • Wählen Sie Optionen, um Dynatrace als Ziel für Ihren Firehose-Stream zu verwenden.

    Art der Einnahme

    Wählen Sie aus, ob Sie Metriken oder Protokolle (Standard) zur weiteren Analyse und Verarbeitung in Dynatrace bereitstellen möchten.

    URL des HTTP-Endpunkts

    Wählen Sie die HTTP-Endpunkt-URL (Dynatrace US, Dynatrace EU oder Dynatrace Global) aus dem Drop-down-Menü aus.

    Authentifizierung

    Sie können entweder das API-Token direkt eingeben oder das Geheimnis für den Zugriff auf Dynatrace abrufen. AWS Secrets Manager

    • API-Token

      Generieren Sie das Dynatrace-API-Token, das Sie benötigen, um die Datenlieferung von Firehose an diesen Endpunkt zu aktivieren. Weitere Informationen finden Sie unter Dynatrace API — Tokens und Authentifizierung.

    • Secret

      Wählen Sie ein Geheimnis aus AWS Secrets Manager , das das API-Token für Dynatrace enthält. Wenn Sie Ihr Geheimnis nicht in der Drop-down-Liste sehen, erstellen Sie eines in. AWS Secrets Manager Weitere Informationen finden Sie unter Authentifizieren Sie sich mit AWS Secrets Manager in Amazon Data Firehose.

    API-URL

    Geben Sie die API-URL Ihrer Dynatrace-Umgebung an.

    Inhaltskodierung

    Wählen Sie aus, ob Sie die Inhaltskodierung aktivieren möchten, um den Hauptteil der Anfrage zu komprimieren. Amazon Data Firehose verwendet Inhaltskodierung, um den Hauptteil einer Anfrage zu komprimieren, bevor sie an das Ziel gesendet wird. Wenn diese Option aktiviert ist, wird der Inhalt im GZIP-Format komprimiert.

    Retry duration

    Geben Sie an, wie lange Firehose erneut versucht, Daten an den ausgewählten HTTP-Endpunkt zu senden.

    Nach dem Senden von Daten wartet Firehose zunächst auf eine Bestätigung vom HTTP-Endpunkt. Wenn ein Fehler auftritt oder die Bestätigung nicht innerhalb des Zeitlimits für die Bestätigung eintrifft, startet Firehose den Zähler für die Dauer der Wiederholungsversuche. Der Vorgang wird wiederholt, bis die Wiederholungsdauer abgelaufen ist. Danach betrachtet Firehose es als Fehler bei der Datenzustellung und sichert die Daten in Ihrem Amazon S3 S3-Bucket.

    Jedes Mal, wenn Firehose Daten an den HTTP-Endpunkt sendet, entweder beim ersten Versuch oder nach einem erneuten Versuch, startet es den Timeout-Zähler für die Bestätigung neu und wartet auf eine Bestätigung vom HTTP-Endpunkt.

    Selbst wenn die Wiederholungsdauer abläuft, wartet Firehose immer noch auf die Bestätigung, bis sie eingeht oder das Bestätigungs-Timeout erreicht ist. Wenn bei der Bestätigung eine Zeitüberschreitung eintritt, bestimmt Firehose, ob im Wiederholungszähler noch Zeit übrig ist. Ist noch Zeit übrig, führt es erneut eine Wiederholung durch und wiederholt die Logik, bis es eine Bestätigung erhält, oder feststellt, dass die Wiederholungszeitdauer abgelaufen ist.

    Wenn Sie nicht möchten, dass Firehose erneut versucht, Daten zu senden, setzen Sie diesen Wert auf 0.

    Parameter – optional

    Amazon Data Firehose schließt diese Schlüssel-Wert-Paare in jedem HTTP-Aufruf ein. Diese Parameter können Ihnen helfen Ihnen, Ihre Ziele zu identifizieren und zu organisieren.

    Hinweise zum Puffern

    Amazon Data Firehose puffert eingehende Daten, bevor sie an das angegebene Ziel gesendet werden. Die Pufferhinweise beinhalten die Puffergröße und das Intervall für Ihre Streams. Die empfohlene Puffergröße für das Ziel variiert je nach Dienstanbieter.

Konfigurieren Sie die Zieleinstellungen für LogicMonitor

In diesem Abschnitt werden Optionen beschrieben, die Sie LogicMonitorfür Ihr Ziel verwenden können. Weitere Informationen finden Sie unter https://www.logicmonitor.com.

  • Geben Sie Werte für folgende Felder an:

    URL des HTTP-Endpunkts

    Geben Sie die URL für den HTTP-Endpunkt im folgenden Format an.

    https://ACCOUNT.logicmonitor.com
    Authentifizierung

    Sie können entweder den API-Schlüssel direkt eingeben oder das Geheimnis abrufen, von dem aus Sie AWS Secrets Manager darauf zugreifen können LogicMonitor.

    • API-Schlüssel

      Wenden Sie sich LogicMonitor an Firehose, um den API-Schlüssel zu erhalten, den Sie benötigen, um die Datenlieferung an diesen Endpunkt zu aktivieren.

    • Secret

      Wählen Sie ein Geheimnis aus AWS Secrets Manager , das den API-Schlüssel für LogicMonitor enthält. Wenn Sie Ihr Geheimnis nicht in der Drop-down-Liste sehen, erstellen Sie eines in AWS Secrets Manager. Weitere Informationen finden Sie unter Authentifizieren Sie sich mit AWS Secrets Manager in Amazon Data Firehose.

    Inhaltskodierung

    Amazon Data Firehose verwendet Inhaltskodierung, um den Hauptteil einer Anfrage zu komprimieren, bevor sie an das Ziel gesendet wird. Wählen Sie GZIP oder Deaktiviert, um die Inhaltskodierung Ihrer Anfrage zu aktivieren/deaktivieren.

    Retry duration

    Geben Sie an, wie lange Amazon Data Firehose erneut versucht, Daten an den ausgewählten HTTP-Endpunkt zu senden.

    Nach dem Senden von Daten wartet Amazon Data Firehose zunächst auf eine Bestätigung vom HTTP-Endpunkt. Wenn ein Fehler auftritt oder die Bestätigung nicht innerhalb des Zeitlimits für die Bestätigung eingeht, startet Amazon Data Firehose den Zähler für die Dauer der Wiederholungsversuche. Der Vorgang wird wiederholt, bis die Wiederholungsdauer abgelaufen ist. Danach betrachtet Amazon Data Firehose den Fehler bei der Datenübermittlung und sichert die Daten in Ihrem Amazon S3 S3-Bucket.

    Jedes Mal, wenn Amazon Data Firehose Daten an den HTTP-Endpunkt sendet (entweder beim ersten Versuch oder bei einem erneuten Versuch), wird der Timeout-Zähler für die Bestätigung neu gestartet und auf eine Bestätigung vom HTTP-Endpunkt gewartet.

    Selbst wenn die Dauer des Wiederholungsversuchs abläuft, wartet Amazon Data Firehose immer noch auf die Bestätigung, bis sie eingeht oder das Bestätigungs-Timeout erreicht ist. Wenn bei der Bestätigung eine Zeitüberschreitung eintritt, bestimmt Amazon Data Firehose, ob im Wiederholungszähler noch Zeit übrig ist. Ist noch Zeit übrig, führt es erneut eine Wiederholung durch und wiederholt die Logik, bis es eine Bestätigung erhält, oder feststellt, dass die Wiederholungszeitdauer abgelaufen ist.

    Wenn Sie nicht möchten, dass Amazon Data Firehose erneut versucht, Daten zu senden, setzen Sie diesen Wert auf 0.

    Parameter – optional

    Amazon Data Firehose schließt diese Schlüssel-Wert-Paare in jedem HTTP-Aufruf ein. Diese Parameter können Ihnen helfen Ihnen, Ihre Ziele zu identifizieren und zu organisieren.

    Hinweise zum Puffern

    Amazon Data Firehose puffert eingehende Daten, bevor sie an das angegebene Ziel gesendet werden. Die empfohlene Puffergröße für das Ziel ist von Dienstanbieter zu Dienstanbieter unterschiedlich.

Konfigurieren Sie die Zieleinstellungen für Logz.io

In diesem Abschnitt werden Optionen für die Verwendung von Logz.io als Ziel beschrieben. Weitere Informationen finden Sie unter https://logz.io/.

Anmerkung

In der Region Europa (Mailand) wird Logz.io nicht als Amazon Data Firehose-Ziel unterstützt.

  • Geben Sie Werte für folgende Felder an:

    URL des HTTP-Endpunkts

    Geben Sie die URL für den HTTP-Endpunkt im folgenden Format an. Die URL muss eine HTTPS URL sein.

    https://listener-aws-metrics-stream-<region>.logz.io/

    Beispiel

    https://listener-aws-metrics-stream-us.logz.io/
    Authentifizierung

    Sie können entweder das Versand-Token direkt eingeben oder das Secret von abrufen, AWS Secrets Manager um auf Logz.io zuzugreifen.

    • Versand-Token

      Wenden Sie sich an Logz.io, um das Versand-Token zu erhalten, das Sie benötigen, um die Datenlieferung an diesen Endpunkt von Firehose zu aktivieren.

    • Secret

      Wählen Sie ein Geheimnis aus AWS Secrets Manager , das das Versand-Token für Logz.io enthält. Wenn Sie Ihr Geheimnis nicht in der Drop-down-Liste sehen, erstellen Sie eines in. AWS Secrets Manager Weitere Informationen finden Sie unter Authentifizieren Sie sich mit AWS Secrets Manager in Amazon Data Firehose.

    Retry duration

    Geben Sie an, wie lange Amazon Data Firehose erneut versucht, Daten an Logz.io zu senden.

    Nach dem Senden von Daten wartet Amazon Data Firehose zunächst auf eine Bestätigung vom HTTP-Endpunkt. Wenn ein Fehler auftritt oder die Bestätigung nicht innerhalb des Zeitlimits für die Bestätigung eingeht, startet Amazon Data Firehose den Zähler für die Dauer der Wiederholungsversuche. Der Vorgang wird wiederholt, bis die Wiederholungsdauer abgelaufen ist. Danach betrachtet Amazon Data Firehose den Fehler bei der Datenübermittlung und sichert die Daten in Ihrem Amazon S3 S3-Bucket.

    Jedes Mal, wenn Amazon Data Firehose Daten an den HTTP-Endpunkt sendet (entweder beim ersten Versuch oder bei einem erneuten Versuch), wird der Timeout-Zähler für die Bestätigung neu gestartet und auf eine Bestätigung vom HTTP-Endpunkt gewartet.

    Selbst wenn die Dauer des Wiederholungsversuchs abläuft, wartet Amazon Data Firehose immer noch auf die Bestätigung, bis sie eingeht oder das Bestätigungs-Timeout erreicht ist. Wenn bei der Bestätigung eine Zeitüberschreitung eintritt, bestimmt Amazon Data Firehose, ob im Wiederholungszähler noch Zeit übrig ist. Ist noch Zeit übrig, führt es erneut eine Wiederholung durch und wiederholt die Logik, bis es eine Bestätigung erhält, oder feststellt, dass die Wiederholungszeitdauer abgelaufen ist.

    Wenn Sie nicht möchten, dass Amazon Data Firehose erneut versucht, Daten zu senden, setzen Sie diesen Wert auf 0.

    Parameter – optional

    Amazon Data Firehose schließt diese Schlüssel-Wert-Paare in jedem HTTP-Aufruf ein. Diese Parameter können Ihnen helfen Ihnen, Ihre Ziele zu identifizieren und zu organisieren.

    Hinweise zum Puffern

    Amazon Data Firehose puffert eingehende Daten, bevor sie an das angegebene Ziel gesendet werden. Die empfohlene Puffergröße für das Ziel ist von Dienstanbieter zu Dienstanbieter unterschiedlich.

Zieleinstellungen für MongoDB Cloud konfigurieren

In diesem Abschnitt werden Optionen für die Verwendung von MongoDB Cloud als Ziel beschrieben. Weitere Informationen finden Sie unter https://www.mongodb.com.

  • Geben Sie Werte für folgende Felder an:

    Webhook-URL für den MongoDB-Bereich

    Geben Sie die URL für den HTTP-Endpunkt im folgenden Format an.

     https://webhooks.mongodb-realm.com

    Die URL muss eine HTTPS URL sein.

    Authentifizierung

    Sie können entweder den API-Schlüssel direkt eingeben oder das Geheimnis abrufen, AWS Secrets Manager um auf MongoDB Cloud zuzugreifen.

    • API-Schlüssel

      Wenden Sie sich an MongoDB Cloud, um den API-Schlüssel zu erhalten, den Sie benötigen, um die Datenlieferung an diesen Endpunkt von Firehose zu aktivieren.

    • Secret

      Wählen Sie ein Geheimnis aus AWS Secrets Manager , das den API-Schlüssel für MongoDB Cloud enthält. Wenn Sie Ihr Geheimnis nicht in der Drop-down-Liste sehen, erstellen Sie eines in AWS Secrets Manager. Weitere Informationen finden Sie unter Authentifizieren Sie sich mit AWS Secrets Manager in Amazon Data Firehose.

    Inhaltskodierung

    Amazon Data Firehose verwendet Inhaltskodierung, um den Hauptteil einer Anfrage zu komprimieren, bevor sie an das Ziel gesendet wird. Wählen Sie GZIP oder Deaktiviert, um die Inhaltskodierung Ihrer Anfrage zu aktivieren/deaktivieren.

    Retry duration

    Geben Sie an, wie lange Amazon Data Firehose erneut versucht, Daten an den ausgewählten Drittanbieter zu senden.

    Nach dem Senden von Daten wartet Amazon Data Firehose zunächst auf eine Bestätigung vom HTTP-Endpunkt. Wenn ein Fehler auftritt oder die Bestätigung nicht innerhalb des Zeitlimits für die Bestätigung eingeht, startet Amazon Data Firehose den Zähler für die Dauer der Wiederholungsversuche. Der Vorgang wird wiederholt, bis die Wiederholungsdauer abgelaufen ist. Danach betrachtet Amazon Data Firehose den Fehler bei der Datenübermittlung und sichert die Daten in Ihrem Amazon S3 S3-Bucket.

    Jedes Mal, wenn Amazon Data Firehose Daten an den HTTP-Endpunkt sendet (entweder beim ersten Versuch oder bei einem erneuten Versuch), wird der Timeout-Zähler für die Bestätigung neu gestartet und auf eine Bestätigung vom HTTP-Endpunkt gewartet.

    Selbst wenn die Dauer des Wiederholungsversuchs abläuft, wartet Amazon Data Firehose immer noch auf die Bestätigung, bis sie eingeht oder das Bestätigungs-Timeout erreicht ist. Wenn bei der Bestätigung eine Zeitüberschreitung eintritt, bestimmt Amazon Data Firehose, ob im Wiederholungszähler noch Zeit übrig ist. Ist noch Zeit übrig, führt es erneut eine Wiederholung durch und wiederholt die Logik, bis es eine Bestätigung erhält, oder feststellt, dass die Wiederholungszeitdauer abgelaufen ist.

    Wenn Sie nicht möchten, dass Amazon Data Firehose erneut versucht, Daten zu senden, setzen Sie diesen Wert auf 0.

    Hinweise zum Puffern

    Amazon Data Firehose puffert eingehende Daten, bevor sie an das angegebene Ziel gesendet werden. Die empfohlene Puffergröße für das Ziel ist von Dienstanbieter zu Dienstanbieter unterschiedlich.

    Parameter – optional

    Amazon Data Firehose schließt diese Schlüssel-Wert-Paare in jedem HTTP-Aufruf ein. Diese Parameter können Ihnen helfen Ihnen, Ihre Ziele zu identifizieren und zu organisieren.

Konfigurieren Sie die Zieleinstellungen für New Relic

In diesem Abschnitt werden Optionen für die Verwendung von New Relic als Ziel beschrieben. Weitere Informationen finden Sie unter https://newrelic.com.

  • Geben Sie Werte für folgende Felder an:

    URL des HTTP-Endpunkts

    Wählen Sie die HTTP-Endpunkt-URL aus den folgenden Optionen in der Dropdownliste aus.

    • New-Relic-Protokolle – USA

    • New-Relic-Metriken – USA

    • New-Relic-Metriken – EU

    Authentifizierung

    Sie können entweder den API-Schlüssel direkt eingeben oder das Geheimnis von abrufen, AWS Secrets Manager um auf New Relic zuzugreifen.

    • API-Schlüssel

      Geben Sie Ihren Lizenzschlüssel, eine 40-stellige hexadezimale Zeichenfolge, in den Einstellungen Ihres New Relic One Accounts ein. Sie benötigen diesen API-Schlüssel, um die Datenlieferung von Firehose an diesen Endpunkt zu ermöglichen.

    • Secret

      Wählen Sie ein Geheimnis aus AWS Secrets Manager , das den API-Schlüssel für New Relic enthält. Wenn Sie Ihr Geheimnis nicht in der Drop-down-Liste sehen, erstellen Sie eines in AWS Secrets Manager. Weitere Informationen finden Sie unter Authentifizieren Sie sich mit AWS Secrets Manager in Amazon Data Firehose.

    Inhaltskodierung

    Amazon Data Firehose verwendet Inhaltskodierung, um den Hauptteil einer Anfrage zu komprimieren, bevor sie an das Ziel gesendet wird. Wählen Sie GZIP oder Deaktiviert, um die Inhaltskodierung Ihrer Anfrage zu aktivieren/deaktivieren.

    Retry duration

    Geben Sie an, wie lange Amazon Data Firehose erneut versucht, Daten an den New Relic HTTP-Endpunkt zu senden.

    Nach dem Senden von Daten wartet Amazon Data Firehose zunächst auf eine Bestätigung vom HTTP-Endpunkt. Wenn ein Fehler auftritt oder die Bestätigung nicht innerhalb des Zeitlimits für die Bestätigung eingeht, startet Amazon Data Firehose den Zähler für die Dauer der Wiederholungsversuche. Der Vorgang wird wiederholt, bis die Wiederholungsdauer abgelaufen ist. Danach betrachtet Amazon Data Firehose den Fehler bei der Datenübermittlung und sichert die Daten in Ihrem Amazon S3 S3-Bucket.

    Jedes Mal, wenn Amazon Data Firehose Daten an den HTTP-Endpunkt sendet (entweder beim ersten Versuch oder bei einem erneuten Versuch), wird der Timeout-Zähler für die Bestätigung neu gestartet und auf eine Bestätigung vom HTTP-Endpunkt gewartet.

    Selbst wenn die Dauer des Wiederholungsversuchs abläuft, wartet Amazon Data Firehose immer noch auf die Bestätigung, bis sie eingeht oder das Bestätigungs-Timeout erreicht ist. Wenn bei der Bestätigung eine Zeitüberschreitung eintritt, bestimmt Amazon Data Firehose, ob im Wiederholungszähler noch Zeit übrig ist. Ist noch Zeit übrig, führt es erneut eine Wiederholung durch und wiederholt die Logik, bis es eine Bestätigung erhält, oder feststellt, dass die Wiederholungszeitdauer abgelaufen ist.

    Wenn Sie nicht möchten, dass Amazon Data Firehose erneut versucht, Daten zu senden, setzen Sie diesen Wert auf 0.

    Parameter – optional

    Amazon Data Firehose schließt diese Schlüssel-Wert-Paare in jedem HTTP-Aufruf ein. Diese Parameter können Ihnen helfen Ihnen, Ihre Ziele zu identifizieren und zu organisieren.

    Hinweise zum Puffern

    Amazon Data Firehose puffert eingehende Daten, bevor sie an das angegebene Ziel gesendet werden. Die empfohlene Puffergröße für das Ziel ist von Dienstanbieter zu Dienstanbieter unterschiedlich.

Konfigurieren Sie die Zieleinstellungen für Snowflake

In diesem Abschnitt werden Optionen für die Verwendung von Snowflake für Ihr Ziel beschrieben.

Anmerkung

Die Firehose-Integration mit Snowflake ist in den Ländern USA Ost (Nord-Virginia), USA West (Oregon), Europa (Irland), USA Ost (Ohio), Asien-Pazifik (Tokio), Europa (Frankfurt), Asien-Pazifik (Singapur), Asien-Pazifik (Seoul) und Asien-Pazifik (Sydney) verfügbar. AWS-Regionen

Verbindungseinstellungen

  • Geben Sie Werte für folgende Felder an:

    URL des Snowflake-Kontos

    Geben Sie eine Snowflake-Konto-URL an. Zum Beispiel: xy12345.us-east-1.aws.snowflakecomputing.com. Informationen zum Ermitteln Ihrer Konto-URL finden Sie in der Snowflake-Dokumentation. Beachten Sie, dass Sie die Portnummer nicht angeben dürfen, wohingegen das Protokoll (https://) optional ist.

    Authentifizierung

    Sie können entweder den Benutzernamen, den privaten Schlüssel und die Passphrase manuell eingeben oder das Geheimnis für den Zugriff auf Snowflake abrufen. AWS Secrets Manager

    • Anmeldung des Benutzers

      Geben Sie den Snowflake-Benutzer an, der zum Laden von Daten verwendet werden soll. Stellen Sie sicher, dass der Benutzer Zugriff zum Einfügen von Daten in die Snowflake-Tabelle hat.

    • Privater Aktivierungsschlüssel

      Geben Sie den privaten Schlüssel des Benutzers an, der für die Authentifizierung bei Snowflake verwendet wird. Stellen Sie sicher, dass der private Schlüssel formatiert PKCS8 ist. Nehmen Sie keine PEM-Kopf- und Fußzeile als Teil dieses Schlüssels auf. Wenn der Schlüssel auf mehrere Zeilen aufgeteilt ist, entfernen Sie die Zeilenumbrüche.

    • Passphrase

      Geben Sie die Passphrase zum Entschlüsseln des verschlüsselten privaten Schlüssels an. Sie können dieses Feld leer lassen, wenn der private Schlüssel nicht verschlüsselt ist. Weitere Informationen finden Sie unter Verwenden von Schlüsselpaar-Authentifizierung und Schlüsselrotation.

    • Secret

      Wählen Sie ein Geheimnis aus AWS Secrets Manager , das die Anmeldeinformationen für Snowflake enthält. Wenn Sie Ihr Geheimnis nicht in der Drop-down-Liste sehen, erstellen Sie eines in. AWS Secrets Manager Weitere Informationen finden Sie unter Authentifizieren Sie sich mit AWS Secrets Manager in Amazon Data Firehose.

    Konfiguration der Rollen

    Standard-Snowflake-Rolle verwenden — Wenn diese Option ausgewählt ist, gibt Firehose keine Rolle an Snowflake weiter. Es wird davon ausgegangen, dass die Standardrolle Daten lädt. Bitte stellen Sie sicher, dass die Standardrolle berechtigt ist, Daten in die Snowflake-Tabelle einzufügen.

    Benutzerdefinierte Snowflake-Rolle verwenden — Geben Sie eine nicht standardmäßige Snowflake-Rolle ein, die Firehose beim Laden von Daten in die Snowflake-Tabelle übernehmen soll.

    Snowflake-Konnektivität

    Die Optionen sind „Privat“ oder „Öffentlich“.

    Private VPCE-ID (optional)

    Die VPCE-ID für Firehose, um sich privat mit Snowflake zu verbinden. Das ID-Format ist com.amazonaws.vpce. [Region] .vpce-svc- [ID]. Weitere Informationen finden Sie unter & Snowflake.AWS PrivateLink

    Anmerkung

    Stellen Sie sicher, dass Ihr Snowflake-Netzwerk den Zugriff auf Firehose zulässt. Eine Liste der VPCE-IDs, die Sie verwenden können, finden Sie in der. Zugriff auf Snowflake in VPC

Konfiguration der Datenbank

  • Sie müssen die folgenden Einstellungen angeben, um Snowflake als Ziel für Ihren Firehose-Stream zu verwenden.

    • Snowflake-Datenbank — Alle Daten in Snowflake werden in Datenbanken verwaltet.

    • Snowflake-Schema — Jede Datenbank besteht aus einem oder mehreren Schemas, bei denen es sich um logische Gruppierungen von Datenbankobjekten wie Tabellen und Ansichten handelt

    • Snowflake-Tabelle — Alle Daten in Snowflake werden in Datenbanktabellen gespeichert, die logisch als Sammlungen von Spalten und Zeilen strukturiert sind.

Optionen zum Laden von Daten für Ihre Snowflake-Tabelle

  • Verwenden Sie JSON-Schlüssel als Spaltennamen

  • Verwenden Sie VARIANT-Spalten

    • Name der Inhaltsspalte — Geben Sie einen Spaltennamen in der Tabelle an, in die die Rohdaten geladen werden müssen.

    • Name der Metadatenspalte (optional) — Geben Sie einen Spaltennamen in der Tabelle an, in die die Metadateninformationen geladen werden müssen.

Retry duration

Zeitdauer (0—7200 Sekunden), bis Firehose es erneut versucht, falls das Öffnen des Kanals oder die Zustellung an Snowflake aufgrund von Problemen mit dem Snowflake-Dienst fehlschlägt. Firehose wiederholt es mit exponentiellem Backoff, bis die Wiederholungsdauer endet. Wenn Sie die Wiederholungsdauer auf 0 (Null) Sekunden festlegen, versucht Firehose bei Snowflake-Fehlern nicht erneut und leitet Daten an den Amazon S3 S3-Fehler-Bucket weiter.

Konfigurieren Sie die Zieleinstellungen für Splunk

In diesem Abschnitt werden Optionen für die Verwendung von Splunk als Ziel beschrieben.

Anmerkung

Firehose liefert Daten an Splunk-Cluster, die mit Classic Load Balancer oder einem Application Load Balancer konfiguriert sind.

  • Geben Sie Werte für folgende Felder an:

    Splunk cluster-Endpunkt

    Informationen zur Bestimmung des Endpunkts finden Sie in der Splunk-Dokumentation unter Amazon Data Firehose zum Senden von Daten an die Splunk-Plattform konfigurieren.

    Splunk-Endpunkttypen

    Wählen Sie in den meisten Fällen Raw endpoint. Wählen Sie ausEvent endpoint, ob Sie Ihre Daten vorverarbeitet haben, um Daten je AWS Lambda nach Ereignistyp an verschiedene Indizes zu senden. Informationen darüber, welcher Endpunkt verwendet werden soll, finden Sie in der Splunk-Dokumentation unter Amazon Data Firehose für das Senden von Daten an die Splunk-Plattform konfigurieren.

    Authentifizierung

    Sie können entweder das Authentifizierungstoken direkt eingeben oder das Geheimnis für den Zugriff auf Splunk abrufen. AWS Secrets Manager

    HEC Bestätigungs-Timeout

    Geben Sie an, wie lange Amazon Data Firehose auf die Indexbestätigung von Splunk wartet. Wenn Splunk die Bestätigung nicht sendet, bevor das Timeout erreicht ist, betrachtet Amazon Data Firehose dies als Fehler bei der Datenzustellung. Amazon Data Firehose versucht dann entweder erneut, oder erstellt eine Sicherungskopie der Daten in Ihrem Amazon S3 S3-Bucket, je nachdem, welchen Wert Sie für die Wiederholungsdauer festgelegt haben.

    Retry duration

    Geben Sie an, wie lange Amazon Data Firehose erneut versucht, Daten an Splunk zu senden.

    Nach dem Senden von Daten wartet Amazon Data Firehose zunächst auf eine Bestätigung von Splunk. Wenn ein Fehler auftritt oder die Bestätigung nicht innerhalb des Zeitlimits für die Bestätigung eingeht, startet Amazon Data Firehose den Zähler für die Dauer der Wiederholungsversuche. Der Vorgang wird wiederholt, bis die Wiederholungsdauer abgelaufen ist. Danach betrachtet Amazon Data Firehose den Fehler bei der Datenübermittlung und sichert die Daten in Ihrem Amazon S3 S3-Bucket.

    Jedes Mal, wenn Amazon Data Firehose Daten an Splunk sendet (entweder beim ersten Versuch oder bei einem erneuten Versuch), wird der Timeout-Zähler für die Bestätigung neu gestartet und auf eine Bestätigung von Splunk gewartet.

    Selbst wenn die Dauer des Wiederholungsversuchs abläuft, wartet Amazon Data Firehose immer noch auf die Bestätigung, bis sie eingeht oder das Bestätigungs-Timeout erreicht ist. Wenn bei der Bestätigung eine Zeitüberschreitung eintritt, bestimmt Amazon Data Firehose, ob im Wiederholungszähler noch Zeit übrig ist. Ist noch Zeit übrig, führt es erneut eine Wiederholung durch und wiederholt die Logik, bis es eine Bestätigung erhält, oder feststellt, dass die Wiederholungszeitdauer abgelaufen ist.

    Wenn Sie nicht möchten, dass Amazon Data Firehose erneut versucht, Daten zu senden, setzen Sie diesen Wert auf 0.

    Hinweise zum Puffern

    Amazon Data Firehose puffert eingehende Daten, bevor sie an das angegebene Ziel gesendet werden. Die empfohlene Puffergröße für das Ziel variiert je nach Dienstanbieter.

Konfigurieren Sie die Zieleinstellungen für Splunk Observability Cloud

In diesem Abschnitt werden Optionen für die Verwendung von Splunk Observability Cloud als Ziel beschrieben. Weitere Informationen finden Sie unter https://docs.splunk.com/observability/en/gdi/ get-data-in /connect/aws/aws-apiconfig.html # connect-to-aws-using - -api. the-splunk-observability-cloud

  • Geben Sie Werte für folgende Felder an:

    URL des Cloud-Ingest-Endpunkts

    Sie finden die URL für die Echtzeit-Datenaufnahme Ihrer Splunk Observability Cloud in der Splunk-Observability-Konsole unter Profil > Organisationen > Endpunkt zur Echtzeit-Datenerfassung.

    Authentifizierung

    Sie können entweder das Zugriffstoken direkt eingeben oder das Geheimnis für den AWS Secrets Manager Zugriff auf Splunk Observability Cloud abrufen.

    • Zugriffstoken

      Kopieren Sie Ihr Splunk Observability-Zugriffstoken mit dem INGEST-Autorisierungsbereich von Access Tokens unter Einstellungen in der Splunk Observability-Konsole.

    • Secret

      Wählen Sie ein Geheimnis aus, das das Zugriffstoken für AWS Secrets Manager Splunk Observability Cloud enthält. Wenn Sie Ihr Geheimnis nicht in der Drop-down-Liste sehen, erstellen Sie eines in. AWS Secrets Manager Weitere Informationen finden Sie unter Authentifizieren Sie sich mit AWS Secrets Manager in Amazon Data Firehose.

    Inhaltskodierung

    Amazon Data Firehose verwendet Inhaltskodierung, um den Hauptteil einer Anfrage zu komprimieren, bevor sie an das Ziel gesendet wird. Wählen Sie GZIP oder Deaktiviert, um die Inhaltskodierung Ihrer Anfrage zu aktivieren/deaktivieren.

    Retry duration

    Geben Sie an, wie lange Amazon Data Firehose erneut versucht, Daten an den ausgewählten HTTP-Endpunkt zu senden.

    Nach dem Senden von Daten wartet Amazon Data Firehose zunächst auf eine Bestätigung vom HTTP-Endpunkt. Wenn ein Fehler auftritt oder die Bestätigung nicht innerhalb des Zeitlimits für die Bestätigung eingeht, startet Amazon Data Firehose den Zähler für die Dauer der Wiederholungsversuche. Der Vorgang wird wiederholt, bis die Wiederholungsdauer abgelaufen ist. Danach betrachtet Amazon Data Firehose den Fehler bei der Datenübermittlung und sichert die Daten in Ihrem Amazon S3 S3-Bucket.

    Jedes Mal, wenn Amazon Data Firehose Daten an den HTTP-Endpunkt sendet (entweder beim ersten Versuch oder bei einem erneuten Versuch), wird der Timeout-Zähler für die Bestätigung neu gestartet und auf eine Bestätigung vom HTTP-Endpunkt gewartet.

    Selbst wenn die Dauer des Wiederholungsversuchs abläuft, wartet Amazon Data Firehose immer noch auf die Bestätigung, bis sie eingeht oder das Bestätigungs-Timeout erreicht ist. Wenn bei der Bestätigung eine Zeitüberschreitung eintritt, bestimmt Amazon Data Firehose, ob im Wiederholungszähler noch Zeit übrig ist. Ist noch Zeit übrig, führt es erneut eine Wiederholung durch und wiederholt die Logik, bis es eine Bestätigung erhält, oder feststellt, dass die Wiederholungszeitdauer abgelaufen ist.

    Wenn Sie nicht möchten, dass Amazon Data Firehose erneut versucht, Daten zu senden, setzen Sie diesen Wert auf 0.

    Parameter – optional

    Amazon Data Firehose schließt diese Schlüssel-Wert-Paare in jedem HTTP-Aufruf ein. Diese Parameter können Ihnen helfen Ihnen, Ihre Ziele zu identifizieren und zu organisieren.

    Hinweise zum Puffern

    Amazon Data Firehose puffert eingehende Daten, bevor sie an das angegebene Ziel gesendet werden. Die empfohlene Puffergröße für das Ziel ist von Dienstanbieter zu Dienstanbieter unterschiedlich.

Konfigurieren Sie die Zieleinstellungen für Sumo Logic

In diesem Abschnitt werden Optionen für die Verwendung von Sumo Logic als Ziel beschrieben. Weitere Informationen finden Sie unter https://www.sumologic.com.

  • Geben Sie Werte für folgende Felder an:

    URL des HTTP-Endpunkts

    Geben Sie die URL für den HTTP-Endpunkt im folgenden Format an: https://deployment name.sumologic.net/receiver/v1/kinesis/dataType/access token. Die URL muss eine HTTPS-URL sein.

    Inhaltskodierung

    Amazon Data Firehose verwendet Inhaltskodierung, um den Hauptteil einer Anfrage zu komprimieren, bevor sie an das Ziel gesendet wird. Wählen Sie GZIP oder Deaktiviert, um die Inhaltskodierung Ihrer Anfrage zu aktivieren/deaktivieren.

    Retry duration

    Geben Sie an, wie lange Amazon Data Firehose erneut versucht, Daten an Sumo Logic zu senden.

    Nach dem Senden von Daten wartet Amazon Data Firehose zunächst auf eine Bestätigung vom HTTP-Endpunkt. Wenn ein Fehler auftritt oder die Bestätigung nicht innerhalb des Zeitlimits für die Bestätigung eingeht, startet Amazon Data Firehose den Zähler für die Dauer der Wiederholungsversuche. Der Vorgang wird wiederholt, bis die Wiederholungsdauer abgelaufen ist. Danach betrachtet Amazon Data Firehose den Fehler bei der Datenübermittlung und sichert die Daten in Ihrem Amazon S3 S3-Bucket.

    Jedes Mal, wenn Amazon Data Firehose Daten an den HTTP-Endpunkt sendet (entweder beim ersten Versuch oder bei einem erneuten Versuch), wird der Timeout-Zähler für die Bestätigung neu gestartet und auf eine Bestätigung vom HTTP-Endpunkt gewartet.

    Selbst wenn die Dauer des Wiederholungsversuchs abläuft, wartet Amazon Data Firehose immer noch auf die Bestätigung, bis sie eingeht oder das Bestätigungs-Timeout erreicht ist. Wenn bei der Bestätigung eine Zeitüberschreitung eintritt, bestimmt Amazon Data Firehose, ob im Wiederholungszähler noch Zeit übrig ist. Ist noch Zeit übrig, führt es erneut eine Wiederholung durch und wiederholt die Logik, bis es eine Bestätigung erhält, oder feststellt, dass die Wiederholungszeitdauer abgelaufen ist.

    Wenn Sie nicht möchten, dass Amazon Data Firehose erneut versucht, Daten zu senden, setzen Sie diesen Wert auf 0.

    Parameter – optional

    Amazon Data Firehose schließt diese Schlüssel-Wert-Paare in jedem HTTP-Aufruf ein. Diese Parameter können Ihnen helfen Ihnen, Ihre Ziele zu identifizieren und zu organisieren.

    Hinweise zum Puffern

    Amazon Data Firehose puffert eingehende Daten, bevor sie an das angegebene Ziel gesendet werden. Die empfohlene Puffergröße für das Elastic-Ziel ist von Dienstanbieter zu Dienstanbieter unterschiedlich.

Konfigurieren Sie die Zieleinstellungen für Elastic

In diesem Abschnitt werden Optionen für die Verwendung von Elastic als Ziel beschrieben.

  • Geben Sie Werte für folgende Felder an:

    Elastic Endpunkt-URL

    Geben Sie die URL für den HTTP-Endpunkt im folgenden Format an: https://<cluster-id>.es.<region>.aws.elastic-cloud.com. Die URL muss eine HTTPS-URL sein.

    Authentifizierung

    Sie können entweder den API-Schlüssel direkt eingeben oder den geheimen Schlüssel für den AWS Secrets Manager Zugriff auf Elastic abrufen.

    • API-Schlüssel

      Wenden Sie sich an Elastic, um von Firehose den API-Schlüssel zu erhalten, den Sie benötigen, um die Datenlieferung an ihren Service zu aktivieren.

    • Secret

      Wählen Sie ein Geheimnis aus AWS Secrets Manager , das den API-Schlüssel für Elastic enthält. Wenn Sie Ihr Geheimnis nicht in der Drop-down-Liste sehen, erstellen Sie eines in AWS Secrets Manager. Weitere Informationen finden Sie unter Authentifizieren Sie sich mit AWS Secrets Manager in Amazon Data Firehose.

    Inhaltskodierung

    Amazon Data Firehose verwendet Inhaltskodierung, um den Hauptteil einer Anfrage zu komprimieren, bevor sie an das Ziel gesendet wird. Wählen Sie GZIP (was standard mäßig ausgewählt ist) oder Deaktiviert, um die Inhaltskodierung Ihrer Anfrage zu aktivieren/deaktivieren.

    Retry duration

    Geben Sie an, wie lange Amazon Data Firehose erneut versucht, Daten an Elastic zu senden.

    Nach dem Senden von Daten wartet Amazon Data Firehose zunächst auf eine Bestätigung vom HTTP-Endpunkt. Wenn ein Fehler auftritt oder die Bestätigung nicht innerhalb des Zeitlimits für die Bestätigung eingeht, startet Amazon Data Firehose den Zähler für die Dauer der Wiederholungsversuche. Der Vorgang wird wiederholt, bis die Wiederholungsdauer abgelaufen ist. Danach betrachtet Amazon Data Firehose den Fehler bei der Datenübermittlung und sichert die Daten in Ihrem Amazon S3 S3-Bucket.

    Jedes Mal, wenn Amazon Data Firehose Daten an den HTTP-Endpunkt sendet (entweder beim ersten Versuch oder bei einem erneuten Versuch), wird der Timeout-Zähler für die Bestätigung neu gestartet und auf eine Bestätigung vom HTTP-Endpunkt gewartet.

    Selbst wenn die Dauer des Wiederholungsversuchs abläuft, wartet Amazon Data Firehose immer noch auf die Bestätigung, bis sie eingeht oder das Bestätigungs-Timeout erreicht ist. Wenn bei der Bestätigung eine Zeitüberschreitung eintritt, bestimmt Amazon Data Firehose, ob im Wiederholungszähler noch Zeit übrig ist. Ist noch Zeit übrig, führt es erneut eine Wiederholung durch und wiederholt die Logik, bis es eine Bestätigung erhält, oder feststellt, dass die Wiederholungszeitdauer abgelaufen ist.

    Wenn Sie nicht möchten, dass Amazon Data Firehose erneut versucht, Daten zu senden, setzen Sie diesen Wert auf 0.

    Parameter – optional

    Amazon Data Firehose schließt diese Schlüssel-Wert-Paare in jedem HTTP-Aufruf ein. Diese Parameter können Ihnen helfen Ihnen, Ihre Ziele zu identifizieren und zu organisieren.

    Hinweise zum Puffern

    Amazon Data Firehose puffert eingehende Daten, bevor sie an das angegebene Ziel gesendet werden. Die empfohlene Puffergröße für das Elastic-Ziel beträgt 1 MiB.