Backup und erweiterte Einstellungen

In diesem Thema wird beschrieben, wie Sie das Backup und die erweiterten Einstellungen für Ihren Firehose-Stream konfigurieren.

Backup-Einstellungen

Amazon Data Firehose verwendet Amazon S3, um alle oder nur fehlgeschlagene Daten zu sichern, die versucht werden, an das von Ihnen gewählte Ziel zu liefern.

Wichtig

Backup-Einstellungen werden nur unterstützt, wenn die Quelle für Ihren Firehose-Stream Direct PUT oder Kinesis Data Streams ist.

Sie können die S3-Backup-Einstellungen für Ihren Firehose-Stream angeben, wenn Sie eine der folgenden Optionen getroffen haben:

• Wenn Sie Amazon S3 als Ziel für Ihren Amazon Data Firehose Firehose-Stream festlegen und eine AWS Lambda-Funktion zur Transformation von Datensätzen angeben oder wenn Sie Datensatzformate für Ihren Lieferstream konvertieren möchten.

• Wenn Sie Amazon Redshift als Ziel für Ihren Amazon Data Firehose Firehose-Stream festlegen und eine AWS Lambda-Funktion zur Transformation von Datensätzen angeben.

• Wenn Sie einen der folgenden Dienste als Ziel für Ihren Firehose Firehose-Stream festlegen: Amazon OpenSearch Service, Datadog, Dynatrace, HTTP Endpoint,, MongoDB Cloud, New Relic LogicMonitor, Splunk oder Sumo Logic.

Im Folgenden sind die Backup-Einstellungen für Ihren Amazon Data Firehose-Lieferstream aufgeführt:

• Sicherung von Quelldatensätzen in Amazon S3 – wenn S3 oder Amazon Redshift Ihr ausgewähltes Ziel ist, gibt diese Einstellung an, ob Sie die Quelldatensicherung aktivieren oder deaktivieren möchten. Wenn ein anderer unterstützter Service (außer S3 oder Amazon Redshift) als Ihr ausgewähltes Ziel festgelegt ist, gibt diese Einstellung an, ob Sie alle Ihre Quelldaten oder nur fehlerhafte Daten sichern möchten.

• S3-Backup-Bucket — das ist der S3-Bucket, in dem Amazon Data Firehose Ihre Daten sichert.

• S3-Backup-Bucket-Präfix — Dies ist das Präfix, mit dem Amazon Data Firehose Ihre Daten sichert.

• Ausgabepräfix für Fehler im S3-Backup-Bucket – alle fehlgeschlagenen Daten werden in diesem S3-Bucket-Fehlerausgabepräfix gesichert.

• Pufferhinweise, Komprimierung und Verschlüsselung für Backups — Amazon Data Firehose verwendet Amazon S3, um alle oder nur fehlgeschlagene Daten zu sichern, die versucht werden, an das von Ihnen gewählte Ziel zu liefern. Amazon Data Firehose puffert eingehende Daten, bevor sie an Amazon S3 übermittelt (gesichert) werden. Sie können eine Puffergröße von 1—128 MiBs und ein Pufferintervall von 60—900 Sekunden wählen. Die Bedingung, die erfüllt ist, löst eine erste Datenübermittlung an Amazon S3 aus. Wenn Sie die Datentransformation aktivieren, gilt das Pufferintervall vom Empfang der transformierten Daten bei Amazon Data Firehose bis zur Datenlieferung an Amazon S3. Wenn die Datenlieferung an das Ziel hinter dem Schreiben von Daten in den Firehose-Stream zurückbleibt, erhöht Amazon Data Firehose die Puffergröße dynamisch, um catch. Diese Aktion stellt sicher, dass alle Daten ans Ziel übermittelt werden.

• S3-Komprimierung — wählen Sie GZIP-, Snappy-, Zip- oder Hadoop-kompatible Snappy-Datenkomprimierung oder keine Datenkomprimierung. Snappy-, Zip- und Hadoop-kompatible Snappy-Komprimierung ist für Bereitstellungsdatenstrom mit Amazon Redshift als Ziel nicht verfügbar.

• S3-Dateierweiterungsformat (optional) — Geben Sie ein Dateierweiterungsformat für Objekte an, die an den Amazon S3 S3-Ziel-Bucket geliefert werden. Wenn Sie diese Funktion aktivieren, überschreibt die angegebene Dateierweiterung die Standarddateierweiterungen, die durch Funktionen zur Datenformatkonvertierung oder S3-Komprimierung wie .parquet oder .gz hinzugefügt wurden. Vergewissern Sie sich, dass Sie die richtige Dateierweiterung konfiguriert haben, wenn Sie diese Funktion mit Datenformatkonvertierung oder S3-Komprimierung verwenden. Die Dateierweiterung muss mit einem Punkt (.) beginnen und kann die zulässigen Zeichen enthalten: 0-9a-z! -_.*' (). Die Dateierweiterung darf 128 Zeichen nicht überschreiten.

• Firehose unterstützt die serverseitige Amazon S3-Verschlüsselung mit AWS Key Management Service (SSE-KMS) zur Verschlüsselung von gelieferten Daten in Amazon S3. Sie können wählen, ob Sie den im Ziel-S3-Bucket angegebenen Standardverschlüsselungstyp verwenden oder mit einem Schlüssel aus der Liste der Schlüssel verschlüsseln möchten, die Sie besitzen. AWS KMS Wenn Sie die Daten mit AWS KMS Schlüsseln verschlüsseln, können Sie entweder den AWS verwalteten Standardschlüssel (aws/s3) oder einen vom Kunden verwalteten Schlüssel verwenden. Weitere Informationen finden Sie unter Schutz von Daten mithilfe serverseitiger Verschlüsselung mit AWS KMS-verwalteten Schlüsseln (SSE-KMS).

Erweiterte Einstellungen

Im Folgenden sind die erweiterten Einstellungen für Ihren Amazon Data Firehose-Lieferstream aufgeführt:

• Serverseitige Verschlüsselung — Amazon Data Firehose unterstützt die serverseitige Amazon S3-Verschlüsselung mit AWS Key Management Service (AWS KMS) zur Verschlüsselung der in Amazon S3 übermittelten Daten. Weitere Informationen finden Sie unter Schutz von Daten mithilfe serverseitiger Verschlüsselung mit AWS KMS-verwalteten Schlüsseln (SSE-KMS).

• Fehlerprotokollierung — Amazon Data Firehose protokolliert Fehler im Zusammenhang mit der Verarbeitung und Lieferung. Wenn die Datentransformation aktiviert ist, kann sie außerdem Lambda-Aufrufe protokollieren und Fehler bei der Datenübermittlung an Logs senden. CloudWatch Weitere Informationen finden Sie unter Amazon Data Firehose mithilfe von CloudWatch Protokollen überwachen.

  Wichtig

  Obwohl optional, wird dringend empfohlen, die Amazon Data Firehose-Fehlerprotokollierung während Firehose Firehose-Stream-Erstellung zu aktivieren. Diese Vorgehensweise stellt sicher, dass Sie im Falle von Fehlern bei der Verarbeitung oder Übermittlung von Datensätzen auf Fehlerdetails zugreifen können.

• Berechtigungen — Amazon Data Firehose verwendet IAM-Rollen für alle Berechtigungen, die der Firehose-Stream benötigt. Sie können wählen, ob Sie eine neue Rolle erstellen, bei der die erforderlichen Berechtigungen automatisch zugewiesen werden, oder eine bestehende Rolle wählen, die für Amazon Data Firehose erstellt wurde. Die Rolle wird verwendet, um Firehose Zugriff auf verschiedene Dienste zu gewähren, darunter Ihren S3-Bucket, Ihren AWS KMS-Schlüssel (wenn die Datenverschlüsselung aktiviert ist) und die Lambda-Funktion (wenn die Datentransformation aktiviert ist). Die Konsole erstellt möglicherweise eine Rolle mit Platzhaltern. Weitere Informationen finden Sie unter Was ist IAM?.

• Tags — Sie können Tags hinzufügen, um Ihre AWS Ressourcen zu organisieren, Kosten zu verfolgen und den Zugriff zu kontrollieren.

  Wenn Sie in der CreateDeliveryStream Aktion Tags angeben, führt Amazon Data Firehose eine zusätzliche Autorisierung für die firehose:TagDeliveryStream Aktion durch, um zu überprüfen, ob Benutzer berechtigt sind, Tags zu erstellen. Wenn Sie diese Berechtigung nicht erteilen, schlagen Anfragen zum Erstellen neuer Firehose-Lieferdatenströme mit IAM-Ressourcen-Tags fehl, und zwar mit einem AccessDeniedException solchen Fehler wie dem Folgenden.

  AccessDeniedException 
  User: arn:aws:sts::x:assumed-role/x/x is not authorized to perform: firehose:TagDeliveryStream on resource: arn:aws:firehose:us-east-1:x:deliverystream/x with an explicit deny in an identity-based policy.

  Das folgende Beispiel zeigt eine Richtlinie, die es Benutzern ermöglicht, einen Lieferstream zu erstellen und Tags anzuwenden.

  {
      "Version": "2012-10-17",
      "Statement": [
          {
              "Effect": "Allow",
              "Action": "firehose:CreateDeliveryStream",
              "Resource": "*",
              }
          },
          {
              "Effect": "Allow",
              "Action": "firehose:TagDeliveryStream",
              "Resource": "*",
              }
          }
      ]
  }

Nachdem Sie Ihr Backup und Ihre erweiterten Einstellungen ausgewählt haben, überprüfen Sie Ihre Auswahl und wählen Sie dann Firehose-Stream erstellen.

Der neue Firehose-Stream benötigt im Status Creating einen Moment, bis er verfügbar ist. Sobald sich Ihr Firehose-Stream im Status Aktiv befindet, können Sie damit beginnen, Daten von Ihrem Producer an ihn zu senden.