Eine EventBridge Amazon-Pipe erstellen

EventBridge Pipes ermöglicht Ihnen, point-to-point Integrationen zwischen Quellen und Zielen zu erstellen, einschließlich erweiterter Event-Transformationen und Anreicherungen. Um eine EventBridge Pipe zu erstellen, führen Sie die folgenden Schritte aus:

1. Angeben einer Quelle

2. Konfigurieren der Ereignisfilterung (optional)

3. Definieren der Ereignisanreicherung (optional)

4. Konfigurieren eines Ziels

5. Konfigurieren der Pipe-Einstellungen

Informationen zum Erstellen einer Pipe mit dem AWS CLI finden Sie unter create-pipe in der AWS CLIBefehlsreferenz.

Angeben einer Quelle

Geben Sie zunächst die Quelle an, von der die Pipe Ereignisse empfangen soll.

So geben Sie eine Pipe-Quelle mithilfe der Konsole an

1. Öffnen Sie die EventBridge Amazon-Konsole unter https://console.aws.amazon.com/events/.

2. Wählen Sie im Navigationsbereich die Option Pipes aus.

3. Wählen Sie Pipe erstellen aus.

4. Geben Sie einen Namen für die Pipe ein.

5. (Optional) Geben Sie eine Beschreibung für die Pipe ein.

6. Wählen Sie auf der Registerkarte Pipe erstellen unter Quelle den Quellentyp aus, den Sie für diese Pipe angeben möchten, und konfigurieren Sie die Quelle.

   Konfigurationseigenschaften unterscheiden sich je nach ausgewähltem Quellentyp:

   Confluent

   Um mithilfe der Konsole einen Confluent Cloud-Stream als Quelle zu konfigurieren

   1. Wählen Sie als Quelle Confluent Cloud aus.

   2. Geben Sie für Bootstrap-Server die host:port-Paaradressen Ihrer Broker ein.

   3. Geben Sie für Themenname den Namen des Themas ein, aus dem die Pipe lesen wird.

   4. (Optional) Wählen Sie für VPC das VPC, was Sie möchten. Wählen Sie dann für VPCSubnetze die gewünschten Subnetze aus. Wählen Sie für VPCSicherheitsgruppen die Sicherheitsgruppen aus.

   5. Aktivieren Sie für Authentifizierung — optional die Option Authentifizierung verwenden und gehen Sie wie folgt vor:

      1. Wählen Sie für Authentifizierungsmethode den Authentifizierungstyp aus.

      2. Wählen Sie für Geheimschlüssel den Geheimschlüssel aus.

      Weitere Informationen finden Sie unter Authenticate to Confluent Cloud-Ressourcen in der Confluent-Dokumentation.

   6. (Optional) Gehen Sie unter Weitere Einstellungen – optional wie folgt vor:

      1. Wählen Sie für Startposition eine der folgenden Optionen:

         • Neueste – Starten Sie das Lesen des Streams mit dem neuesten Datensatz im Shard.

         • Horizont trimmen – Starten Sie das Lesen des Streams mit dem letzten nicht getrimmten Datensatz im Shard. Dies ist der älteste Datensatz im Shard.

      2. Geben Sie für Stapelgröße – optional eine maximale Anzahl von Datensätzen für jeden Stapel ein. Der Standardwert lautet 100.

      3. Geben Sie für Stapelfenster – optional eine maximale Anzahl von Sekunden für das Sammeln von Datensätzen ein, bevor Sie fortfahren.

   DynamoDB

   1. Wählen Sie für Quelle DynamoDB aus.

   2. Wählen Sie für DynamoDB-Stream den Stream aus, den Sie als Quelle verwenden möchten.

   3. Wählen Sie für Startposition eine der folgenden Optionen:

      • Neueste – Starten Sie das Lesen des Streams mit dem neuesten Datensatz im Shard.

      • Horizont trimmen – Starten Sie das Lesen des Streams mit dem letzten nicht getrimmten Datensatz im Shard. Dies ist der älteste Datensatz im Shard.

   4. (Optional) Gehen Sie unter Weitere Einstellungen – optional wie folgt vor:

      1. Geben Sie für Stapelgröße – optional eine maximale Anzahl von Datensätzen für jeden Stapel ein. Der Standardwert lautet 100.

      2. Geben Sie für Stapelfenster – optional eine maximale Anzahl von Sekunden für das Sammeln von Datensätzen ein, bevor Sie fortfahren.

      3. Geben Sie für Gleichzeitige Stapel pro Shard – optional die Anzahl der Stapel aus demselben Shard ein, die gleichzeitig gelesen werden können.

      4. Wählen Sie für Bei teilweisem Stapelelementfehler Folgendes aus:

         • AUTOMATIC_ BISECT — Halbiere jeden Stapel und versuche es in jeder Hälfte erneut, bis alle Datensätze verarbeitet sind oder der Stapel nur noch eine fehlgeschlagene Nachricht enthält.

         Anmerkung

         Wenn Sie AUTOMATIC_ nicht wählenBISECT, können Sie bestimmte fehlgeschlagene Datensätze zurückgeben und nur diese werden erneut versucht.

   Kinesis

   So konfigurieren Sie eine Kinesis-Quelle mithilfe der Konsole

   1. Wählen Sie für Quelle Kinesis aus.

   2. Wählen Sie für Kinesis-Stream den Stream aus, den Sie als Quelle verwenden möchten.

   3. Wählen Sie für Startposition eine der folgenden Optionen:

      • Neueste – Starten Sie das Lesen des Streams mit dem neuesten Datensatz im Shard.

      • Horizont trimmen – Starten Sie das Lesen des Streams mit dem letzten nicht getrimmten Datensatz im Shard. Dies ist der älteste Datensatz im Shard.

      • Am Zeitstempel – Starten Sie ab einem bestimmten Zeitpunkt mit dem Lesen des Streams. Geben Sie unter Zeitstempel ein Datum und eine Uhrzeit im Format YYYY /MM/DD und hh:mm:ss ein.

   4. (Optional) Gehen Sie unter Weitere Einstellungen – optional wie folgt vor:

      1. Geben Sie für Stapelgröße – optional eine maximale Anzahl von Datensätzen für jeden Stapel ein. Der Standardwert lautet 100.

      2. (Optional) Geben Sie für Stapelfenster – optional eine maximale Anzahl von Sekunden für das Sammeln von Datensätzen ein, bevor fortgefahren wird.

      3. Geben Sie für Gleichzeitige Stapel pro Shard – optional die Anzahl der Stapel aus demselben Shard ein, die gleichzeitig gelesen werden können.

      4. Wählen Sie für Bei teilweisem Stapelelementfehler Folgendes aus:

         • AUTOMATIC_ BISECT — Halbiere jeden Stapel und versuche es in jeder Hälfte erneut, bis alle Datensätze verarbeitet sind oder der Stapel nur noch eine Meldung mit einem Fehler enthält.

         Anmerkung

         Wenn Sie AUTOMATIC_ nicht wählenBISECT, können Sie bestimmte fehlgeschlagene Datensätze zurückgeben und nur diese werden erneut versucht.

   Amazon MQ

   So konfigurieren Sie eine Amazon-MQ-Quelle mithilfe der Konsole

   1. Wählen Sie für Quelle Amazon MQ aus.

   2. Wählen Sie für Amazon-MQ-Broker den Stream aus, den Sie als Quelle verwenden möchten.

   3. Geben Sie für Warteschlangenname den Namen der Warteschlange ein, aus der die Pipe lesen wird.

   4. Wählen Sie als Authentifizierungsmethode die Option BASIC_ AUTH aus.

   5. Wählen Sie für Geheimschlüssel den Geheimschlüssel aus.

   6. (Optional) Gehen Sie unter Weitere Einstellungen – optional wie folgt vor:

      1. Geben Sie für Stapelgröße – optional eine maximale Anzahl von Nachrichten für jeden Stapel ein. Der Standardwert lautet 100.

      2. Geben Sie für Stapelfenster – optional eine maximale Anzahl von Sekunden für das Sammeln von Datensätzen ein, bevor Sie fortfahren.

   Amazon MSK

   So konfigurieren Sie eine MSK Amazon-Quelle mithilfe der Konsole

   1. Wählen Sie als Quelle Amazon ausMSK.

   2. Wählen Sie für MSKAmazon-Cluster den Cluster aus, den Sie verwenden möchten.

   3. Geben Sie für Themenname den Namen des Themas ein, aus dem die Pipe lesen wird.

   4. (Optional) Geben Sie für Konsumentengruppen-ID – optional die ID der Konsumentengruppe ein, der die Pipe beitreten soll.

   5. (Optional) Aktivieren Sie für Authentifizierung – optional die Option Authentifizierung verwenden und gehen Sie wie folgt vor:

      1. Wählen Sie für Authentifizierungsmethode den gewünschten Typ aus.

      2. Wählen Sie für Geheimschlüssel den Geheimschlüssel aus.

   6. (Optional) Gehen Sie unter Weitere Einstellungen – optional wie folgt vor:

      1. Geben Sie für Stapelgröße – optional eine maximale Anzahl von Datensätzen für jeden Stapel ein. Der Standardwert lautet 100.

      2. Geben Sie für Stapelfenster – optional eine maximale Anzahl von Sekunden für das Sammeln von Datensätzen ein, bevor Sie fortfahren.

      3. Wählen Sie für Startposition eine der folgenden Optionen:

         • Neueste – Starten Sie das Lesen des Themas mit dem neuesten Datensatz im Shard.

         • Horizont trimmen – Starten Sie das Lesen des Themas mit dem letzten nicht getrimmten Datensatz im Shard. Dies ist der älteste Datensatz im Shard.

           Anmerkung

           Horizont trimmen ist dasselbe wie Frühestens für Apache Kafka.

   Self managed Apache Kafka

   So konfigurieren Sie eine selbstverwaltete Apache-Kafka-Quelle mithilfe der Konsole

   1. Wählen Sie für Quelle Selbstverwaltetes Apache Kafka aus.

   2. Geben Sie für Bootstrap-Server die host:port-Paaradressen Ihrer Broker ein.

   3. Geben Sie für Themenname den Namen des Themas ein, aus dem die Pipe lesen wird.

   4. (Optional) Wählen Sie für VPCVPCden gewünschten aus. Wählen Sie dann für VPCSubnetze die gewünschten Subnetze aus. Wählen Sie für VPCSicherheitsgruppen die Sicherheitsgruppen aus.

   5. (Optional) Aktivieren Sie für Authentifizierung – optional die Option Authentifizierung verwenden und gehen Sie wie folgt vor:

      1. Wählen Sie für Authentifizierungsmethode den Authentifizierungstyp aus.

      2. Wählen Sie für Geheimschlüssel den Geheimschlüssel aus.

   6. (Optional) Gehen Sie unter Weitere Einstellungen – optional wie folgt vor:

      1. Wählen Sie für Startposition eine der folgenden Optionen:

         • Neueste – Starten Sie das Lesen des Streams mit dem neuesten Datensatz im Shard.

         • Horizont trimmen – Starten Sie das Lesen des Streams mit dem letzten nicht getrimmten Datensatz im Shard. Dies ist der älteste Datensatz im Shard.

      2. Geben Sie für Stapelgröße – optional eine maximale Anzahl von Datensätzen für jeden Stapel ein. Der Standardwert lautet 100.

      3. Geben Sie für Stapelfenster – optional eine maximale Anzahl von Sekunden für das Sammeln von Datensätzen ein, bevor Sie fortfahren.

   Amazon SQS

   So konfigurieren Sie eine SQS Amazon-Quelle mithilfe der Konsole

   1. Wählen Sie für Source (Quelle) SQS aus.

   2. Wählen Sie SQSunter Warteschlange die Warteschlange aus, die Sie verwenden möchten.

   3. (Optional) Gehen Sie unter Weitere Einstellungen – optional wie folgt vor:

      1. Geben Sie für Stapelgröße – optional eine maximale Anzahl von Datensätzen für jeden Stapel ein. Der Standardwert lautet 100.

      2. Geben Sie für Stapelfenster – optional eine maximale Anzahl von Sekunden für das Sammeln von Datensätzen ein, bevor Sie fortfahren.

Konfigurieren der Ereignisfilterung (optional)

Sie können Ihrer Pipe Filter hinzufügen, sodass Sie nur eine Teilmenge der Ereignisse von Ihrer Quelle zum Ziel senden.

So konfigurieren Sie die Filterung mithilfe der Konsole

1. Wählen Sie Filtern aus.

2. Sie finden unter Beispielereignis – optional ein Beispielereignis, mit dem Sie Ihr Ereignismuster erstellen können, oder Sie können Ihr eigenes Ereignis eingeben, indem Sie Eigenes eingeben wählen.

3. Geben Sie unter Ereignismuster das Ereignismuster ein, das Sie zum Filtern der Ereignisse verwenden möchten. Weitere Informationen zum Erstellen von Filtern finden Sie unterFilterung von Ereignissen in Amazon EventBridge Pipes.

   Im Folgenden finden Sie ein Beispiel für ein Ereignismuster, bei dem nur Ereignisse mit dem Wert Seattle im Feld Stadt gesendet werden.

   {
     "data": {
       "City": ["Seattle"]
     }
   }

Jetzt, da die Ereignisse gefiltert werden, können Sie eine optionale Anreicherung und ein Ziel für die Pipe hinzufügen.

Definieren der Ereignisanreicherung (optional)

Sie können die Ereignisdaten zur Anreicherung an eine Lambda-Funktion, eine AWS Step Functions Zustandsmaschine, ein Amazon API Gateway oder API ein Ziel senden.

So wählen Sie die Anreicherung aus

1. Wählen Sie Anreicherung aus.

2. Wählen Sie unter Details für Service den Service und die zugehörigen Einstellungen aus, die Sie für die Anreicherung verwenden möchten.

Sie können die Daten auch transformieren, bevor Sie sie zur Optimierung senden.

(Optional) So definieren Sie den Eingabe-Transformator

1. Wählen Sie Eingabe-Transformator für die Anreicherung – optional.

2. Wählen Sie für Beispielereignisse/Ereignisnutzlast den Typ des Beispielereignisses aus.

3. Geben Sie für Transformator die Transformator-Syntax ein, z. B. "Event happened at <$.detail.field>.", wobei <$.detail.field> ein Verweis auf ein Feld aus dem Beispielereignis ist. Sie können auch auf ein Feld aus dem Beispielereignis doppelklicken, um es dem Transformator hinzuzufügen.

4. Stellen Sie für Ausgabe sicher, dass die Ausgabe Ihren Vorstellungen entspricht.

Nachdem die Daten nun gefiltert und optimiert wurden, müssen Sie ein Ziel definieren, an das die Ereignisdaten gesendet werden sollen.

Konfigurieren eines Ziels

So konfigurieren Sie ein Ziel

1. Wählen Sie Target aus.

2. Wählen Sie unter Details für Zielservice das Ziel aus. Welche Felder angezeigt werden, hängt vom ausgewählten Ziel ab. Geben Sie nach Bedarf Informationen ein, die für diesen Zieltyp spezifisch sind.

Sie können die Daten auch transformieren, bevor Sie sie an das Ziel senden.

(Optional) So definieren Sie den Eingabe-Transformator

1. Wählen Sie Eingabe-Transformator für das Ziel – optional aus.

2. Wählen Sie für Beispielereignisse/Ereignisnutzlast den Typ des Beispielereignisses aus.

3. Geben Sie für Transformator die Transformator-Syntax ein, z. B. "Event happened at <$.detail.field>.", wobei <$.detail.field> ein Verweis auf ein Feld aus dem Beispielereignis ist. Sie können auch auf ein Feld aus dem Beispielereignis doppelklicken, um es dem Transformator hinzuzufügen.

4. Stellen Sie für Ausgabe sicher, dass die Ausgabe Ihren Vorstellungen entspricht.

Nachdem die Pipe konfiguriert ist, stellen Sie sicher, dass ihre Einstellungen korrekt konfiguriert sind.

Konfigurieren der Pipe-Einstellungen

Eine Pipe ist standardmäßig aktiv, aber Sie können sie deaktivieren. Sie können auch die Berechtigungen der Pipe angeben, die Pipe-Protokollierung einrichten und Tags hinzufügen.

So konfigurieren Sie die Pipe-Einstellungen

1. Wählen Sie die Registerkarte Pipe-Einstellungen aus.

2. Standardmäßig sind neu erstellte Pipes aktiv, sobald sie erstellt wurden. Wenn Sie eine inaktive Pipe erstellen möchten, deaktivieren Sie unter Aktivierung für Pipe aktivieren die Option Aktiv.

3. Führen Sie unter Berechtigungen für Ausführungsrolle einen der folgenden Schritte aus:

   1. Um eine neue Ausführungsrolle für diese Pipe EventBridge erstellen zu lassen, wählen Sie Create a new role for this specific resource. Sie können unter Rollenname optional den Rollennamen bearbeiten.

   2. Wählen Sie Vorhandene Rolle verwenden aus, wenn Sie eine vorhandene Ausführungsrolle verwenden möchten. Wählen Sie unter Rollenname die Rolle aus.

4. (Optional) Wenn Sie einen DynamoDB Stream Kinesis oder als Pipe-Quelle angegeben haben, können Sie eine Wiederholungsrichtlinie und eine Warteschlange mit unerlaubten Briefen () konfigurieren. DLQ

   Gehen Sie für Wiederholungsrichtlinie und Warteschlange für unzustellbare Nachrichten – optional wie folgt vor:

   Gehen Sie unter Wiederholungsrichtlinie wie folgt vor:

   1. Wenn Sie Wiederholungsrichtlinien aktivieren möchten, aktivieren Sie Wiederholen. Standardmäßig ist für neu erstellte Pipes keine Wiederholungsrichtlinie aktiviert.

   2. Geben Sie für Maximum age of event (Maximales Alter des Ereignisses) einen Wert zwischen einer Minute (00:01) und 24 Stunden (24:00) ein.

   3. Geben Sie für Wiederholungsversuche eine Zahl zwischen 0 und 185 ein.

   4. Wenn Sie eine Warteschlange für unzustellbare Briefe (DLQ) verwenden möchten, aktivieren Sie die Warteschlange für unzustellbare Briefe, wählen Sie die Methode Ihrer Wahl und wählen Sie die Warteschlange oder das Thema aus, das Sie verwenden möchten. Standardmäßig verwenden neu erstellte Pipes kein. DLQ

5. (Optional) Sie können unter Protokolle – optional festlegen, wie EventBridge Pipes Protokollierungsinformationen an unterstützte Services sendet, einschließlich der Konfiguration dieser Protokolle.

   Weitere Informationen zur Protokollierung von Pipe-Datensätzen finden Sie unter Protokollierung der Leistung von Amazon EventBridge Pipes.

   CloudWatch logs ist standardmäßig als Protokollziel ausgewählt, ebenso wie die ERROR Protokollebene. Daher erstellt EventBridge Pipes standardmäßig eine neue CloudWatch Protokollgruppe, an die Protokolldatensätze gesendet werden, die den ERROR Detaillierungsgrad enthalten.

   Gehen Sie wie folgt vor, damit EventBridge Pipes Protokolldatensätze an eines der unterstützten Protokollziele sendet:

   1. Wählen Sie unter Protokolle – optional die Ziele aus, an die Protokolldatensätze gesendet werden sollen.

   2. Wählen Sie unter Protokollebene die Informationsebene aus, die in EventBridge die Protokolldatensätze aufgenommen werden soll. Die ERROR-Protokollebene ist standardmäßig ausgewählt.

      Weitere Informationen finden Sie unter Angabe der EventBridge Pipes-Protokollebene.

   3. Wählen Sie Ausführungsdaten einbeziehen, wenn Sie Informationen EventBridge zur Ereignis-Payload sowie Informationen zu Serviceanfragen und -antworten in die Protokolldatensätze aufnehmen möchten.

      Weitere Informationen finden Sie unter Inklusive Ausführungsdaten in EventBridge Pipes-Protokollen.

   4. Konfigurieren Sie jedes ausgewählte Protokollziel:

      Gehen Sie bei CloudWatch Logs Protokollen unter CloudWatch Protokolle wie folgt vor:

      • Wählen Sie für CloudWatch Protokollgruppe aus, ob Sie eine neue Protokollgruppe EventBridge erstellen möchten, oder wählen Sie eine bestehende Protokollgruppe aus oder geben Sie die ARN einer vorhandenen Protokollgruppe an.

      • Bearbeiten Sie für neue Protokollgruppen den Namen der Protokollgruppe nach Bedarf.

      CloudWatch logs ist standardmäßig ausgewählt.

      Wählen Sie für Firehose Stream-Logs unter Firehose Stream-Protokoll den Firehose Stream aus.

      Gehen Sie bei Amazon S3 Protokollen unter S3-Logs wie folgt vor:

      • Geben Sie den Namen des Buckets ein, der als Protokollziel verwendet werden soll.

      • Geben Sie die AWS Konto-ID des Bucket-Besitzers ein.

      • Geben Sie einen beliebigen Präfixtext ein, der verwendet werden soll, wenn EventBridge S3-Objekte erstellt.

        Weitere Informationen finden Sie unter Organisieren von Objekten mit Präfixen im Amazon Simple Storage Service -Benutzerhandbuch.

      • Wählen Sie aus, wie Sie S3-Protokolldatensätze formatieren möchten EventBridge :

        • json: JSON

        • plain: Klartext

        • w3c: Erweitertes W3C-Format für Protokollierungsdateien

6. (Optional) Wählen Sie unter Tags – optional die Option Neues Tag hinzufügen und geben Sie ein oder mehrere Tags für die Regel ein. Weitere Informationen finden Sie unter Ressourcen in Amazon taggen EventBridge.

7. Wählen Sie Pipe erstellen aus.

Validieren von Konfigurationsparameter

EventBridge Validiert nach der Erstellung einer Pipe die folgenden Konfigurationsparameter:

• IAMRolle — Da die Quelle einer Pipe nach der Erstellung der Pipe nicht geändert werden kann, wird EventBridge überprüft, ob die angegebene IAM Rolle auf die Quelle zugreifen kann.

  Anmerkung

  EventBridge führt nicht dieselbe Überprüfung für Anreicherungen oder Ziele durch, da diese nach der Erstellung der Pipe aktualisiert werden können.

• Batching — EventBridge überprüft, ob die Batchgröße der Quelle die maximale Batchgröße des Ziels nicht überschreitet. Ist dies der Fall, ist eine geringere Batchgröße EventBridge erforderlich. Wenn ein Ziel die Batchverarbeitung nicht unterstützt, können Sie außerdem die Batching-Funktion EventBridge für die Quelle nicht konfigurieren.

• Anreicherungen — EventBridge überprüft, ob die Batchgröße für API Gateway- und API Zielanreicherungen 1 ist, da nur Batchgrößen von 1 unterstützt werden.