Konfiguration benutzerdefinierter S3-Bucket-Quellen

Mit CloudWatch Pipelines können Sie beliebige Protokolle verarbeiten, die in S3-Buckets gespeichert sind.

Voraussetzungen

Um Amazon S3 als Quelle für eine Pipeline zu verwenden, erstellen Sie zunächst einen S3-Bucket. Anweisungen finden Sie unter Erstellen eines Allzweck-Buckets im Amazon S3 S3-Benutzerhandbuch.

Anmerkung

Wenn sich der S3-Bucket, der als Quelle in der Pipeline verwendet wird, in einem anderen AWS Konto befindet, müssen Sie auch kontoübergreifende Leseberechtigungen für den Bucket aktivieren. Dadurch kann die Pipeline die Daten lesen und verarbeiten. Informationen zum Aktivieren kontoübergreifender Berechtigungen finden Sie unter Bucket-Besitzer, der kontoübergreifende Bucket-Berechtigungen erteilt im Amazon S3 S3-Benutzerhandbuch.

Wenn sich Ihre S3-Buckets in mehreren Konten befinden, verwenden Sie eine Map. bucket_owners Ein Beispiel finden Sie in der Dokumentation unter Kontoübergreifender S3-Zugriff. OpenSearch

Um die S3-SQS-Verarbeitung einzurichten, müssen Sie außerdem die folgenden Schritte ausführen:

• Erstellen Sie eine Amazon SQS SQS-Warteschlange.

• Aktivieren Sie Ereignisbenachrichtigungen im S3-Bucket mit der SQS-Warteschlange als Ziel.

Konfigurieren Sie die Pipeline-Rolle

Im Gegensatz zu anderen Quell-Plugins, die Daten in eine Pipeline übertragen, verfügt das S3-Quell-Plug-In über eine lesebasierte Architektur, bei der die Pipeline Daten aus der Quelle bezieht. Damit eine Pipeline aus S3 lesen kann, müssen Sie daher eine Rolle in der S3-Quellkonfiguration der Pipeline angeben, die Zugriff sowohl auf den S3-Bucket als auch auf die Amazon SQS SQS-Warteschlange hat. Die Pipeline übernimmt diese Rolle, um Daten aus der Warteschlange zu lesen.

Beispiele für Rollenberechtigungen finden Sie in quellenspezifischen IAM-Richtlinien. Beachten Sie, dass für diese Rolle eine Vertrauensbeziehung mit dem CloudWatch Pipelines-Serviceprinzip bestehen muss. Ein Beispiel für die Konfiguration einer Vertrauensrichtlinie für Ihre Pipeline-Rolle finden Sie unter Vertrauensbeziehungen.

Erstellen Sie die Pipeline

Nachdem Sie Ihre Berechtigungen eingerichtet haben, können Sie je nach Ihrem Amazon S3 S3-Anwendungsfall eine Pipeline konfigurieren.

Wählen Sie in der Konsole auf der Registerkarte Pipelines unter Ingestion die Option Pipeline erstellen aus. CloudWatch Folgen Sie den Schritten des Pipeline-Assistenten und geben Sie den SQS-Warteschlangen-ARN und die erforderliche Pipeline-IAM-Rolle an, wenn Sie dazu aufgefordert werden. Geben Sie optional unter Logs einen Namen und einen Typ der Datenquelle an, die an das Ziel der Protokollgruppe angehängt werden sollen. CloudWatch

Stellen Sie sicher, dass Sie eine CloudWatch Protokollressourcenrichtlinie konfigurieren, falls noch keine für die Zielprotokollgruppe konfiguriert ist, und wählen Sie dann im Schritt Überprüfen und erstellen die Option Pipeline erstellen aus. Die Pipeline wird erstellt und der Datenfluss beginnt innerhalb von 5 Minuten, wenn der Vorgang erfolgreich ist.

Amazon S3 Cross-Konto als Quelle

Sie können bei Amazon S3 kontenübergreifenden Zugriff gewähren, sodass CloudWatch Pipelines auf S3-Buckets in einem anderen Konto als Quelle zugreifen können. Informationen zum Aktivieren des kontoübergreifenden Zugriffs finden Sie unter Bucket-Besitzer, der kontoübergreifende Bucket-Berechtigungen erteilt im Amazon S3 S3-Benutzerhandbuch. Nachdem Sie den Zugriff gewährt haben, stellen Sie sicher, dass Ihre Pipeline-Rolle über die erforderlichen Berechtigungen verfügt.

Anschließend können Sie eine Pipeline erstellen, bucket_owners um den kontoübergreifenden Zugriff auf einen Amazon S3 S3-Bucket als Quelle zu ermöglichen.

Benutzerdefinierte Quellkonfiguration

Beim Erstellen einer Pipeline für benutzerdefinierte Quellen:

• Ein Parser muss der erste Prozessor in der Pipeline sein

• Sie können jeden unterstützten Prozessor für benutzerdefinierte Protokoll-Pipelines angeben