Automatisierung und Zugriffskontrolle

Automatisierung

Die Automatisierung von Pipelines ist ein entscheidender Bestandteil des modernen datenzentrierten Architekturdesigns. Für den erfolgreichen Betrieb Ihres Produktionssystems empfehlen wir Ihnen, über eine Datenpipeline zu verfügen, die über einen Start-Trigger, Verbindungsschritte und einen Mechanismus zur Trennung von fehlgeschlagenen und bestandenen Phasen verfügt. Es ist auch wichtig, Fehler zu protokollieren, ohne den Rest des ETL-Prozesses zu behindern.

Sie können AWS Glue Glue-Workflows verwenden, um eine Pipeline zu erstellen. Die Pipeline unterstützt alle AWS Glue Glue-Jobs, EventBridge Amazon-Trigger und Crawler. Sie können Workflows auch von Grund auf neu oder mithilfe von AWS Glue Glue-Blueprints erstellen. Ein Blueprint bietet ein Framework, das Ihnen den Einstieg in wiederverwendbare Anwendungsfälle erleichtert. Dies könnte beispielsweise ein Workflow zum Importieren von Daten aus Amazon S3 in eine DynamoDB-Tabelle sein. Sie können sogar Parameter verwenden, um den Blueprint wiederverwendbar zu machen.

Wenn die Datenpipeline mehr Services außerhalb von AWS Glue umfasst, empfehlen wir Ihnen, AWS Step Functions als Orchestrator zu verwenden. Step Functions kann automatisierte Workflows erstellen, einschließlich manueller Genehmigungsschritte für die Reaktion auf Sicherheitsvorfälle. Sie können Step Functions auch für umfangreiche parallel oder sequentielle Verarbeitung verwenden.

Schließlich empfehlen wir die Verwendung, EventBridgeum Trigger in Zeitpläne, Ereignisse oder bei Bedarf einzufügen. Sie können es auch verwenden EventBridge , um Pipelines mit Filtern zu erstellen.

Zugriffskontrolle

Wir empfehlen Ihnen, AWS Identity and Access Management (IAM) für die Zugriffskontrolle zu verwenden. Mit IAM können Sie festlegen, wer oder was auf Services und Ressourcen in AWS zugreifen kann, und detaillierte Berechtigungen zentral verwalten. Jede Phase des Lebenszyklus — von der Speicherung über die Automatisierung bis hin zur Verwendung von Verarbeitungstools — erfordert die richtigen Zugriffsberechtigungen. Bei der Arbeit mit datenzentrierten Anwendungsfällen können Sie AWS Lake Formation verwenden, um den Prozess der Bereitstellung von Daten für umfangreiche Analysen und auch kontenübergreifend zu vereinfachen.