AWS Angebote für Data Mesh

Nutzen Sie die Analysefunktionen, AWS um die auf Datennetzen basierende Datenlösung für Ihr Unternehmen zu entwickeln. Die Analyse auf AWS Ressourcen empfiehlt mehrere, um ein Datennetz AWS-Services zu niedrigen Kosten aufzubauen, ohne Kompromisse bei der Leistung einzugehen. Kunden haben sich für die Erstellung einer auf Datennetzen basierenden Lösung für die folgenden Optionen entschieden:

• Implementieren Sie Data Mesh mithilfe von Amazon DataZone

• Implementieren Sie Data Mesh mithilfe von Open-Source-Frameworks AWS wie data.all

• Implementieren Sie Data Mesh mithilfe von AWS Lake Formation

Diese drei Optionen verwenden Folgendes AWS-Services:

• Amazon Athena

• Amazon Bedrock

• Amazon EMR

• AWS Glue(einschließlich AWS Glue Data Catalog und eines AWS Glue Crawlers)

• AWS Identity and Access Management (IAM)

• AWS Key Management Service (AWS KMS)

• Amazon Kinesis

• AWS Lake Formation

• Von Amazon Managed Streaming for Apache Kafka (AmazonMSK)

• Amazon QuickSight

• Amazon-Redshift

• AWS Resource Access Manager (AWS RAM)

• Amazon SageMaker KI

• AWS Secrets Manager

• Amazon-Simple-Storage-Service (Amazon-S3)

Die DataZone Amazon-Option verwendet auch Amazon EventBridge.

Für data.all und AWS Lake Formation options werden außerdem die folgenden AWS-Services Ressourcen verwendet:

• APIAmazon-Gateway

• AWS CloudFormation

• Amazon Cognito

• AWS Lambda

• AWS Systems Manager Parameter Store

• AWS WAF

Die AWS-Services , die Sie in Ihrer Implementierung verwenden, kann je nach den Anforderungen Ihres Unternehmens unterschiedlich sein.

Amazon DataZone

Wenn Sie einen vollständig verwalteten Service nutzen möchten, sollten Sie erwägen, Amazon DataZone zur Implementierung von Data Mesh für Ihr Unternehmen zu verwenden. Amazon DataZone ist ein Datenverwaltungsservice für die Katalogisierung, Erkennung, gemeinsame Nutzung und Verwaltung von Daten, die vor Ort und in AWS Quellen von Drittanbietern gespeichert sind. Das folgende Diagramm zeigt eine auf Amazon basierende Data-Mesh-Referenzarchitektur DataZone.

In der Referenzarchitektur gehören die Mitgliedskonten zu den Datendomänen. Sie sind in Datenproduzenten und Datenkonsumenten unterteilt. Das Architekturdiagramm enthält die folgenden Komponenten:

1. Die Datenproduzenten veröffentlichen Datenprodukte im Geschäftskatalog, der vom DataZone Amazon-Datenportal bereitgestellt wird. Das Datenportal wird im zentralen Governance-Konto gehostet.

2. Datenverbraucher (Benutzer) melden sich mit ihren AWS Anmeldeinformationen oder Single Sign-On-Anmeldeinformationen beim Datenportal an. Sie können den Katalog durchsuchen und mithilfe von Schlüsselwörtern nach den Datenprodukten suchen, für die sie sich interessieren. Sie können die Suchergebnisse filtern.

3. Nachdem die Datennutzer, die zu den Verbraucherteams gehören, das für sie interessante Datenprodukt gefunden haben, können sie Zugriff auf die Daten beantragen. Amazon DataZone verfügt über einen integrierten Workflow zur Zugriffsverwaltung, den der Dateninhaber verwendet, um die Anfrage zu überprüfen und zu genehmigen.

4. Die Datenverbraucherteams können die Daten nutzen, um ihre Anwendungsfälle für künstliche Intelligenz und maschinelles Lernen (KI/ML), Analysen und Berichte zu unterstützen sowie Anwendungsfälle zu extrahieren, zu transformieren und zu laden (). ETL

Daten.alles

Wenn Sie sich mit Open Source auskennen und Ihre eigene Lösung erstellen und verwalten möchten, sollten Sie die Verwendung von Open-Source-Frameworks wie data.all in Betracht ziehen. Data.all ist ein moderner Datenmarktplatz, der die Zusammenarbeit zwischen verschiedenen Benutzern unterstützt. Data.all vereinfacht die Erkennung, gemeinsame Nutzung und detaillierte Verwaltung des Datenzugriffs, während Entwickler das AWS Portfolio an Daten- und Analysediensten nutzen. Das folgende Diagramm zeigt eine Data-Mesh-Referenzarchitektur, die auf data.all basiert.

Das Architekturdiagramm enthält die folgenden Komponenten:

1. Die Datenproduzenten veröffentlichen Datenprodukte in dem Katalog, der vom data.all-Frontend bereitgestellt wird. Das Frontend und das Backend von data.all werden im zentralen Governance-Konto gehostet.

2. Datenverbraucher (Benutzer) melden sich mit ihren Single Sign-On- oder Amazon Cognito Cognito-Anmeldeinformationen beim data.all-Frontend an. Sie können den Katalog durchsuchen und nach den Datenprodukten suchen, die sie interessieren. Sie können die Suchergebnisse filtern.

3. Nachdem die Datennutzer, die zu den Verbraucherteams gehören, das für sie interessante Datenprodukt gefunden haben, können sie den Zugriff auf die Daten beantragen. Data.all verfügt über einen integrierten Workflow zur Zugriffsverwaltung, mit dem der Dateneigentümer Zugriffsanfragen prüft und genehmigt.

4. Die Verbraucherteams können die Daten nutzen, um ihre KI/ML, Analysen und Berichte sowie Anwendungsfälle zu verbessern. ETL

AWS Lake Formation

Wenn Sie von Grund auf eine maßgeschneiderte Data-Mesh-Lösung entwickeln und diese verwalten möchten, sollten Sie die Verwendung dieser Lösung in Betracht ziehen. AWS Lake Formation Lake Formation hilft Ihnen dabei, Daten für Analysen und maschinelles Lernen zentral zu verwalten, zu sichern und weltweit auszutauschen. Das folgende Diagramm zeigt eine Data-Mesh-Referenzarchitektur, die auf Lake Formation basiert.

Das Architekturdiagramm enthält die folgenden Komponenten:

1. Die Datenproduzenten veröffentlichen Datenprodukte im AWS Glue Data Catalog zentralen Verwaltungskonto. AWS Lake Formation verwaltet den Zugriff auf die Entitäten des zentralen Datenkatalogs.

2. Sobald der Zugriff gewährt wurde, können die Verbraucherteams die Daten nutzen, um ihre KI/ML, Analysen und Berichte sowie Anwendungsfälle zu verbessern. ETL