AWS offerte per data mesh

Usa le funzionalità di analisi AWS per creare la soluzione di dati basata su data mesh per la tua organizzazione. L'analisi AWS delle risorse ne consiglia diversi Servizi AWS per creare una rete di dati a basso costo senza compromettere le prestazioni. I clienti hanno adottato le seguenti opzioni per creare una soluzione basata su data mesh:

• Implementa la rete di dati utilizzando Amazon DataZone

• Implementa la rete di dati utilizzando framework open source AWS come data.all

• Implementa la rete di dati utilizzando AWS Lake Formation

Queste tre opzioni utilizzano quanto segue Servizi AWS:

• Amazon Athena

• Amazon Bedrock

• Amazon EMR

• AWS Glue(incluso AWS Glue Data Catalog un AWS Glue crawler)

• AWS Identity and Access Management (IAM)

• AWS Key Management Service (AWS KMS)

• Amazon Kinesis

• AWS Lake Formation

• Streaming gestito da Amazon per Apache Kafka (Amazon) MSK

• Amazon QuickSight

• Amazon Redshift

• AWS Resource Access Manager (AWS RAM)

• Amazon SageMaker AI

• AWS Secrets Manager

• Amazon Simple Storage Service (Amazon S3)

L' DataZone opzione Amazon utilizza anche Amazon EventBridge.

Data.all e AWS Lake Formation options utilizzano anche le seguenti risorse: Servizi AWS

• Amazon API Gateway

• AWS CloudFormation

• Amazon Cognito

• AWS Lambda

• AWS Systems Manager Archivio parametri

• AWS WAF

Servizi AWS I dati utilizzati nell'implementazione potrebbero essere diversi, in base ai requisiti dell'organizzazione.

Amazon DataZone

Se desideri utilizzare un servizio completamente gestito, valuta la possibilità di utilizzare Amazon DataZone per implementare la rete di dati per la tua organizzazione. Amazon DataZone è un servizio di gestione dei dati per la catalogazione, la scoperta, la condivisione e la gestione dei dati archiviati su fonti AWS, locali e di terze parti. Il diagramma seguente mostra un'architettura di riferimento per la rete di dati basata su Amazon DataZone.

Nell'architettura di riferimento, gli account dei membri appartengono ai domini di dati. Sono raggruppati in produttori di dati e consumatori di dati. Il diagramma dell'architettura contiene i seguenti componenti:

1. I produttori di dati pubblicano prodotti di dati nel catalogo aziendale fornito dal portale DataZone dati Amazon. Il portale dati è ospitato nell'account di governance centrale.

2. I consumatori di dati (utenti) accedono al portale dati utilizzando le proprie AWS credenziali o credenziali Single Sign-On. Possono sfogliare il catalogo e cercare i prodotti di dati di loro interesse utilizzando parole chiave. Possono filtrare i risultati della ricerca.

3. Dopo che gli utenti dei team dedicati ai consumatori avranno trovato il prodotto di dati di loro interesse, potranno richiedere l'accesso ai dati. Amazon DataZone dispone di un flusso di lavoro integrato per la gestione degli accessi che il proprietario dei dati utilizza per esaminare e approvare la richiesta.

4. I team che si occupano di dati possono utilizzare i dati per potenziare l'intelligenza artificiale e l'apprendimento automatico (AI/ML), l'analisi e il reporting, nonché per estrarre, trasformare e caricare () i casi d'uso. ETL

Tutti i dati

Se conosci l'open source e vuoi creare e gestire la tua soluzione, prendi in considerazione l'utilizzo di framework open source come data.all. Data.all è un moderno marketplace di dati che supporta la collaborazione tra diversi utenti. Data.all semplifica l'individuazione, la condivisione e la gestione granulare dell'accesso ai dati, mentre i costruttori utilizzano il AWS portafoglio di servizi di dati e analisi. Il diagramma seguente mostra un'architettura di riferimento per la rete di dati basata su data.all.

Il diagramma dell'architettura contiene i seguenti componenti:

1. I produttori di dati pubblicano i prodotti di dati nel catalogo fornito dal frontend data.all. Il frontend e il backend di data.all sono ospitati nell'account di governance centrale.

2. I consumatori di dati (utenti) accedono al frontend data.all utilizzando le proprie credenziali Single Sign-On o Amazon Cognito. Possono sfogliare il catalogo e cercare i prodotti di dati di loro interesse. Possono filtrare i risultati della ricerca.

3. Dopo che gli utenti dei team dedicati ai consumatori avranno trovato il prodotto di dati di loro interesse, potranno richiedere l'accesso ai dati. Data.all dispone di un flusso di lavoro integrato per la gestione degli accessi che il proprietario dei dati utilizza per esaminare e approvare le richieste di accesso.

4. I team di consumatori possono utilizzare i dati per potenziare l'intelligenza artificiale e il machine learning, l'analisi e la reportistica e i casi d'uso. ETL

AWS Lake Formation

Se desideri creare una soluzione di data mesh personalizzata partendo da zero e gestirla, prendi in considerazione l'utilizzo. AWS Lake Formation Lake Formation ti aiuta a governare, proteggere e condividere a livello globale in modo centralizzato i dati per l'analisi e l'apprendimento automatico. Il diagramma seguente mostra un'architettura di riferimento per la rete di dati basata su Lake Formation.

Il diagramma dell'architettura contiene i seguenti componenti:

1. I produttori di dati pubblicano i prodotti di dati nell'account AWS Glue Data Catalog di governance centrale. AWS Lake Formation gestisce l'accesso alle entità del Data Catalog centrale.

2. Una volta concesso l'accesso, i team di consumatori possono utilizzare i dati per potenziare l'intelligenza artificiale e il machine learning, l'analisi e la reportistica e i casi d'uso. ETL