AWS Glue Data Catalog Viste dell'edificio - AWS Lake Formation

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

AWS Glue Data Catalog Viste dell'edificio

In AWS Glue Data Catalog, una vista è una tabella virtuale in cui i contenuti sono definiti da una SQL query che fa riferimento a una o più tabelle. Puoi creare una vista del catalogo dati che faccia riferimento a un massimo di 10 tabelle utilizzando SQL editor per Amazon Athena o Amazon Redshift. Le tabelle di riferimento sottostanti per una vista possono appartenere allo stesso database o a database diversi all'interno Account AWS dello stesso catalogo dati.

Puoi fare riferimento a AWS Glue tabelle e tabelle standard in formati di tabella aperti (OTF) come Apache Hudi, Linux Foundation Delta Lake e Apache Iceberg, con i dati sottostanti archiviati in posizioni Amazon S3 registrati con. AWS Lake Formation Inoltre, puoi creare viste da tabelle federate da condivisioni di dati Amazon Redshift condivise con Lake Formation.

Differenziazione delle viste del Data Catalog da altri tipi di visualizzazione

Le visualizzazioni del catalogo dati sono diverse da quelle di Apache Hive, Apache Spark e Amazon Athena. La visualizzazione Data Catalog è una funzionalità nativa di AWS Glue Data Catalog, ed è una visualizzazione multidialettale creata da un definitore. Puoi creare una vista del catalogo dati utilizzando uno dei servizi di analisi supportati, come Athena o Amazon Redshift Spectrum, e accedere alla stessa vista utilizzando altri servizi di analisi supportati. D'altra parte, le viste Apache Hive, Apache Spark e Athena vengono create indipendentemente in ogni servizio di analisi, come Athena e Amazon Redshift, e sono visibili e accessibili solo all'interno di tale servizio.

Cos'è una vista più definita?

Una vista definente è una SQL vista che funziona in base alle autorizzazioni del principale che l'ha creata. Il ruolo definer dispone delle autorizzazioni necessarie per accedere alle tabelle di riferimento ed esegue l'SQListruzione che definisce la vista. Il definitore crea la vista e la condivide con altri utenti tramite il controllo AWS Lake Formation di accesso granulare.

Quando un utente interroga la vista del definitore, il motore di query utilizza le autorizzazioni del ruolo definer per accedere alle tabelle di riferimento sottostanti. Questo approccio consente agli utenti di interagire con la vista senza richiedere l'accesso diretto alle tabelle di origine, migliorando la sicurezza e semplificando la gestione dell'accesso ai dati.

Per configurare una vista del definitore, il definitore deve essere un IAM ruolo all'interno dello stesso AWS account che ospita la vista nel relativo Data Catalog. Per ulteriori informazioni sulle autorizzazioni richieste per il ruolo di definitore, consulta. Prerequisiti per la creazione di viste

Un framework per visualizzazioni multidialettali

Il Data Catalog supporta la creazione di viste utilizzando più dialetti strutturati del linguaggio di interrogazione (SQL). SQLè un linguaggio utilizzato per archiviare ed elaborare informazioni in un database relazionale e ogni motore AWS analitico utilizza la propria variante o dialettoSQL. SQL

È possibile creare una visualizzazione del catalogo dati in un SQL dialetto utilizzando uno dei motori di query di analisi supportati. Successivamente, puoi aggiornare la vista utilizzando l'ALTER VIEWistruzione in un SQL dialetto diverso all'interno di qualsiasi altro motore di analisi supportato. Tuttavia, ogni dialetto deve fare riferimento allo stesso set di tabelle, colonne e tipi di dati.

È possibile accedere ai diversi dialetti disponibili per la visualizzazione utilizzando la console GetTable API AWS CLI e AWS . Pertanto, la visualizzazione del catalogo dati è visibile e disponibile per le query su diversi motori di analisi supportati.

Definendo uno schema di visualizzazione e un oggetto di metadati comuni che è possibile interrogare da più motori, le viste del catalogo dati consentono di utilizzare viste uniformi su tutto il data lake.

Per maggiori dettagli su come viene risolto lo schema per ogni dialetto, consulta, link al API riferimento. Per maggiori dettagli sulle regole di abbinamento per i diversi tipi, consulta il collegamento alla sezione pertinente del API documento.

Integrazione con le autorizzazioni di Lake Formation

Puoi utilizzarlo AWS Lake Formation per centralizzare la gestione delle autorizzazioni sulle AWS Glue Data Catalog visualizzazioni per gli utenti. È possibile concedere autorizzazioni dettagliate per le viste del Data Catalog utilizzando il metodo delle risorse denominato o i tag LF e condividerle tra organizzazioni e unità organizzative. Account AWS AWS Puoi anche condividere e accedere alle viste del Data Catalog utilizzando i link alle risorse. Regioni AWS Ciò consente agli utenti di fornire l'accesso ai dati senza duplicare l'origine dei dati e condividere le tabelle sottostanti.

La CREATE VIEW DDL dichiarazione di una vista del catalogo dati può fare riferimento alle AWS Glue tabelle e alle tabelle standard in formati di tabella aperti (OTF) come Hudi, Delta Lake e Iceberg con dati sottostanti archiviati nelle sedi Amazon S3 registrate con Lake Formation, nonché alle tabelle federate del datashare Amazon Redshift condivise con Lake Formation. Le tabelle possono essere di qualsiasi formato di file, purché il motore utilizzato per interrogare la vista supporti tale formato. È inoltre possibile fare riferimento alle funzioni integrate del motore su cui viene eseguito, ma potrebbero non essere consentite altre risorse specifiche del motore. Per ulteriori dettagli, consulta Data Catalog visualizza, considerazioni e limitazioni..

Casi d'uso

Di seguito sono riportati i casi d'uso importanti per le visualizzazioni del catalogo dati:

  • Crea e gestisci le autorizzazioni su uno schema a visualizzazione singola. Questo ti aiuta a evitare il rischio di autorizzazioni incoerenti su viste duplicate create in più motori.

  • Concedi le autorizzazioni agli utenti per una vista che fa riferimento a più tabelle senza concedere le autorizzazioni direttamente sulle tabelle di riferimento sottostanti.

  • Ottieni il filtraggio a livello di riga sulle tabelle utilizzando i tag LF (dove i tag LF si estendono a cascata solo fino al livello delle colonne) applicando i tag LF alle viste e concedendo autorizzazioni basate sui tag LF agli utenti.

AWS Servizi di analisi supportati per la creazione di viste

I seguenti servizi AWS di analisi supportano la creazione di viste del catalogo dati:

  • Amazon Redshift

  • Amazon Athena versione 3

Risorse aggiuntive

Puoi saperne di più sul Data Catalog in questa guida e utilizzare le seguenti risorse:

Il video seguente mostra come creare viste e interrogarle da Athena e Amazon Redshift.