Usa il AWS Glue Data Catalog come metastore per Spark SQL - Amazon EMR

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Usa il AWS Glue Data Catalog come metastore per Spark SQL

Utilizzando Amazon EMR versione 5.8.0 o successiva, puoi configurare Spark SQL per utilizzare AWS Glue Data Catalog come metastore. Si consiglia questa configurazione quando si richiede un metastore persistente o un metastore condiviso da diversi cluster, servizi e applicazioni o account AWS .

AWS Glue è un servizio di estrazione, trasformazione e caricamento (ETL) completamente gestito che rende semplice ed economico classificare i dati, pulirli, arricchirli e spostarli in modo affidabile tra vari archivi di dati. Il AWS Glue Data Catalog fornisce un repository di metadati unificato su una varietà di fonti di dati e formati di dati, che si integra con Amazon EMR, Amazon RDS, Amazon Redshift, Redshift Spectrum, Athena e qualsiasi applicazione compatibile con il metastore Apache Hive. AWS I Glue crawler possono dedurre automaticamente lo schema dai dati di origine in Amazon S3 e archiviare i metadati associati nel Data Catalog. Per ulteriori informazioni sul Data Catalog, consulta Populating the AWS Glue Data Catalog nella AWS Glue Developer Guide.

Per AWS Glue si applicano costi separati. È prevista una tariffa mensile per l'archiviazione e l'accesso ai metadati nel Data Catalog, una tariffa oraria fatturata al minuto per i job di AWS Glue ETL e il runtime del crawler e una tariffa oraria fatturata al minuto per ogni endpoint di sviluppo assegnato. Il Data Catalog consente di archiviare fino a un milione di oggetti senza costi aggiuntivi. Se intendi archiviare più di un milione di oggetti, ti verrà addebitato 1 USD per ogni 100.000 oggetti oltre il milione. Un oggetto nel Data Catalog può essere una tabella, una partizione o un database. Per ulteriori informazioni, consulta Prezzi di Glue.

Importante

Se hai creato tabelle utilizzando Amazon Athena o Amazon Redshift Spectrum prima del 14 agosto 2017, i database e le tabelle vengono archiviati in un catalogo gestito da Athena, separato dal Glue Data Catalog. AWS Per integrare Amazon EMR con queste tabelle, devi eseguire l'upgrade al AWS Glue Data Catalog. Per ulteriori informazioni, consulta l'aggiornamento al AWS Glue Data Catalog nella Guida per l'utente di Amazon Athena.

Specificare AWS Glue Data Catalog come metastore

Puoi specificare il AWS Glue Data Catalog come metastore utilizzando AWS Management Console AWS CLI, o l'API Amazon EMR. Quando si utilizza la CLI o l'API, è possibile utilizzare la classificazione di configurazione per Spark per specificare un Data Catalog. Inoltre, con Amazon EMR 5.16.0 e versioni successive, puoi utilizzare la classificazione di configurazione per specificare un catalogo dati in un altro. Account AWS Quando utilizzi la console, puoi specificare il Data Catalog utilizzando Advanced Options (Opzioni avanzate) o Quick Options (Opzioni rapide).

Nota

L'opzione per utilizzare AWS Glue Data Catalog è disponibile anche con Zeppelin perché Zeppelin è installato con i componenti Spark SQL.

New console
Per specificare AWS Glue Data Catalog come metastore Spark con la nuova console
  1. Accedi a e apri AWS Management Console la console Amazon EMR all'indirizzo https://console.aws.amazon.com/emr.

  2. In Amazon EMR su EC2, nel riquadro di navigazione a sinistra, scegli Cluster e quindi seleziona Crea cluster.

  3. In Application bundle (Bundle di applicazioni), scegli Spark o Custom (Personalizzato). Se personalizzi il cluster, assicurati di selezionare Zeppelin o Spark come una delle tue applicazioni.

  4. In Impostazioni del Catalogo dati AWS Glue, seleziona la casella di controllo Utilizza per i metadati delle tabelle Spark.

  5. Scegli qualsiasi altra opzione applicabile al cluster.

  6. Per avviare il cluster, scegli Create cluster (Crea cluster).

Old console
Per specificare AWS Glue Data Catalog come metastore Spark con la vecchia console
  1. Passa alla nuova console Amazon EMR e seleziona Passa alla vecchia console dalla barra di navigazione laterale. Per ulteriori informazioni su cosa aspettarti quando passi alla vecchia console, consulta Utilizzo della vecchia console.

  2. Seleziona Create cluster (Crea cluster), Go to advanced options (Vai alle opzioni avanzate).

  3. Per Release (Versione), scegliere emr-5.8.0 o versioni successive.

  4. In Release (Versione), selezionare Spark o Zeppelin.

  5. In AWS Glue Data Catalog settings (Impostazioni Glue Data Catalog), seleziona Use for Spark table metadata (Usa per metadati tabella Spark).

  6. Scegliere altre opzioni per il cluster come appropriato, scegliere Next (Avanti), quindi configurare altre opzioni di cluster come appropriato per l'applicazione.

AWS CLI
Per specificare il AWS Glue Data Catalog come metastore Spark con AWS CLI

Per ulteriori informazioni su come specificare una classificazione di configurazione utilizzando l' AWS CLI API Amazon EMR, consulta. Configurazione delle applicazioni

  • Specificare il valore per hive.metastore.client.factory.class utilizzando la classificazione spark-hive-site come mostrato nell'esempio seguente:

    [ { "Classification": "spark-hive-site", "Properties": { "hive.metastore.client.factory.class": "com.amazonaws.glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory" } } ]

    Per specificare un catalogo dati in un AWS account diverso, aggiungi la hive.metastore.glue.catalogid proprietà come mostrato nell'esempio seguente. Sostituisci acct-id con l'account AWS di Data Catalog.

    [ { "Classification": "spark-hive-site", "Properties": { "hive.metastore.client.factory.class": "com.amazonaws.glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory", "hive.metastore.glue.catalogid": "acct-id" } } ]

Autorizzazioni IAM

Il profilo dell'istanza EC2 per un cluster deve disporre delle autorizzazioni IAM per le azioni AWS Glue. Inoltre, se abiliti la crittografia per gli oggetti di AWS Glue Data Catalog, al ruolo deve essere consentito anche di crittografare, decrittografare e generare ciò che AWS KMS key viene utilizzato per la crittografia.

Autorizzazioni per le azioni AWS Glue

Se utilizzi il profilo dell'istanza EC2 di default per Amazon EMR, non è richiesta alcuna operazione. La politica AmazonElasticMapReduceforEC2Role gestita allegata a EMR_EC2_DefaultRole consente tutte le azioni AWS Glue necessarie. Tuttavia, se si specificano un profilo e le autorizzazioni dell'istanza EC2 personalizzati, è necessario configurare le azioni AWS Glue appropriate. Utilizza la policy AmazonElasticMapReduceforEC2Role gestita come punto di partenza. Per ulteriori informazioni, consulta Ruolo di servizio per le istanze EC2 del cluster (profilo dell'istanza EC2) nella Guida alla gestione di Amazon EMR.

Autorizzazioni per la crittografia e la decrittografia di Glue Data Catalog AWS

Il tuo profilo dell'istanza ha bisogno dell'autorizzazione per crittografare e decrittare i dati utilizzando la tua chiave. Non è necessario configurare queste autorizzazioni se si applicano entrambe le seguenti istruzioni:

  • È possibile abilitare la crittografia per gli oggetti di AWS Glue Data Catalog utilizzando le chiavi gestite per AWS Glue.

  • Utilizzi un cluster che è Account AWS uguale al AWS Glue Data Catalog.

In caso contrario, devi aggiungere la istruzione seguente alla policy delle autorizzazioni collegata al profilo dell'istanza EC2.

[ { "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "kms:Decrypt", "kms:Encrypt", "kms:GenerateDataKey" ], "Resource": "arn:aws:kms:region:acct-id:key/12345678-1234-1234-1234-123456789012" } ] } ]

Per ulteriori informazioni sulla crittografia del AWS Glue Data Catalog, consulta Encrypting your data catalog nella AWS Glue Developer Guide.

Autorizzazioni basate su risorse

Se utilizzi AWS Glue insieme a Hive, Spark o Presto in Amazon EMR, AWS Glue supporta politiche basate sulle risorse per controllare l'accesso alle risorse del Data Catalog. Queste risorse includono tabelle, database, connessioni e funzioni definite dall'utente. Per ulteriori informazioni, consulta Policy sulle risorse AWS Glue nella Guida per gli sviluppatori di AWS Glue.

Quando si utilizzano policy basate sulle risorse per limitare l'accesso a AWS Glue dall'interno di Amazon EMR, il principio specificato nella politica delle autorizzazioni deve essere il ruolo ARN associato al profilo dell'istanza EC2 specificato al momento della creazione di un cluster. Ad esempio, per una politica basata sulle risorse allegata a un catalogo, è possibile specificare il ruolo ARN per il ruolo di servizio predefinito per le istanze EC2 del cluster, EMR_EC2_ come il, utilizzando DefaultRole il formato mostrato nell'esempio seguente: Principal

arn:aws:iam::acct-id:role/EMR_EC2_DefaultRole

L'acct-id può essere diverso dall'ID dell'account AWS Glue. Ciò consente l'accesso da cluster EMR in account diversi. Puoi specificare più entità principali, ognuna da un account diverso.

Considerazioni sull'utilizzo di AWS Glue Data Catalog

Considera i seguenti elementi quando usi AWS Glue Data Catalog come metastore con Spark:

  • Disporre di un database predefinito senza l'URI del percorso genera errori durante la creazione di una tabella. Per risolvere il problema, utilizza la clausola LOCATION per specificare un percorso di bucket, ad esempio s3://EXAMPLE-DOC-BUCKET, quando utilizzi CREATE TABLE. In alternativa, crea tabelle in un database che non sia quello predefinito.

  • La ridenominazione delle tabelle dall'interno di AWS Glue non è supportata.

  • Quando si crea una tabella Hive senza specificare una LOCATION, i dati nella tabella vengono archiviati nella posizione specificata dalla proprietà hive.metastore.warehouse.dir. Per impostazione predefinita, questa è una posizione in HDFS. Se un altro cluster necessita di accedere alla tabella, non ci riuscirà a meno che non disponga di autorizzazioni adeguate per il cluster che ha creato la tabella. Inoltre, poiché l'archiviazione HDFS è transitoria, se il cluster viene terminato, i dati della tabella vanno persi e la tabella deve essere ricreata. Ti consigliamo di specificare LOCATION a in Amazon S3 quando crei una tabella Hive utilizzando Glue. AWS In alternativa, puoi utilizzare la classificazione di configurazione hive-site per specificare una posizione in Amazon S3 per hive.metastore.warehouse.dir, che si applica a tutte le tabelle Hive. Se una tabella viene creata in una posizione HDFS e il cluster che l'ha creata è ancora in esecuzione, puoi aggiornare la posizione della tabella su Amazon S3 da Glue. AWS Per ulteriori informazioni, consulta Working with Tables on the AWS Glue Console nella AWS Glue Developer Guide.

  • I valori delle partizioni contenenti virgolette e apostrofi non sono supportati, ad esempio PARTITION (owner="Doe's")..

  • Le statistiche di colonna sono supportate per emr-5.31.0 e versioni successive.

  • L'utilizzo dell'autorizzazione Hive non è supportato. In alternativa, puoi prendere in considerazione l'utilizzo di Policy basate sulle risorse AWS Glue. Per ulteriori informazioni, consulta Use Resource-Based Policies per Amazon EMR Access to AWS Glue Data Catalog.