Connettore Amazon Athena HBase

Il connettore HBase di Amazon Athena consente ad Amazon Athena di comunicare con le istanze Apache HBase in modo da poter eseguire query sui dati HBase con SQL.

A differenza dei tradizionali archivi di dati relazionali, le raccolte HBase non hanno uno schema prestabilito. HBase non dispone di un archivio dei metadati. Ogni voce in una raccolta HBase può avere campi e tipi di dati diversi.

Il connettore HBase supporta due meccanismi per la generazione di informazioni sullo schema della tabella: inferenza dello schema di base e AWS Glue Data Catalog metadati.

L'inferenza dello schema è l'impostazione predefinita. Questa opzione esegue la scansione di un numero limitato di documenti della raccolta, forma un'unione di tutti i campi e forza i campi che hanno tipi di dati non sovrapposti. Questa opzione funziona bene per le raccolte che hanno voci per lo più uniformi.

Per le raccolte con una maggiore varietà di tipi di dati, il connettore supporta il recupero dei metadati da AWS Glue Data Catalog. Se il connettore rileva un AWS Glue database e una tabella che corrispondono allo spazio dei nomi HBase e ai nomi delle raccolte, ottiene le informazioni sullo schema dalla tabella corrispondente. AWS Glue Quando crei la AWS Glue tabella, ti consigliamo di renderla un superset di tutti i campi a cui potresti voler accedere dalla tua raccolta HBase.

Se hai abilitato Lake Formation nel tuo account, il ruolo IAM per il tuo connettore Lambda federato Athena che hai distribuito nell'accesso in lettura deve avere accesso in lettura in AWS Serverless Application Repository Lake Formation a. AWS Glue Data Catalog

Prerequisiti

• Implementa il connettore sul tuo Account AWS utilizzando la console Athena o AWS Serverless Application Repository. Per ulteriori informazioni, consulta Implementa un connettore di origine dati o Utilizzare il AWS Serverless Application Repository per distribuire un connettore di origine dati.

Parametri

Utilizza le variabili di ambiente Lambda illustrate in questa sezione per configurare il connettore HBase.

• spill_bucket: specifica il bucket Amazon S3 per i dati che superano i limiti della funzione Lambda.

• spill_prefix: (facoltativo) per impostazione predefinita, viene utilizzata una sottocartella nello spill_bucket specificato chiamata athena-federation-spill. Ti consigliamo di configurare un ciclo di vita dell'archiviazione di Amazon S3 in questa posizione per eliminare gli spill più vecchi di un numero predeterminato di giorni o ore.

• spill_put_request_headers: (facoltativo) una mappa codificata in JSON delle intestazioni e dei valori della richiesta per la richiesta putObject di Amazon S3 utilizzata per lo spill (ad esempio, {"x-amz-server-side-encryption" : "AES256"}). Per altre possibili intestazioni, consulta il riferimento PutObjectall'API di Amazon Simple Storage Service.

• kms_key_id: (facoltativo) per impostazione predefinita, tutti i dati riversati in Amazon S3 vengono crittografati utilizzando la modalità di crittografia autenticata AES-GCM e una chiave generata casualmente. Per fare in modo che la tua funzione Lambda utilizzi chiavi di crittografia più potenti generate da KMS come a7e63k4b-8loc-40db-a2a1-4d0en2cd8331, puoi specificare l'ID della chiave KMS.

• disable_spill_encryption: (facoltativo) se impostato su True, disabilita la crittografia dello spill. L'impostazione predefinita è False: in questo modo, i dati riversati su S3 vengono crittografati utilizzando AES-GCM tramite una chiave generata casualmente o una chiave generata mediante KMS. La disabilitazione della crittografia dello spill può migliorare le prestazioni, soprattutto se la posizione dello spill utilizza la crittografia lato server.

• disable_glue — (Facoltativo) Se presente e impostato su true, il connettore non tenta di recuperare metadati supplementari da. AWS Glue

• glue_catalog: (facoltativo) utilizza questa opzione per specificare un catalogo AWS Glue multi-account. Per impostazione predefinita, il connettore tenta di ottenere metadati dal proprio account. AWS Glue

• default_hbase: se presente, specifica una stringa di connessione HBase da utilizzare quando non esiste alcuna variabile di ambiente specifica del catalogo.

• enable_case_insensitive_match — (Facoltativo) When, esegue ricerche senza distinzione tra maiuscole e minuscole sui nomi delle tabelle in HBasetrue. Il valore predefinito è false. Utilizza se la tua query contiene nomi di tabella in maiuscolo.

Specifica delle stringhe di connessione

Puoi specificare una o più proprietà che definiscono i dettagli di connessione HBase per le istanze HBase utilizzate con il connettore. A tale scopo, imposta una variabile di ambiente Lambda che corrisponda al nome del catalogo che desideri utilizzare in Athena. Ad esempio, supponiamo di voler utilizzare le seguenti query per interrogare due diverse istanze HBase da Athena:

SELECT * FROM "hbase_instance_1".database.table

SELECT * FROM "hbase_instance_2".database.table

Prima di poter utilizzare queste due istruzioni SQL, devi aggiungere due variabili di ambiente alla funzione Lambda: hbase_instance_1 e hbase_instance_2. Il valore di ciascuno deve essere una stringa di connessione HBase nel formato seguente:

master_hostname:hbase_port:zookeeper_port

Utilizzo dei segreti

Facoltativamente, è possibile utilizzare AWS Secrets Manager parzialmente o totalmente il valore per i dettagli della stringa di connessione. Per utilizzare la funzione Athena Federated Query con Secrets Manager, il VPC collegato alla funzione Lambda dovrebbe disporre dell'accesso a Internet o di un endpoint VPC per connettersi a Secrets Manager.

Se si utilizza la sintassi ${my_secret} per inserire il nome di un segreto di Secrets Manager nella stringa di connessione, il connettore sostituisce il nome del segreto con i valori del nome utente e della password di Secrets Manager.

Ad esempio, supponiamo di impostare la variabile di ambiente Lambda per hbase_instance_1 sul seguente valore:

${hbase_host_1}:${hbase_master_port_1}:${hbase_zookeeper_port_1}

L'SDK Athena Query Federation tenta automaticamente di recuperare un segreto denominato hbase_instance_1_creds da Secrets Manager e inietta quel valore al posto di ${hbase_instance_1_creds}. Qualsiasi parte della stringa di connessione racchiusa entro la combinazione di caratteri ${ } viene interpretata come un segreto da Secrets Manager. Se specifichi un nome del segreto che il connettore non riesce a trovare in Secrets Manager, il connettore non sostituisce il testo.

Configurazione di database e tabelle in AWS Glue

L'inferenza dello schema integrata del connettore supporta solo i valori serializzati in HBase come stringhe (ad esempio, String.valueOf(int)). Poiché la capacità integrata di inferenza dello schema del connettore è limitata, in alternativa potresti voler usare AWS Glue per i metadati. Per abilitare una AWS Glue tabella da utilizzare con HBase, è necessario disporre di un AWS Glue database e di una tabella con nomi che corrispondano allo spazio dei nomi e alla tabella HBase per i quali si desidera fornire metadati supplementari. L'uso delle convenzioni di denominazione delle famiglie di colonne HBase è facoltativo ma non obbligatorio.

Per utilizzare una tabella per metadati supplementari AWS Glue

1. Quando modifichi la tabella e il database nella AWS Glue console, aggiungi le seguenti proprietà della tabella:

   • hbase-metadata-flag— Questa proprietà indica al connettore HBase che il connettore può utilizzare la tabella per metadati supplementari. Puoi fornire qualsiasi valore per hbase-metadata-flag, purché la proprietà hbase-metadata-flag sia presente nell'elenco delle proprietà della tabella.

   • hbase-native-storage-flag— Utilizzate questo flag per attivare o disattivare le due modalità di serializzazione dei valori supportate dal connettore. Per impostazione predefinita, quando questo campo non è presente, il connettore presuppone che tutti i valori siano archiviati in HBase come stringhe. Pertanto, tenterà di analizzare tipi di dati come INT, BIGINT e DOUBLE da HBase come stringhe. Se questo campo è impostato con un valore qualsiasi della tabella AWS Glue, il connettore passa alla modalità di archiviazione «nativa» e tenta di leggere INT BIGINTBIT, e DOUBLE come byte utilizzando le seguenti funzioni:

     ByteBuffer.wrap(value).getInt() 
     ByteBuffer.wrap(value).getLong() 
     ByteBuffer.wrap(value).get() 
     ByteBuffer.wrap(value).getDouble()

2. Assicurati di utilizzare i tipi di dati appropriati elencati AWS Glue in questo documento.

Modellazione delle famiglie di colonne

Il connettore HBase per Athena supporta due modi per modellare le famiglie di colonne HBase: denominazioni completamente qualificate (appiattite) come family:column, oppure l'utilizzo degli oggetti STRUCT.

Nel modello STRUCT, il nome del campo STRUCT dovrebbe corrispondere alla famiglia della colonna, mentre i figli di STRUCT dovrebbero corrispondere ai nomi delle colonne della famiglia. Tuttavia, poiché le letture colonnari e il pushdown dei predicati non sono ancora completamente supportati per tipi complessi come STRUCT, l'utilizzo di STRUCT al momento non è consigliato.

L'immagine seguente mostra una tabella configurata in AWS Glue che utilizza una combinazione dei due approcci.

Supporto dei tipi di dati

Il connettore recupera tutti i valori HBase come tipo di byte di base. Quindi, in base a come hai definito le tabelle in AWS Glue Data Catalog, mappa i valori in uno dei tipi di dati Apache Arrow nella tabella seguente.

AWS Glue tipo di dati	Tipo di dati Apache Arrow
int	INT
bigint	BIGINT
double	FLOAT8
float	FLOAT4
booleano	BIT
binary	VARBINARY
string	VARCHAR

Nota

Se non si utilizza AWS Glue per integrare i metadati, l'inferenza dello schema del connettore utilizza solo i tipi di BIGINT dati e. FLOAT8 VARCHAR

Autorizzazioni richieste

Consulta la sezione Policies del file athena-hbase.yaml per i dettagli completi delle policy IAM richieste da questo connettore. L'elenco che segue riporta un riepilogo delle autorizzazioni richieste.

• Accesso in scrittura ad Amazon S3: per trasferire i risultati di query di grandi dimensioni, il connettore richiede l'accesso in scrittura a una posizione in Amazon S3.

• Athena GetQueryExecution: il connettore utilizza questa autorizzazione per fallire rapidamente quando la query Athena upstream è terminata.

• AWS Glue Data Catalog— Il connettore HBase richiede l'accesso in sola lettura a per ottenere informazioni sullo schema. AWS Glue Data Catalog

• CloudWatch Registri: il connettore richiede l'accesso ai CloudWatch registri per l'archiviazione dei registri.

• AWS Secrets Manager accesso in lettura: se si sceglie di archiviare i dettagli degli endpoint HBase in Secrets Manager, è necessario concedere al connettore l'accesso a tali segreti.

• Accesso VPC: il connettore richiede la capacità di collegare e scollegare le interfacce al VPC in modo che possa connettersi ad esso e comunicare con le istanze HBase.

Prestazioni

Il connettore HBase per Athena tenta di eseguire in parallelo le query sull'istanza HBase leggendo ogni server regionale in parallelo. Il connettore Athena HBase esegue il pushdown del predicato per ridurre la quantità di dati scansionati dalla query.

La funzione Lambda esegue inoltre il pushdown delle proiezioni per ridurre la quantità di dati scansionati dalla query. Tuttavia, la selezione di un sottoinsieme di colonne a volte comporta un runtime delle query più lungo. Le clausole LIMIT riducono la quantità di dati scansionati, ma se non viene fornito un predicato, le query SELECT con una clausola LIMIT eseguiranno la scansione di almeno 16 MB di dati.

HBase è soggetto a errori di query e tempi di esecuzione delle query variabili. Potrebbe essere necessario ritentare più volte affinché le query abbiano esito positivo. Il connettore HBase è resiliente alla limitazione della larghezza di banda della rete dovuta alla simultaneità.

Interrogazioni pass-through

Il connettore HBase supporta le query passthrough ed è basato su NoSQL. Per informazioni sull'interrogazione di Apache HBase utilizzando il filtro, consulta Filter language nella documentazione di Apache.

Per utilizzare le query passthrough con HBase, utilizzate la seguente sintassi:

SELECT * FROM TABLE(
        system.query(
            database => 'database_name',
            collection => 'collection_name',
            filter => '{query_syntax}'
        ))

L'esempio seguente: filtri di query passthrough HBase per i dipendenti di 24 o 30 anni all'interno della raccolta del database. employee default

SELECT * FROM TABLE(
        system.query(
            DATABASE => 'default',
            COLLECTION => 'employee',
            FILTER => 'SingleColumnValueFilter(''personaldata'', ''age'', =, ''binary:30'')' ||
                       ' OR SingleColumnValueFilter(''personaldata'', ''age'', =, ''binary:24'')'
        ))

Informazioni sulla licenza

Il progetto del connettore HBase per Amazon Athena è concesso in licenza ai sensi della Licenza Apache-2.0.

Risorse aggiuntive

Per ulteriori informazioni su questo connettore, visitate il sito corrispondente su GitHub .com.