Prerequisiti Limitazioni Flusso di lavoro Termini Parametri Stringa di connessione Parametri di spill Supporto dei tipi di dati Prestazioni Interrogazioni passthrough Informazioni sulla licenza Risorse aggiuntive

Connettore Amazon Athena Vertica

Vertica è una piattaforma di database colonnare che può essere implementata nel cloud o on-premise che supporta data warehouse con scalabilità exabyte. Puoi utilizzare il connettore Amazon Athena Vertica nelle query federate per interrogare le origini dati Vertica da Athena. Ad esempio, è possibile eseguire query analitiche su un data warehouse in Vertica e su un data lake in Amazon S3.

Prerequisiti

Implementa il connettore sul tuo Account AWS utilizzando la console Athena o AWS Serverless Application Repository. Per ulteriori informazioni, consulta Distribuzione di un connettore origine dati o Utilizzo di AWS Serverless Application Repository per distribuire un connettore origine dati.
Prima di utilizzare questo connettore, configura un VPC e un gruppo di sicurezza. Per ulteriori informazioni, consulta Creazione di un VPC per un connettore origine dati.

Limitazioni

Poiché il connettore Vertica per Athena utilizza Amazon S3 Select per leggere i file Parquet da Amazon S3, le sue prestazioni potrebbero essere lente. Per eseguire una query su tabelle di grandi dimensioni, ti suggeriamo di utilizzare una query CREATE TABLE AS (SELECT ...) (Crea tabella come [seleziona...]) e predicati SQL.
Attualmente, a causa di un problema noto in Athena Federated Query, il connettore fa sì che Vertica esporti tutte le colonne della tabella interrogata in Amazon S3, ma nei risultati sulla console di Athena risultano visibili solo le colonne interrogate.
Le operazioni di scrittura DDL non sono supportate.
Eventuali limiti Lambda pertinenti. Per ulteriori informazioni, consulta la sezione Quote Lambda nella Guida per gli sviluppatori di AWS Lambda .

Flusso di lavoro

Il diagramma seguente mostra il flusso di lavoro di una query che utilizza il connettore Vertica.

Viene eseguita una query SQL su una o più tabelle in Vertica.
Il connettore analizza la query SQL per inviare la porzione pertinente a Vertica tramite la connessione JDBC.
Le stringhe di connessione utilizzano il nome utente e la password memorizzati AWS Secrets Manager per accedere a Vertica.

Il connettore esegue il wrapping della query SQL con un comando EXPORT di Vertica, come nell'esempio seguente.


EXPORT TO PARQUET (directory = 's3://DOC-EXAMPLE-BUCKET/folder_name, 
   Compression='Snappy', fileSizeMB=64) OVER() as 
SELECT
PATH_ID,
...
SOURCE_ITEMIZED,
SOURCE_OVERRIDE
FROM DELETED_OBJECT_SCHEMA.FORM_USAGE_DATA
WHERE PATH_ID <= 5;

Vertica elabora la query SQL e invia il set di risultati a un bucket Amazon S3. Per una migliore velocità di trasmissione effettiva, Vertica utilizza l'opzione EXPORT per eseguire in parallelo l'operazione di scrittura di più file Parquet.
Athena effettua la scansione del bucket Amazon S3 per determinare il numero di file da leggere per il set di risultati.
Athena effettua più chiamate alla funzione Lambda e utilizza Amazon S3 Select per leggere i file Parquet dal set di risultati. Le chiamate multiple consentono ad Athena di eseguire la lettura dei file Amazon S3 in parallelo e raggiungere una velocità di trasmissione effettiva fino a 100 GB al secondo.
Athena elabora i dati restituiti da Vertica con i dati scansionati dal data lake e restituisce il risultato.

Termini

I seguenti termini si riferiscono al connettore Vertica.

Istanza del database: qualsiasi istanza del database Vertica distribuita su Amazon EC2.
Gestore: un gestore Lambda che accede all'istanza del database. Un gestore può gestire i metadati o i record di dati.
Gestore dei metadati: un gestore Lambda che recupera i metadati dall'istanza del database.
Gestore dei record: un gestore Lambda che recupera i record di dati dall'istanza del database.
Gestore composito: un gestore Lambda che recupera sia i metadati sia i record di dati dall'istanza del database.
Proprietà o parametro: una proprietà del database utilizzata dai gestori per estrarre le informazioni del database. Queste proprietà vengono configurate come variabili di ambiente Lambda.
Stringa di connessione: una stringa di testo utilizzata per stabilire una connessione a un'istanza del database.
Catalogo: un AWS Glue catalogo non registrato con Athena che è un prefisso obbligatorio per la proprietà. connection_string

Parametri

Il connettore Vertica per Amazon Athena presenta diverse opzioni di configurazione attraverso le variabili di ambiente Lambda. Puoi utilizzare le seguenti variabili di ambiente Lambda per configurare il connettore.

AthenaCatalogName— Nome della funzione Lambda
ExportBucket— Il bucket Amazon S3 in cui vengono esportati i risultati delle query Vertica.
SpillBucket— Il nome del bucket Amazon S3 in cui questa funzione può trasferire dati.
SpillPrefix— Il prefisso della SpillBucket posizione in cui questa funzione può trasferire dati.
SecurityGroupIds— Uno o più ID che corrispondono al gruppo di sicurezza da applicare alla funzione Lambda (ad esempio, sg1sg2, osg3).
SubnetIds— Uno o più ID di sottorete che corrispondono alla sottorete che la funzione Lambda può utilizzare per accedere all'origine dati (ad esempio, subnet1 o). subnet2
SecretNameOrPrefix— Il nome o il prefisso di un set di nomi in Secrets Manager a cui questa funzione ha accesso (ad esempio,vertica-*)
VerticaConnectionString— I dettagli della connessione Vertica da utilizzare di default se non è definita alcuna connessione specifica al catalogo. La stringa può utilizzare facoltativamente la AWS Secrets Manager sintassi (ad esempio,). ${secret_name}
ID VPC: l'ID del VPC da collegare alla funzione Lambda.

Stringa di connessione

Utilizza una stringa di connessione JDBC nel formato seguente per connetterti a un'istanza del database.


vertica://jdbc:vertica://host_name:port/database?user=vertica-username&password=vertica-password

Utilizzo di un gestore a singola connessione

Puoi utilizzare i seguenti gestori di metadati e record a singola connessione per connetterti a una singola istanza Vertica.

Tipo di gestore	Classe
Gestore composito	`VerticaCompositeHandler`
Gestore dei metadati	`VerticaMetadataHandler`
Gestore dei record	`VerticaRecordHandler`

Parametri del gestore a singola connessione

Parametro	Descrizione
`default`	Obbligatorio. La stringa di connessione predefinita.

I gestori a singola connessione supportano una sola istanza del database e devono fornire un parametro di stringa di connessione del tipo default. Tutte le altre stringhe di connessione vengono ignorate.

Specifica delle credenziali

Per fornire un nome utente e una password per il database nella stringa di connessione JDBC, puoi utilizzare le proprietà della stringa di connessione o AWS Secrets Manager.

Stringa di connessione: puoi specificare un nome utente e una password come proprietà nella stringa di connessione JDBC.

Importante
Come best practice di sicurezza, non utilizzare credenziali codificate nelle variabili di ambiente o nelle stringhe di connessione. Per informazioni su come trasferire i segreti codificati in AWS Secrets Manager, consulta Move i segreti codificati nella Guida per l'utente. AWS Secrets ManagerAWS Secrets Manager
AWS Secrets Manager— Per utilizzare la funzionalità Athena Federated Query con, AWS Secrets Manager il VPC collegato alla funzione Lambda deve avere accesso a Internet o un endpoint VPC per connettersi a Secrets Manager.

È possibile inserire il nome di un segreto nella AWS Secrets Manager stringa di connessione JDBC. Il connettore sostituisce il nome del segreto con i valori username e password di Secrets Manager.

Per le istanze del database Amazon RDS, questo supporto è strettamente integrato. Se usi Amazon RDS, ti consigliamo vivamente di utilizzare AWS Secrets Manager la rotazione delle credenziali. Se il tuo database non utilizza Amazon RDS, archivia le credenziali come JSON nel seguente formato:
```
{"username": "${username}", "password": "${password}"}
```

Esempio di stringa di connessione con nomi dei segreti

La stringa seguente ha i nomi del segreto ${vertica-username} e ${vertica-password}.


vertica://jdbc:vertica://host_name:port/database?user=${vertica-username}&password=${vertica-password}

Il connettore utilizza il nome del segreto per recuperare i segreti e fornire il nome utente e la password, come nell'esempio seguente.


vertica://jdbc:vertica://host_name:port/database?user=sample-user&password=sample-password

Attualmente, il connettore Vertica riconosce le proprietà JDBC vertica-username e vertica-password.

Parametri di spill

L'SDK Lambda può riversare i dati su Amazon S3. Tutte le istanze del database a cui accede la stessa funzione Lambda riversano i dati nella stessa posizione.

Parametro	Descrizione
`spill_bucket`	Obbligatorio. Nome del bucket di spill.
`spill_prefix`	Obbligatorio. Prefisso della chiave del bucket di spill.
`spill_put_request_headers`	(Facoltativo) Una mappa codificata in JSON delle intestazioni e dei valori della richiesta per la richiesta `putObject` di Amazon S3 utilizzata per lo spill (ad esempio, `{"x-amz-server-side-encryption" : "AES256"}`). Per altre possibili intestazioni, consulta il riferimento PutObjectall'API di Amazon Simple Storage Service.

Supporto dei tipi di dati

Nella tabella seguente vengono illustrati i tipi di dati supportati per il connettore Vertica.

Booleano
BigInt
Breve
Numero intero
Long
Float
Doppio
Data
Varchar
Byte
BigDecimal
TimeStamp come Varchar

Prestazioni

La funzione Lambda esegue il pushdown della proiezione per ridurre la quantità di dati scansionati dalla query. Le clausole LIMIT riducono la quantità di dati scansionati, ma se non viene fornito un predicato, le query SELECT con una clausola LIMIT eseguiranno la scansione di almeno 16 MB di dati. Il connettore Vertica è resiliente alla limitazione della larghezza di banda della rete dovuta alla simultaneità.

Interrogazioni passthrough

Il connettore Vertica supporta le interrogazioni passthrough. Le query passthrough utilizzano una funzione di tabella per inviare l'intera query alla fonte di dati per l'esecuzione.

Per utilizzare le query passthrough con Vertica, è possibile utilizzare la seguente sintassi:


SELECT * FROM TABLE(
        system.query(
            query => 'query string'
        ))

La seguente query di esempio invia una query a un'origine dati in Vertica. La query seleziona tutte le colonne della customer tabella, limitando i risultati a 10.


SELECT * FROM TABLE(
        system.query(
            query => 'SELECT * FROM customer LIMIT 10'
        ))

Informazioni sulla licenza

Utilizzando questo connettore, l'utente riconosce l'inclusione di componenti di terze parti, un elenco dei quali è disponibile nel file pom.xml relativo a questo connettore, e accetta i termini delle rispettive licenze di terze parti fornite nel file LICENSE.txt su .com. GitHub

Risorse aggiuntive

Per le informazioni sulla versione più recente del driver JDBC, consultate il file pom.xml per il connettore Vertica su .com. GitHub

Per ulteriori informazioni su questo connettore, consulta il sito corrispondente su GitHub .com e Interrogazione di un'origine dati Vertica in Amazon Athena utilizzando l'Athena Federated Query SDK nel Big Data Blog.AWS

Avvertimento JavaScript è disabilitato o non è disponibile nel tuo browser.

Per usare la documentazione AWS, JavaScript deve essere abilitato. Consulta le pagine della guida del browser per le istruzioni.

Convenzioni dei documenti

TPC-DS

Distribuzione di un connettore origine dati