Connettore Amazon Athena per Snowflake

Il connettore Amazon Athena per Snowflake consente ad Amazon Athena di eseguire query SQL sui dati archiviati nei database SQL Snowflake o sulle istanze RDS utilizzando JDBC.

Prerequisiti

• Implementa il connettore sul tuo Account AWS utilizzando la console Athena o AWS Serverless Application Repository. Per ulteriori informazioni, consulta Distribuzione di un connettore origine dati o Utilizzo di AWS Serverless Application Repository per distribuire un connettore origine dati.

Limitazioni

• Le operazioni di scrittura DDL non sono supportate.

• In una configurazione multiplex, il bucket di spill e il prefisso sono condivisi tra tutte le istanze del database.

• Eventuali limiti Lambda pertinenti. Per ulteriori informazioni, consulta la sezione Quote Lambda nella Guida per gli sviluppatori di AWS Lambda .

• Al momento, le viste di Snowflake non sono supportate.

• In Snowflake, poiché i nomi degli oggetti fanno distinzione tra maiuscole e minuscole, due tabelle possono avere lo stesso nome in lettere minuscole e maiuscole (ad esempio, EMPLOYEE e employee). In Athena Federated Query, i nomi delle tabelle dello schema vengono forniti alla funzione Lambda in lettere minuscole. Per risolvere il problema, puoi fornire suggerimenti sulle query @schemaCase per recuperare i dati dalle tabelle i cui nomi che fanno distinzione tra maiuscole e minuscole. Di seguito sono riportate due query di esempio con suggerimenti per le query.

  SELECT * 
  FROM "lambda:snowflakeconnector".SYSTEM."MY_TABLE@schemaCase=upper&tableCase=upper"     

  SELECT * 
  FROM "lambda:snowflakeconnector".SYSTEM."MY_TABLE@schemaCase=upper&tableCase=lower"     

Termini

I seguenti termini si riferiscono al connettore Snowflake.

• Istanza del database: qualsiasi istanza del database distribuita on-premise, su Amazon EC2 o su Amazon RDS.

• Gestore: un gestore Lambda che accede all'istanza del database. Un gestore può gestire i metadati o i record di dati.

• Gestore dei metadati: un gestore Lambda che recupera i metadati dall'istanza del database.

• Gestore dei record: un gestore Lambda che recupera i record di dati dall'istanza del database.

• Gestore composito: un gestore Lambda che recupera sia i metadati sia i record di dati dall'istanza del database.

• Proprietà o parametro: una proprietà del database utilizzata dai gestori per estrarre le informazioni del database. Queste proprietà vengono configurate come variabili di ambiente Lambda.

• Stringa di connessione: una stringa di testo utilizzata per stabilire una connessione a un'istanza del database.

• Catalogo: un AWS Glue catalogo non registrato con Athena che è un prefisso obbligatorio per la proprietà. connection_string

• Gestore multiplex: un gestore Lambda in grado di accettare e utilizzare più connessioni al database.

Parametri

Utilizza le variabili di ambiente Lambda illustrate in questa sezione per configurare il connettore Snowflake.

Stringa di connessione

Utilizza una stringa di connessione JDBC nel formato seguente per connetterti a un'istanza del database.

snowflake://${jdbc_connection_string}

Utilizzo di un gestore multiplex

Puoi utilizzare un gestore multiplex per connetterti a più istanze del database con una singola funzione Lambda. Le richieste vengono indirizzate in base al nome del catalogo. Utilizza le seguenti classi in Lambda.

Gestore	Classe
Gestore composito	SnowflakeMuxCompositeHandler
Gestore dei metadati	SnowflakeMuxMetadataHandler
Gestore dei record	SnowflakeMuxRecordHandler

Parametri del gestore multiplex

Parametro	Descrizione
$catalog_connection_string	Obbligatorio. Una stringa di connessione di un'istanza del database. Appone alla variabile di ambiente un prefisso con il nome del catalogo utilizzato in Athena. Ad esempio, se il catalogo registrato presso Athena è mysnowflakecatalog, il nome della variabile di ambiente è mysnowflakecatalog_connection_string.
default	Obbligatorio. La stringa di connessione predefinita. Questa stringa viene utilizzata quando il catalogo è lambda:${AWS_LAMBDA_FUNCTION_NAME}.

Le seguenti proprietà di esempio si riferiscono a una funzione Lambda Snowflake MUX che supporta due istanze del database: snowflake1 (il valore predefinito) e snowflake2.

Proprietà	Valore
default	snowflake://jdbc:snowflake://snowflake1.host:port/?warehouse=warehousename&db=db1&schema=schema1&${Test/RDS/Snowflake1}
snowflake_catalog1_connection_string	snowflake://jdbc:snowflake://snowflake1.host:port/?warehouse=warehousename&db=db1&schema=schema1${Test/RDS/Snowflake1}
snowflake_catalog2_connection_string	snowflake://jdbc:snowflake://snowflake2.host:port/?warehouse=warehousename&db=db1&schema=schema1&user=sample2&password=sample2

Specifica delle credenziali

Per fornire un nome utente e una password per il database nella stringa di connessione JDBC, puoi utilizzare le proprietà della stringa di connessione o AWS Secrets Manager.

• Stringa di connessione: puoi specificare un nome utente e una password come proprietà nella stringa di connessione JDBC.

  Importante

  Come best practice di sicurezza, non utilizzare credenziali codificate nelle variabili di ambiente o nelle stringhe di connessione. Per informazioni su come trasferire i segreti codificati in AWS Secrets Manager, consulta Move i segreti codificati nella Guida per l'utente. AWS Secrets ManagerAWS Secrets Manager

• AWS Secrets Manager— Per utilizzare la funzionalità Athena Federated Query con, AWS Secrets Manager il VPC collegato alla funzione Lambda deve avere accesso a Internet o un endpoint VPC per connettersi a Secrets Manager.

  È possibile inserire il nome di un segreto nella AWS Secrets Manager stringa di connessione JDBC. Il connettore sostituisce il nome del segreto con i valori username e password di Secrets Manager.

  Per le istanze del database Amazon RDS, questo supporto è strettamente integrato. Se usi Amazon RDS, ti consigliamo vivamente di utilizzare AWS Secrets Manager la rotazione delle credenziali. Se il tuo database non utilizza Amazon RDS, archivia le credenziali come JSON nel seguente formato:

  {"username": "${username}", "password": "${password}"}

Esempio di stringa di connessione con nome del segreto

La stringa seguente ha il nome del segreto ${Test/RDS/Snowflake1}.

snowflake://jdbc:snowflake://snowflake1.host:port/?warehouse=warehousename&db=db1&schema=schema1${Test/RDS/Snowflake1}&... 

Il connettore utilizza il nome del segreto per recuperare i segreti e fornire il nome utente e la password, come nell'esempio seguente.

snowflake://jdbc:snowflake://snowflake1.host:port/warehouse=warehousename&db=db1&schema=schema1&user=sample2&password=sample2&... 

Attualmente, Snowflake riconosce le proprietà JDBC user e password. Accetta anche il nome utente e la password nel formato nome utente/password senza le chiavi user o password.

Utilizzo di un gestore a singola connessione

Puoi utilizzare i seguenti gestori di metadati e record a singola connessione per connetterti a una singola istanza Snowflake.

Tipo di gestore	Classe
Gestore composito	SnowflakeCompositeHandler
Gestore dei metadati	SnowflakeMetadataHandler
Gestore dei record	SnowflakeRecordHandler

Parametri del gestore a singola connessione

Parametro	Descrizione
default	Obbligatorio. La stringa di connessione predefinita.

I gestori a singola connessione supportano una sola istanza del database e devono fornire un parametro di stringa di connessione del tipo default. Tutte le altre stringhe di connessione vengono ignorate.

La seguente proprietà di esempio si riferisce a una singola istanza Snowflake supportata da una funzione Lambda.

Proprietà	Valore
default	snowflake://jdbc:snowflake://snowflake1.host:port/?secret=Test/RDS/Snowflake1

Parametri di spill

L'SDK Lambda può riversare i dati su Amazon S3. Tutte le istanze del database a cui accede la stessa funzione Lambda riversano i dati nella stessa posizione.

Parametro	Descrizione
spill_bucket	Obbligatorio. Nome del bucket di spill.
spill_prefix	Obbligatorio. Prefisso della chiave del bucket di spill.
spill_put_request_headers	(Facoltativo) Una mappa codificata in JSON delle intestazioni e dei valori della richiesta per la richiesta putObject di Amazon S3 utilizzata per lo spill (ad esempio, {"x-amz-server-side-encryption" : "AES256"}). Per altre possibili intestazioni, consulta il riferimento PutObjectall'API di Amazon Simple Storage Service.

Supporto dei tipi di dati

Nella tabella seguente vengono illustrati i tipi di dati corrispondenti per JDBC e Apache Arrow.

JDBC	Arrow
Booleano	Bit
Numero intero	Tiny
Breve	Smallint
Numero intero	Int
Long	Bigint
float	Float4
Doppio	Float8
Data	DateDay
Timestamp	DateMilli
Stringa	Varchar
Byte	Varbinary
BigDecimal	Decimale
ARRAY	Elenco

Conversioni dei tipi di dati

Oltre alle conversioni da JDBC ad Arrow, il connettore esegue alcune altre conversioni per rendere compatibili l'origine Snowflake e i tipi di dati Athena. Queste conversioni contribuiscono a garantire che le query vengano eseguite in modo corretto. Nella tabella seguente vengono illustrate queste conversioni.

Tipo di dati di origine (Snowflake)	Tipo di dati convertito (Athena)
TIMESTAMP	TIMESTAMPMILLI
DATE	TIMESTAMPMILLI
INTEGER	INT
DECIMAL	BIGINT
TIMESTAMP_NTZ	TIMESTAMPMILLI

Tutti gli altri tipi di dati non supportati vengono convertiti in VARCHAR.

Partizioni e suddivisioni

Le partizioni vengono utilizzate per determinare come generare suddivisioni per il connettore. Athena costruisce una colonna sintetica di tipo varchar che rappresenta lo schema di partizionamento della tabella per aiutare il connettore a generare suddivisioni. Il connettore non modifica la definizione effettiva della tabella.

Per creare questa colonna sintetica e le partizioni, Athena richiede la definizione di una chiave primaria. Tuttavia, poiché Snowflake non impone vincoli relativi alla chiave primaria, è necessario imporre l'unicità autonomamente. In caso contrario, Athena passerà automaticamente a una singola divisione.

Prestazioni

Per assicurare prestazioni ottimali, utilizza i filtri nelle query ogniqualvolta possibile. Inoltre, consigliamo vivamente di utilizzare il partizionamento nativo per recuperare set di dati di grandissime dimensioni con una distribuzione uniforme delle partizioni. La selezione di un sottoinsieme di colonne velocizza notevolmente il runtime delle query e riduce i dati scansionati. Il connettore Snowflake è resiliente alla limitazione della larghezza di banda della rete dovuta alla simultaneità.

Il connettore Athena Snowflake esegue il pushdown dei predicati per ridurre i dati scansionati dalla query. Le clausole LIMIT, i predicati semplici e le espressioni complesse vengono inviati al connettore per ridurre la quantità di dati scansionati e per ridurre il tempo di esecuzione delle query.

Clausole LIMIT

Una dichiarazione LIMIT N riduce la quantità di dati analizzati dalla query. Con il pushdown LIMIT N, il connettore restituisce solo le righe N ad Athena.

Predicati

Un predicato è un'espressione nella clausola WHERE di una query SQL che valuta a un valore booleano e filtra le righe in base a più condizioni. Il connettore Snowflake di Athena può combinare queste espressioni e inviarle direttamente a Snowflake per migliorare le funzionalità e ridurre la quantità di dati scansionati.

I seguenti operatori del connettore Athena Snowflake supportano il pushdown dei predicati:

• Booleano: AND, OR, NOT

• Uguaglianza: EQUAL, NOT_EQUAL, LESS_THAN, LESS_THAN_OR_EQUAL, GREATER_THAN, GREATER_THAN_OR_EQUAL, IS_DISTINCT_FROM, NULL_IF, IS_NULL

• Aritmetica: ADD, SUBTRACT, MULTIPLY, DIVIDE, MODULUS, NEGATE

• Altro: LIKE_PATTERN, IN

Esempio di pushdown combinato

Per le funzionalità di esecuzione di query avanzate, combina i tipi di pushdown, come nell'esempio seguente:

SELECT * 
FROM my_table 
WHERE col_a > 10 
    AND ((col_a + col_b) > (col_c % col_d))
    AND (col_e IN ('val1', 'val2', 'val3') OR col_f LIKE '%pattern%') 
LIMIT 10;

Interrogazioni pass-through

Il connettore Snowflake supporta le interrogazioni passthrough. Le query passthrough utilizzano una funzione di tabella per inviare l'intera query alla fonte di dati per l'esecuzione.

Per utilizzare le query passthrough con Snowflake, puoi utilizzare la seguente sintassi:

SELECT * FROM TABLE(
        system.query(
            query => 'query string'
        ))

La seguente query di esempio invia una query a un'origine dati in Snowflake. La query seleziona tutte le colonne della customer tabella, limitando i risultati a 10.

SELECT * FROM TABLE(
        system.query(
            query => 'SELECT * FROM customer LIMIT 10'
        ))

Informazioni sulla licenza

Utilizzando questo connettore, l'utente riconosce l'inclusione di componenti di terze parti, un elenco dei quali è disponibile nel file pom.xml relativo a questo connettore, e accetta i termini delle rispettive licenze di terze parti fornite nel file LICENSE.txt su .com. GitHub

Risorse aggiuntive

Per le informazioni sulla versione più recente del driver JDBC, consulta il file pom.xml per il connettore Snowflake su .com. GitHub

Per ulteriori informazioni su questo connettore, visitate il sito corrispondente su .com. GitHub