Connettore Redshift di Amazon Athena - Amazon Athena
PrerequisitiLimitazioniTerminiParametriSupporto dei tipi di datiPartizioni e suddivisioniPrestazioniInterrogazioni pass-throughRisorse aggiuntive

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Connettore Redshift di Amazon Athena

Il connettore Amazon Athena Redshift consente ad Amazon Athena di accedere ai tuoi database Amazon Redshift e Amazon Redshift Serverless, incluse le viste Redshift Serverless. Puoi connetterti a entrambi i servizi utilizzando le impostazioni di configurazione della stringa di connessione JDBC descritte in questa pagina.

Questo connettore può essere registrato con Glue Data Catalog come catalogo federato. Supporta i controlli di accesso ai dati definiti in Lake Formation a livello di catalogo, database, tabella, colonna, riga e tag. Questo connettore utilizza Glue Connections per centralizzare le proprietà di configurazione in Glue.

Prerequisiti

Limitazioni

  • Le operazioni di scrittura DDL non sono supportate.

  • In una configurazione multiplex, il bucket di spill e il prefisso sono condivisi tra tutte le istanze del database.

  • Eventuali limiti Lambda pertinenti. Per ulteriori informazioni, consulta la sezione Quote Lambda nella Guida per gli sviluppatori di AWS Lambda .

  • Poiché Redshift non supporta le partizioni esterne, tutti i dati specificati da una query vengono recuperati ogni volta.

  • Come Redshift, Athena considera gli spazi finali nei CHAR tipi Redshift come semanticamente insignificanti ai fini della lunghezza e del confronto. Nota che ciò si applica solo ai tipi ma non ai tipi. CHAR VARCHAR Athena ignora gli spazi finali per il CHAR tipo, ma li considera significativi per il tipo. VARCHAR

Termini

I seguenti termini sono correlati al connettore Redshift.

  • Istanza di database: qualsiasi istanza di un database distribuita in locale, su Amazon EC2 o su Amazon RDS.

  • Gestore: un gestore Lambda che accede all'istanza del database. Un gestore può gestire i metadati o i record di dati.

  • Gestore dei metadati: un gestore Lambda che recupera i metadati dall'istanza del database.

  • Gestore dei record: un gestore Lambda che recupera i record di dati dall'istanza del database.

  • Gestore composito: un gestore Lambda che recupera sia i metadati sia i record di dati dall'istanza del database.

  • Proprietà o parametro: una proprietà del database utilizzata dai gestori per estrarre le informazioni del database. Queste proprietà vengono configurate come variabili di ambiente Lambda.

  • Stringa di connessione: una stringa di testo utilizzata per stabilire una connessione a un'istanza del database.

  • Catalogo: un AWS Glue catalogo non registrato con Athena che è un prefisso obbligatorio per la proprietà. connection_string

  • Gestore multiplex: un gestore Lambda in grado di accettare e utilizzare più connessioni al database.

Parametri

Utilizza i parametri in questa sezione per configurare il connettore Redshift.

Si consiglia di configurare un connettore Redshift utilizzando un oggetto Glue connections. A tale scopo, imposta la variabile di glue_connection ambiente del connettore Amazon Redshift Lambda sul nome della connessione Glue da utilizzare.

Proprietà delle connessioni Glue

Utilizzate il comando seguente per ottenere lo schema per un oggetto di connessione Glue. Questo schema contiene tutti i parametri che puoi usare per controllare la tua connessione.

aws glue describe-connection-type --connection-type REDSHIFT

Proprietà dell'ambiente Lambda

glue_connection — Specificate il nome della connessione Glue associata al connettore federato.

Nota

  • Tutti i connettori che utilizzano le connessioni Glue devono essere utilizzati AWS Secrets Manager per memorizzare le credenziali.

  • Il connettore Redshift creato utilizzando le connessioni Glue non supporta l'uso di un gestore di multiplexing.

  • Il connettore Redshift creato utilizzando le connessioni Glue supporta ConnectionSchemaVersion solo 2.

Nota

I connettori di origine dati Athena creati il 3 dicembre 2024 e versioni successive utilizzano connessioni. AWS Glue

I nomi e le definizioni dei parametri elencati di seguito si riferiscono ai connettori di origine dati Athena creati senza una connessione Glue associata. Utilizza i seguenti parametri solo quando distribuisci manualmente una versione precedente di un connettore di origine dati Athena o quando glue_connection la proprietà dell'ambiente non è specificata.

Proprietà dell'ambiente Lambda

  • spill_bucket: specifica il bucket Amazon S3 per i dati che superano i limiti della funzione Lambda.

  • spill_prefix: (facoltativo) per impostazione predefinita, viene utilizzata una sottocartella nello spill_bucket specificato chiamata athena-federation-spill. Ti consigliamo di configurare un ciclo di vita dell'archiviazione di Amazon S3 in questa posizione per eliminare gli spill più vecchi di un numero predeterminato di giorni o ore.

  • spill_put_request_headers: (facoltativo) una mappa codificata in JSON delle intestazioni e dei valori della richiesta per la richiesta putObject di Amazon S3 utilizzata per lo spill (ad esempio, {"x-amz-server-side-encryption" : "AES256"}). Per altre possibili intestazioni, consulta il riferimento PutObjectall'API di Amazon Simple Storage Service.

  • kms_key_id: (facoltativo) per impostazione predefinita, tutti i dati riversati in Amazon S3 vengono crittografati utilizzando la modalità di crittografia autenticata AES-GCM e una chiave generata casualmente. Per fare in modo che la tua funzione Lambda utilizzi chiavi di crittografia più potenti generate da KMS come a7e63k4b-8loc-40db-a2a1-4d0en2cd8331, puoi specificare l'ID della chiave KMS.

  • disable_spill_encryption: (facoltativo) se impostato su True, disabilita la crittografia dello spill. L'impostazione predefinita è False: in questo modo, i dati riversati su S3 vengono crittografati utilizzando AES-GCM tramite una chiave generata casualmente o una chiave generata mediante KMS. La disabilitazione della crittografia dello spill può migliorare le prestazioni, soprattutto se la posizione dello spill utilizza la crittografia lato server.

  • disable_glue — (Facoltativo) Se presente e impostato su true, il connettore non tenta di recuperare metadati supplementari da. AWS Glue

  • glue_catalog: (facoltativo) utilizza questa opzione per specificare un catalogo AWS Glue multi-account. Per impostazione predefinita, il connettore tenta di ottenere metadati dal proprio account. AWS Glue

Stringa di connessione

Utilizza una stringa di connessione JDBC nel formato seguente per connetterti a un'istanza del database.

redshift://${jdbc_connection_string}

Utilizzo di un gestore multiplex

Puoi utilizzare un gestore multiplex per connetterti a più istanze del database con una singola funzione Lambda. Le richieste vengono indirizzate in base al nome del catalogo. Utilizza le seguenti classi in Lambda.

Gestore Classe
Gestore composito RedshiftMuxCompositeHandler
Gestore dei metadati RedshiftMuxMetadataHandler
Gestore dei record RedshiftMuxRecordHandler
Parametri del gestore multiplex
Parametro Descrizione
$catalog_connection_string Obbligatorio. Una stringa di connessione di un'istanza del database. Appone alla variabile di ambiente un prefisso con il nome del catalogo utilizzato in Athena. Ad esempio, se il catalogo registrato presso Athena è myredshiftcatalog, il nome della variabile di ambiente è myredshiftcatalog_connection_string.
default Obbligatorio. La stringa di connessione predefinita. Questa stringa viene utilizzata quando il catalogo è lambda:${ AWS_LAMBDA_FUNCTION_NAME}.

Le seguenti proprietà di esempio si riferiscono a una funzione Lambda Redshift MUX che supporta due istanze del database: redshift1 (il valore predefinito) e redshift2.

Proprietà Valore
default redshift://jdbc:redshift://redshift1.host:5439/dev?user=sample2&password=sample2
redshift_catalog1_connection_string redshift://jdbc:redshift://redshift1.host:3306/default?${Test/RDS/Redshift1}
redshift_catalog2_connection_string redshift://jdbc:redshift://redshift2.host:3333/default?user=sample2&password=sample2
Specifica delle credenziali

Per fornire un nome utente e una password per il database nella stringa di connessione JDBC, puoi utilizzare le proprietà della stringa di connessione o AWS Secrets Manager.

  • Stringa di connessione: puoi specificare un nome utente e una password come proprietà nella stringa di connessione JDBC.

    Importante

    Come procedura consigliata in materia di sicurezza, non utilizzate credenziali codificate nelle variabili di ambiente o nelle stringhe di connessione. Per informazioni su come trasferire i segreti codificati in AWS Secrets Manager, consulta Move i segreti codificati nella Guida per l'utente. AWS Secrets ManagerAWS Secrets Manager

  • AWS Secrets Manager— Per utilizzare la funzionalità Athena Federated Query con, AWS Secrets Manager il VPC collegato alla funzione Lambda deve avere accesso a Internet o un endpoint VPC per connettersi a Secrets Manager.

    È possibile inserire il nome di un segreto nella AWS Secrets Manager stringa di connessione JDBC. Il connettore sostituisce il nome del segreto con i valori username e password di Secrets Manager.

    Per le istanze del database Amazon RDS, questo supporto è strettamente integrato. Se usi Amazon RDS, ti consigliamo vivamente di utilizzare AWS Secrets Manager la rotazione delle credenziali. Se il tuo database non utilizza Amazon RDS, archivia le credenziali come JSON nel seguente formato:

    {"username": "${username}", "password": "${password}"}
Esempio di stringa di connessione con nome del segreto

La stringa seguente ha il nome del segreto ${Test/RDS/ Redshift1}.

redshift://jdbc:redshift://redshift1.host:3306/default?...&${Test/RDS/Redshift1}&...

Il connettore utilizza il nome del segreto per recuperare i segreti e fornire il nome utente e la password, come nell'esempio seguente.

redshift://jdbc:redshift://redshift1.host:3306/default?...&user=sample2&password=sample2&...

Attualmente, il connettore Redshift riconosce le proprietà JDBC user e password.

Supporto dei tipi di dati

Nella tabella seguente vengono illustrati i tipi di dati corrispondenti per JDBC e Apache Arrow.

JDBC Arrow
Booleano Bit
Numero intero Tiny
Breve Smallint
Numero intero Int
Long Bigint
float Float4
Doppio Float8
Data DateDay
Timestamp DateMilli
Stringa Varchar
Byte Varbinary
BigDecimal Decimale
ARRAY Elenco

Partizioni e suddivisioni

Redshift non supporta le partizioni esterne. Per ulteriori informazioni sui problemi relativi alle prestazioni, consulta la sezione Prestazioni.

Prestazioni

Il connettore Athena Redshift esegue il pushdown dei predicati per ridurre i dati scansionati dalla query. LIMITclausole, ORDER BY clausole, predicati semplici ed espressioni complesse vengono inserite nel connettore per ridurre la quantità di dati scansionati e ridurre il tempo di esecuzione delle query. Tuttavia, la selezione di un sottoinsieme di colonne comporta un runtime di esecuzione delle query più lungo. Amazon Redshift è particolarmente soggetto a rallentamenti nell'esecuzione delle query quando più query vengono eseguite simultaneamente.

Clausole LIMIT

Una dichiarazione LIMIT N riduce la quantità di dati analizzati dalla query. Con il pushdown LIMIT N, il connettore restituisce solo le righe N ad Athena.

Query top N

Una query top N principale specifica un ordinamento dei set di risultati e un limite al numero di righe restituite. Puoi utilizzare questo tipo di query per determinare i valori massimi top N o i valori minimi top N per i set di dati. Con il pushdown top N, il connettore restituisce solo le righe ordinate N ad Athena.

Predicati

Un predicato è un'espressione nella clausola WHERE di una query SQL che valuta a un valore booleano e filtra le righe in base a più condizioni. Il connettore Redshift di Athena può combinare queste espressioni e inviarle direttamente a Redshift per migliorare le funzionalità e per ridurre la quantità di dati scansionati.

I seguenti operatori del connettore Redshift di Athena supportano il pushdown dei predicati:

  • Booleano: AND, OR, NOT

  • Uguaglianza: EQUAL, NOT_EQUAL, LESS_THAN, LESS_THAN_OR_EQUAL, GREATER_THAN, GREATER_THAN_OR_EQUAL, IS_DISTINCT_FROM, NULL_IF, IS_NULL

  • Aritmetica: ADD, SUBTRACT, MULTIPLY, DIVIDE, MODULUS, NEGATE

  • Altro: LIKE_PATTERN, IN

Esempio di pushdown combinato

Per le funzionalità di esecuzione di query avanzate, combina i tipi di pushdown, come nell'esempio seguente:

SELECT * 
FROM my_table 
WHERE col_a > 10 
    AND ((col_a + col_b) > (col_c % col_d)) 
    AND (col_e IN ('val1', 'val2', 'val3') OR col_f LIKE '%pattern%') 
ORDER BY col_a DESC 
LIMIT 10;

Per un articolo sull'utilizzo del pushdown del predicato per migliorare le prestazioni nelle query federate, incluso Amazon Redshift, consulta Come migliorare le query federate con il pushdown del predicato in Amazon Athena nel Blog sui Big Data di AWS .

Interrogazioni pass-through

Il connettore Redshift supporta le query passthrough. Le query passthrough utilizzano una funzione di tabella per inviare l'intera query alla fonte di dati per l'esecuzione.

Per utilizzare le query passthrough con Redshift, puoi utilizzare la seguente sintassi:

SELECT * FROM TABLE(
        system.query(
            query => 'query string'
        ))

La seguente query di esempio invia una query a un'origine dati in Redshift. La query seleziona tutte le colonne della customer tabella, limitando i risultati a 10.

SELECT * FROM TABLE(
        system.query(
            query => 'SELECT * FROM customer LIMIT 10'
        ))

Risorse aggiuntive

Per le informazioni sulla versione più recente del driver JDBC, consulta il file pom.xml per il connettore Redshift su .com. GitHub

Per ulteriori informazioni su questo connettore, visitate il sito corrispondente su .com. GitHub