Utilizzo di Amazon Athena Federated Query

Se disponi di dati in origini diverse da Amazon S3, puoi utilizzare Athena Federated Query per eseguire query locali sui dati o compilare pipeline che estraggono i dati da più origini dati e archiviarli in Amazon S3. Con Athena Federated Query, puoi eseguire query SQL su dati archiviati in origini dati relazionali, non relazionali, oggetto e personalizzate.

Athena utilizza connettori di origine dati che funzionano AWS Lambda per eseguire query federate. Un connettore origine dati è una parte di codice in grado di effettuare la conversione tra l'origine dati di destinazione e Athena. Puoi pensare a un connettore come a un'estensione del motore di query di Athena. Esistono connettori di origine dati Athena predefiniti per fonti di dati come Amazon Logs, CloudWatch Amazon DynamoDB, Amazon DocumentDB e Amazon RDS e fonti di dati relazionali conformi a JDBC come MySQL e PostgreSQL con licenza Apache 2.0. Puoi inoltre utilizzare l'SDK Athena Query Federation per scrivere connettori personalizzati. Per scegliere, configurare e distribuire un connettore origine dati nell'account, puoi utilizzare le console Athena e Lambda o AWS Serverless Application Repository. Dopo aver distribuito i connettori origine dati, il connettore è associato a un catalogo che puoi specificare nelle query SQL. Puoi combinare istruzioni SQL di più cataloghi ed estendere più origini dati con una singola query.

Quando una query viene inviata rispetto a un'origine dati, Athena richiama il connettore corrispondente per identificare le parti delle tabelle che devono essere lette, gestisce il parallelismo ed esegue il push down dei predicati del filtro. In base all'utente che invia la query, i connettori possono fornire o limitare l'accesso a elementi di dati specifici. I connettori utilizzano Apache Arrow come il formato per restituire i dati richiesti in una query, che consente l'implementazione dei connettori in linguaggi quali C, C++, Java, Python e Rust. Poiché i connettori vengono elaborati in Lambda, possono essere utilizzati per accedere ai dati da qualsiasi origine dati sul cloud o in locale che sia accessibile da Lambda.

Per scrivere il tuo connettore origine dati, puoi utilizzare l'SDK Athena Query Federation per personalizzare uno dei connettori precompilati forniti e gestiti da Amazon Athena. Puoi modificare una copia del codice sorgente dal repository e quindi utilizzare lo strumento di pubblicazione Connector per creare il tuo pacchetto. GitHub AWS Serverless Application Repository

Nota

Sviluppatori di terze parti potrebbero aver utilizzato Athena Query Federation SDK per scrivere connettori di origini dati. Per problemi di supporto o di licenza relativi a questi connettori di origini dati, contattare il provider di connettori. Questi connettori non sono testati o supportati da AWS.

Per un elenco dei connettori origine dati scritti e testati da Athena, consulta Connettori di origine dati disponibili.

Per informazioni sulla scrittura di un connettore di origine dati personalizzato, vedi Esempio di connettore Athena attivo. GitHub

Considerazioni e limitazioni

• Versioni del motore: Athena Federated Query è supportato solo dalla versione 2 del motore Athena e versioni successive. Per ulteriori informazioni sulle versioni del motore Athena, consulta Controllo delle versioni del motore di Athena.

• Visualizzazioni: puoi creare ed eseguire query sulle viste su origini dati federate. Le viste federate vengono archiviate nell' AWS Glue origine dati sottostante e non nella stessa. Per ulteriori informazioni, consulta Esecuzione di query su visualizzazioni federate.

• Operazioni di scrittura: le operazioni di scrittura come INSERT INTO non sono supportate. Il tentativo di eseguire questa operazione potrebbe generare il messaggio di errore This operation is currently not supported for external catalogs (Questa operazione non è attualmente supportata per i cataloghi esterni).

• Prezzi — Per informazioni sui prezzi, consulta Prezzi di Amazon Athena.

  Driver JDBC — Per utilizzare il driver JDBC con query federate o un metastore Hive esterno, includere MetadataRetrievalMethod=ProxyAPI nella stringa di connessione JDBC. Per informazioni sul driver JDBC, consulta Connessione ad Amazon Athena con JDBC.

• Secrets Manager – Per utilizzare la funzione Query federata Athena con AWS Secrets Manager, devi configurare un endpoint privato Amazon VPC per Secrets Manager. Per ulteriori informazioni, consulta Creare un endpoint privato Secrets Manager VPC nella Guida dell'utente di AWS Secrets Manager .

I connettori origine dati potrebbero richiedere l'accesso alle risorse seguenti per funzionare correttamente. Se utilizzi un connettore precompilato, controlla le informazioni relative al connettore per assicurarti di aver configurato correttamente il VPC. Inoltre, assicurati che i principali IAM che eseguono le query e creano i connettori dispongano dei privilegi per le operazioni richieste. Per ulteriori informazioni, consulta Esempio di policy di autorizzazione IAM per consentire la query federata Athena.

• Amazon S3 — Oltre a scrivere i risultati delle query nella posizione dei risultati della query Athena in Amazon S3, i connettori di dati scrivono anche in un bucket di spill in Amazon S3. Sono richieste connettività e autorizzazioni a questa posizione Amazon S3.

• Athena — Le origini dati necessitano di connettività ad Athena e viceversa per controllare lo stato delle query e prevenire l'overscan.

• AWS Glue Data Catalog — Sono necessarie connettività e autorizzazioni se il connettore utilizza il catalogo dati per metadati supplementari o primari.

Video

Guarda i video seguenti per sapere di più sull'utilizzo di Athena Federated Query.

Video: analisi dei risultati di una query federata in Amazon Athena in Amazon QuickSight

Il video seguente mostra come analizzare i risultati di una query federata Athena in Amazon. QuickSight

Video: Game Analytics Pipeline

Il video seguente mostra come distribuire una Data Pipeline scalabile serverless per l'acquisizione, l'archiviazione e l'analisi dei dati di telemetria da giochi e servizi utilizzando le query federate di Amazon Athena.