Accedi, esegui query e unisciti a tabelle Amazon DynamoDB utilizzando Athena

PDF

Creato da Moinul Al-Mamun (AWS)

Riepilogo

Questo modello mostra come configurare una connessione tra Amazon Athena e Amazon DynamoDB utilizzando il connettore Amazon Athena DynamoDB. Il connettore utilizza una funzione AWS Lambda per interrogare i dati in DynamoDB. Non è necessario scrivere alcun codice per configurare la connessione. Una volta stabilita la connessione, è possibile accedere e analizzare rapidamente le tabelle DynamoDB utilizzando Athena Federated Query per eseguire comandi SQL da Athena. Puoi anche unire una o più tabelle DynamoDB tra loro o con altre fonti di dati, come Amazon Redshift o Amazon Aurora.

Prerequisiti e limitazioni

Prerequisiti

• Un account AWS attivo con autorizzazioni per gestire tabelle DynamoDB, sorgenti di dati Athena, Lambda e ruoli AWS Identity and Access Management (IAM)

• Un bucket Amazon Simple Storage Service (Amazon S3) in cui Athena può archiviare i risultati delle query

• Un bucket S3 in cui il connettore Athena DynamoDB può salvare i dati a breve termine

• Una regione AWS che supporta la versione 2 del motore Athena

• Autorizzazioni IAM per accedere ad Athena e ai bucket S3 richiesti

• Connettore Amazon Athena DynamoDB, installato

Limitazioni

L'interrogazione delle tabelle DynamoDB comporta un costo. Le dimensioni delle tabelle che superano alcuni gigabyte (GBs) possono comportare costi elevati. Si consiglia di considerare i costi prima di eseguire qualsiasi operazione SCAN completa della tabella. Per ulteriori informazioni, consulta Prezzi di Amazon DynamoDB. Per ridurre i costi e ottenere prestazioni elevate, si consiglia di utilizzare sempre LIMIT nella query (ad esempio,SELECT * FROM table1 LIMIT 10). Inoltre, prima di eseguire una query JOIN o GROUP BY in un ambiente di produzione, considerate le dimensioni delle tabelle. Se le tue tabelle sono troppo grandi, prendi in considerazione opzioni alternative come la migrazione della tabella su Amazon S3.

Architettura

Il diagramma seguente mostra come un utente può eseguire una query SQL su una tabella DynamoDB da Athena.

Il diagramma mostra il flusso di lavoro seguente:

1. Per interrogare una tabella DynamoDB, un utente esegue una query SQL da Athena.

2. Athena avvia una funzione Lambda.

3. La funzione Lambda interroga i dati richiesti nella tabella DynamoDB.

4. DynamoDB restituisce i dati richiesti alla funzione Lambda. Quindi, la funzione trasferisce i risultati della query all'utente tramite Athena.

5. La funzione Lambda memorizza i dati nel bucket S3.

Stack tecnologico

• Amazon Athena

• Amazon DynamoDB

• Amazon S3

• AWS Lambda

Strumenti

• Amazon Athena è un servizio di query interattivo che ti aiuta ad analizzare i dati direttamente in Amazon S3 utilizzando SQL standard.

• Amazon Athena DynamoDB Connector è uno strumento AWS che consente ad Athena di connettersi a DynamoDB e accedere alle tabelle utilizzando query SQL.

• Amazon DynamoDB è un servizio di database NoSQL interamente gestito che offre prestazioni elevate, prevedibili e scalabili.

• AWS Lambda è un servizio di elaborazione che ti aiuta a eseguire codice senza dover fornire o gestire server. Esegue il codice solo quando necessario e si ridimensiona automaticamente, quindi paghi solo per il tempo di calcolo che utilizzi.

Epiche

Creare tabelle DynamoDB di esempio

Attività	Descrizione	Competenze richieste
Crea la prima tabella di esempio.	Accedi alla Console di gestione AWS e apri la console DynamoDB. Scegliere Create table (Crea tabella). Per il nome della tabella, inserisci dydbtable1. Per la chiave di partizione, immettere. PK1 Per la chiave di ordinamento, immettere SK1. Nella sezione Impostazioni tabella, scegli Personalizza impostazioni. Nella sezione Table class, scegli DynamoDB Standard. Nella sezione Impostazioni della capacità di lettura/scrittura, per la modalità Capacità, scegli On-demand. Nella sezione Encryption at rest, scegli Owned by Amazon DynamoDB. Scegliere Create table (Crea tabella).	Developer
Inserisci dati di esempio nella prima tabella.	Aprire la console DynamoDB. Nel riquadro di navigazione, scegli Tabella, quindi scegli la tua tabella nella colonna Nome. Scegli Azioni, quindi scegli Crea elemento. Scegli la visualizzazione JSON. Nella barra del titolo dell'editor Attributi, disattiva View DynamoDB JSON. Nell'editor Attributi, inserisci i seguenti dati di esempio uno per uno: { "PK1": "1234", "SK1": "info", "Salary": "5000" } { "PK1": "1235", "SK1": "info", "Salary": "5200" }	Developer
Create la seconda tabella di esempio.	Aprire la console DynamoDB. Scegliere Create table (Crea tabella). Per Nome tabella, immettete dydbtable2. In Partition key (Chiave di partizione), inserisci PK2. Per il tasto Sort, immettere. SK2 Nella sezione Impostazioni tabella, scegli Personalizza impostazioni. Nella sezione Table class, scegli DynamoDB Standard. Nella sezione Impostazioni della capacità di lettura/scrittura, per la modalità Capacità, scegli On-demand. Nella sezione Encryption at rest, scegli Owned by Amazon DynamoDB. Scegliere Create table (Crea tabella).	Developer
Inserisci dati di esempio nella seconda tabella.	Aprire la console DynamoDB. Nel riquadro di navigazione, scegli Tabella, quindi scegli la tua tabella nella colonna Nome. Scegli Azioni, quindi scegli Crea elemento. Nella barra del titolo dell'editor Attributi, disattiva View DynamoDB JSON. Nell'editor Attributi, inserisci i seguenti dati di esempio uno per uno: { "PK2": "1234", "SK2": "bonus", "Bonus": "500" } { "PK2": "1235", "SK2": "bonus", "Bonus": "1000" }	Developer

Creare tabelle DynamoDB di esempio

Attività	Descrizione	Competenze richieste
Crea la prima tabella di esempio.	Accedi alla Console di gestione AWS e apri la console DynamoDB. Scegliere Create table (Crea tabella). Per il nome della tabella, inserisci dydbtable1. Per la chiave di partizione, immettere. PK1 Per la chiave di ordinamento, immettere SK1. Nella sezione Impostazioni tabella, scegli Personalizza impostazioni. Nella sezione Table class, scegli DynamoDB Standard. Nella sezione Impostazioni della capacità di lettura/scrittura, per la modalità Capacità, scegli On-demand. Nella sezione Encryption at rest, scegli Owned by Amazon DynamoDB. Scegliere Create table (Crea tabella).	Developer
Inserisci dati di esempio nella prima tabella.	Aprire la console DynamoDB. Nel riquadro di navigazione, scegli Tabella, quindi scegli la tua tabella nella colonna Nome. Scegli Azioni, quindi scegli Crea elemento. Scegli la visualizzazione JSON. Nella barra del titolo dell'editor Attributi, disattiva View DynamoDB JSON. Nell'editor Attributi, inserisci i seguenti dati di esempio uno per uno: { "PK1": "1234", "SK1": "info", "Salary": "5000" } { "PK1": "1235", "SK1": "info", "Salary": "5200" }	Developer
Create la seconda tabella di esempio.	Aprire la console DynamoDB. Scegliere Create table (Crea tabella). Per Nome tabella, immettete dydbtable2. In Partition key (Chiave di partizione), inserisci PK2. Per il tasto Sort, immettere. SK2 Nella sezione Impostazioni tabella, scegli Personalizza impostazioni. Nella sezione Table class, scegli DynamoDB Standard. Nella sezione Impostazioni della capacità di lettura/scrittura, per la modalità Capacità, scegli On-demand. Nella sezione Encryption at rest, scegli Owned by Amazon DynamoDB. Scegliere Create table (Crea tabella).	Developer
Inserisci dati di esempio nella seconda tabella.	Aprire la console DynamoDB. Nel riquadro di navigazione, scegli Tabella, quindi scegli la tua tabella nella colonna Nome. Scegli Azioni, quindi scegli Crea elemento. Nella barra del titolo dell'editor Attributi, disattiva View DynamoDB JSON. Nell'editor Attributi, inserisci i seguenti dati di esempio uno per uno: { "PK2": "1234", "SK2": "bonus", "Bonus": "500" } { "PK2": "1235", "SK2": "bonus", "Bonus": "1000" }	Developer

Creare un'origine dati in Athena per DynamoDB

Attività	Descrizione	Competenze richieste
Configura il connettore di origine dati.	Crea un'origine dati per DynamoDB, quindi crea una funzione Lambda per connetterti a quell'origine dati. Accedi alla Console di gestione AWS e apri la console Athena. Nel riquadro di navigazione, scegli Origini dati, quindi scegli Crea origine dati. Scegli l'origine dati Amazon DynamoDB, quindi scegli Avanti. Nella sezione Dettagli dell'origine dati, per Nome dell'origine dati, inserisci TestDynamoDB. Nella sezione Dettagli di connessione, seleziona una funzione Lambda già distribuita o scegli Crea funzione Lambda se non disponi di una funzione Lambda da utilizzare per questo modello. Nota: per ulteriori informazioni sulla creazione di una funzione Lambda, consulta Guida introduttiva a Lambda nella Lambda Developer Guide. (Facoltativo) Se scegli la funzione Create Lambda, devi configurare il CloudFormation modello AWS incluso nell'applicazione Java prima di distribuire quello stack. Il modello include ApplicationName, SpillBucket AthenaCatalogName, e altre impostazioni dell'applicazione. Nota: dopo aver distribuito questa applicazione basata su Java, lo stack crea una funzione Lambda che consente ad Athena di comunicare con DynamoDB. In questo modo le tabelle sono accessibili tramite comandi SQL. Implementa la tua funzione Lambda. Scegli Next (Successivo).	Developer
Verifica che la funzione Lambda possa accedere allo spill bucket S3.	Aprire la console Lambda. Nel riquadro di navigazione, scegli Funzioni, quindi scegli la funzione che hai creato in precedenza. Scegli la scheda Configurazione. Nel riquadro di sinistra, scegli Variabili di ambiente, quindi conferma che il valore della chiave èspill_bucket. Nel riquadro di sinistra, scegli Autorizzazioni, quindi nella sezione Ruolo di esecuzione, scegli il ruolo IAM associato. Nota: vieni indirizzato al ruolo IAM collegato alla tua funzione Lambda nella console IAM. Conferma di avere l'autorizzazione di scrittura su spill_bucket bucket. Se riscontri errori, consulta la sezione Informazioni aggiuntive di questo schema come guida.	Developer

Creare un'origine dati in Athena per DynamoDB

Attività	Descrizione	Competenze richieste
Configura il connettore di origine dati.	Crea un'origine dati per DynamoDB, quindi crea una funzione Lambda per connetterti a quell'origine dati. Accedi alla Console di gestione AWS e apri la console Athena. Nel riquadro di navigazione, scegli Origini dati, quindi scegli Crea origine dati. Scegli l'origine dati Amazon DynamoDB, quindi scegli Avanti. Nella sezione Dettagli dell'origine dati, per Nome dell'origine dati, inserisci TestDynamoDB. Nella sezione Dettagli di connessione, seleziona una funzione Lambda già distribuita o scegli Crea funzione Lambda se non disponi di una funzione Lambda da utilizzare per questo modello. Nota: per ulteriori informazioni sulla creazione di una funzione Lambda, consulta Guida introduttiva a Lambda nella Lambda Developer Guide. (Facoltativo) Se scegli la funzione Create Lambda, devi configurare il CloudFormation modello AWS incluso nell'applicazione Java prima di distribuire quello stack. Il modello include ApplicationName, SpillBucket AthenaCatalogName, e altre impostazioni dell'applicazione. Nota: dopo aver distribuito questa applicazione basata su Java, lo stack crea una funzione Lambda che consente ad Athena di comunicare con DynamoDB. In questo modo le tabelle sono accessibili tramite comandi SQL. Implementa la tua funzione Lambda. Scegli Next (Successivo).	Developer
Verifica che la funzione Lambda possa accedere allo spill bucket S3.	Aprire la console Lambda. Nel riquadro di navigazione, scegli Funzioni, quindi scegli la funzione che hai creato in precedenza. Scegli la scheda Configurazione. Nel riquadro di sinistra, scegli Variabili di ambiente, quindi conferma che il valore della chiave èspill_bucket. Nel riquadro di sinistra, scegli Autorizzazioni, quindi nella sezione Ruolo di esecuzione, scegli il ruolo IAM associato. Nota: vieni indirizzato al ruolo IAM collegato alla tua funzione Lambda nella console IAM. Conferma di avere l'autorizzazione di scrittura su spill_bucket bucket. Se riscontri errori, consulta la sezione Informazioni aggiuntive di questo schema come guida.	Developer

Accedi alle tabelle DynamoDB da Athena

Attività	Descrizione	Competenze richieste
Interroga le tabelle DynamoDB.	Accedi alla Console di gestione AWS e apri la console Athena. Nel riquadro di navigazione, scegli Origini dati, quindi scegli Crea origine dati. Nel riquadro di navigazione, scegli Query Editor (Editor della query). Nella scheda Editor, nella sezione Dati, per Origine dati, scegli la tua fonte di dati per Origine dati. Per Database, scegli il database. Per Query 1, inserisci la seguente query: SELECT * FROM dydbtable1 t1; Scegliete Esegui, quindi verificate l'output nella tabella. Per Query 2, inserisci la seguente query: SELECT * FROM dydbtable2 t2; Scegliete Esegui, quindi verificate l'output nella tabella.	Developer
Unisci le due tabelle DynamoDB.	DynamoDB è un data store NoSQL e non supporta l'operazione di join SQL. Di conseguenza, è necessario eseguire un'operazione di join su due tabelle DynamoDB: Scegliete l'icona con il segno più per creare un'altra query. Per Query 3, inserisci la seguente query: SELECT pk1, salary, bonus FROM dydbtable1 t1 JOIN dydbtable2 t2 ON t1.pk1 = t2.pk2;	Developer

Accedi alle tabelle DynamoDB da Athena

Attività	Descrizione	Competenze richieste
Interroga le tabelle DynamoDB.	Accedi alla Console di gestione AWS e apri la console Athena. Nel riquadro di navigazione, scegli Origini dati, quindi scegli Crea origine dati. Nel riquadro di navigazione, scegli Query Editor (Editor della query). Nella scheda Editor, nella sezione Dati, per Origine dati, scegli la tua fonte di dati per Origine dati. Per Database, scegli il database. Per Query 1, inserisci la seguente query: SELECT * FROM dydbtable1 t1; Scegliete Esegui, quindi verificate l'output nella tabella. Per Query 2, inserisci la seguente query: SELECT * FROM dydbtable2 t2; Scegliete Esegui, quindi verificate l'output nella tabella.	Developer
Unisci le due tabelle DynamoDB.	DynamoDB è un data store NoSQL e non supporta l'operazione di join SQL. Di conseguenza, è necessario eseguire un'operazione di join su due tabelle DynamoDB: Scegliete l'icona con il segno più per creare un'altra query. Per Query 3, inserisci la seguente query: SELECT pk1, salary, bonus FROM dydbtable1 t1 JOIN dydbtable2 t2 ON t1.pk1 = t2.pk2;	Developer

Risorse correlate

• Connettore Amazon Athena DynamoDB (AWS Labs)

• Interroga qualsiasi fonte di dati con la nuova query federata di Amazon Athena (AWS Big Data Blog)

• Riferimento alla versione del motore Athena (Athena User Guide)

• Semplifica l'estrazione e l'analisi dei dati di Amazon DynamoDB utilizzando AWS Glue e Amazon Athena (AWS Database Blog)

Informazioni aggiuntive

Se esegui una query in Athena con spill_bucket il {bucket_name}/folder_name/ formato, puoi ricevere il seguente messaggio di errore:

"GENERIC_USER_ERROR: Encountered an exception[java.lang.RuntimeException] from your LambdaFunction[arn:aws:lambda:us-east-1:xxxxxx:function:testdynamodb] executed in context[retrieving meta-data] with message[You do NOT own the spill bucket with the name: s3://amzn-s3-demo-bucket/athena_dynamodb_spill_data/]
This query ran against the "default" database, unless qualified by the query. Please post the error message on our forum  or contact customer support with Query Id: [query-id]"

Per risolvere questo errore, aggiorna la variabile di ambiente della funzione Lambda spill_bucket a{bucket_name_only}, quindi aggiorna la seguente policy Lambda IAM per l'accesso in scrittura ai bucket:

{
             "Action": [
                 "s3:GetObject",
                 "s3:ListBucket",
                 "s3:GetBucketLocation",
                 "s3:GetObjectVersion",
                 "s3:PutObject",
                 "s3:PutObjectAcl",
                 "s3:GetLifecycleConfiguration",
                 "s3:PutLifecycleConfiguration",
                 "s3:DeleteObject"
            ],
             "Resource": [
                 "arn:aws:s3:::spill_bucket",
                 "arn:aws:s3:::spill_bucket/*"
            ],
             "Effect": "Allow"
        }

In alternativa, puoi rimuovere il connettore di origine dati Athena creato in precedenza e ricrearlo utilizzando only for. {bucket_name} spill_bucket