Acesse, consulte e una tabelas do Amazon DynamoDB usando o Athena

Criado por Moinul Al-Mamun () AWS

Ambiente: produção

Tecnologias: análise; bancos de dados; sem servidor

AWSserviços: Amazon Athena; Amazon DynamoDB; Lambda; Amazon S3 AWS

Resumo

Este padrão mostra como configurar uma conexão entre o Amazon Athena e o Amazon DynamoDB usando o conector Amazon Athena DynamoDB. O conector usa uma função AWS Lambda para consultar os dados no DynamoDB. Não é necessário escrever nenhum código para configurar a conexão. Depois que a conexão for estabelecida, você poderá acessar e analisar rapidamente as tabelas do DynamoDB usando o Athena Federated Query para executar comandos do Athena. SQL Você também pode unir uma ou mais tabelas do DynamoDB entre si ou com outras fontes de dados, como Amazon Redshift ou Amazon Aurora.

Pré-requisitos e limitações

Pré-requisitos

• Uma AWS conta ativa com permissões para gerenciar tabelas do DynamoDB, fontes do Athena Data, Lambda e funções de Identity AWS and Access Management () IAM

• Um bucket do Amazon Simple Storage Service (Amazon S3) no qual o Athena poderá armazenar resultados de consultas

• Um bucket do S3 em que o Athena DynamoDB Connector pode salvar os dados no curto prazo

• Uma AWS região que suporta a versão 2 do motor Athena

• IAMpermissões para acessar o Athena e os buckets S3 necessários

• Conector do DynamoDB no Amazon Athena, instalado

Limitações

Há um custo para consultar tabelas do DynamoDB. Tamanhos de tabela superiores a alguns gigabytes (GBs) podem gerar um alto custo. Recomendamos que você considere o custo antes de realizar qualquer SCAN operação de mesa completa. Para obter mais informações, consulte a Definição de preço do Amazon DynamoDB. Para reduzir custos e obter alto desempenho, recomendamos que você sempre use LIMIT em sua consulta (por exemplo,SELECT * FROM table1 LIMIT 10). Além disso, antes de realizar uma consulta JOIN ou GROUP BY em um ambiente de produção, considere o tamanho das tabelas. Se suas tabelas forem muito grandes, considere opções alternativas, como migrar a tabela para o Amazon S3.

Arquitetura

O diagrama a seguir mostra como um usuário pode executar uma SQL consulta em uma tabela do DynamoDB do Athena.

O diagrama mostra o seguinte fluxo de trabalho:

1. Para consultar uma tabela do DynamoDB, um usuário executa uma SQL consulta do Athena.

2. O Athena inicia uma função do Lambda.

3. A função do Lambda consulta os dados solicitados na tabela do DynamoDB.

4. O DynamoDB retorna os dados solicitados para a função do Lambda. Em seguida, a função transfere os resultados da consulta para o usuário por meio do Athena.

5. A função do Lambda armazena dados no bucket do S3.

Pilha de tecnologia

• Amazon Athena

• Amazon DynamoDB

• Amazon S3

• AWSLambda

Ferramentas

• O Amazon Athena é um serviço de consulta interativo que ajuda você a analisar dados diretamente no Amazon S3 usando o padrão. SQL

• O Amazon Athena DynamoDB Connector é uma ferramenta AWS que permite que o Athena se conecte ao DynamoDB e acesse suas tabelas usando consultas. SQL

• O Amazon DynamoDB é um serviço SQL sem banco de dados totalmente gerenciado que fornece desempenho rápido, previsível e escalável.

• AWSO Lambda é um serviço de computação que ajuda você a executar código sem precisar provisionar ou gerenciar servidores. Ele executa o código somente quando necessário e dimensiona automaticamente, assim, você paga apenas pelo tempo de computação usado.

Épicos

Criar exemplos de tabelas do DynamoDB

Tarefa	Descrição	Habilidades necessárias
Crie a primeira tabela de exemplo.	Faça login no AWS Management Console e abra o console do DynamoDB. Escolha Create table. Em Nome da tabela, insira dydbtable1. Em Chave de partição, insira PK1. Em Chave de classificação, insira SK1. Na seção Configurações da tabela, selecione Personalizar configurações. Na seção Classe de tabela, escolha DynamoDB Standard. Na seção Configurações de capacidade de leitura/gravação, para Modo de capacidade, escolha Sob demanda. Na seção Criptografia em repouso, escolha Propriedade do Amazon DynamoDB. Escolha Create table.	Desenvolvedor
Insira dados de exemplo na primeira tabela.	Abra o console do DynamoDB. No painel de navegação, selecione Tabela e selecione sua tabela na coluna Nome. Escolha Ações e, em seguida, Criar item. Escolha a JSONvisualização. Na barra de título do editor de atributos, desative a opção Exibir DynamoDB. JSON No editor Atributos, insira os seguintes dados de exemplo, um por um: { "PK1": "1234", "SK1": "info", "Salary": "5000" } { "PK1": "1235", "SK1": "info", "Salary": "5200" }	Desenvolvedor
Crie a segunda tabela de exemplo.	Abra o console do DynamoDB. Escolha Create table. Em Nome da tabela, insira dydbtable2. Em Partition key, (Chave de partição), insira PK2. Em Chave de classificação, insira SK2. Na seção Configurações da tabela, selecione Personalizar configurações. Na seção Classe de tabela, escolha DynamoDB Standard. Na seção Configurações de capacidade de leitura/gravação, para Modo de capacidade, escolha Sob demanda. Na seção Criptografia em repouso, escolha Propriedade do Amazon DynamoDB. Escolha Create table.	Desenvolvedor
Insira dados de exemplo na segunda tabela.	Abra o console do DynamoDB. No painel de navegação, selecione Tabela e selecione sua tabela na coluna Nome. Escolha Ações e, em seguida, Criar item. Na barra de título do editor de atributos, desative a opção Exibir DynamoDB. JSON No editor Atributos, insira os seguintes dados de exemplo, um por um: { "PK2": "1234", "SK2": "bonus", "Bonus": "500" } { "PK2": "1235", "SK2": "bonus", "Bonus": "1000" }	Desenvolvedor

Crie uma fonte de dados no Athena para DynamoDB

Tarefa	Descrição	Habilidades necessárias
Configure o conector da fonte de dados.	Crie uma fonte de dados para o DynamoDB e, em seguida, uma função do Lambda para se conectar a essa fonte de dados. Faça login no console de AWS gerenciamento e abra o console do Athena. No painel de navegação, escolha Fontes de dados e, em seguida, Criar fonte de dados. Escolha a fonte de dados do Amazon DynamoDB e, em seguida, Avançar. Na seção Detalhes da fonte de dados, em Nome da fonte de dados, insira testDynamoDB. Na seção Detalhes da conexão, selecione uma função do Lambda que já esteja implantada ou escolha Criar função do Lambda se você não tiver uma função do Lambda para usar nesse padrão. Observação: Para obter mais informações sobre como criar uma função do Lambda, consulte Conceitos básicos do AWS Lambda no Guia do desenvolvedor do Lambda. (Opcional) Se você escolher Criar função Lambda, deverá configurar o AWS CloudFormation modelo incluído pelo aplicativo Java antes de implantar essa pilha. O modelo inclui ApplicationName, SpillBucket, AthenaCatalogName, e outras configurações do aplicativo. Observação: depois de implantar esse aplicativo baseado em Java, a pilha cria uma função do Lambda que permite que o Athena se comunique com o DynamoDB. Isso torna suas tabelas acessíveis por meio de SQL comandos. Implantação da função do Lambda. Escolha Próximo.	Desenvolvedor
Verifique se a função do Lambda pode acessar o bucket de vazamento do S3.	Abra o console do lambda. No painel de navegação, escolha Funções e, em seguida, escolha a função que você criou anteriormente. Escolha a guia Configuração. No painel esquerdo, escolha Variáveis de ambiente e confirme se o valor da chave é spill_bucket. No painel esquerdo, escolha Permissões e, na seção Função de execução, escolha a IAM função anexada. Observação: você é direcionado para a IAM função associada à sua função Lambda no IAM console. Confirme se você tem permissão de gravação no bucket spill_bucket. Se ocorrerem erros, consulte a seção Informações adicionais neste padrão para obter orientação.	Desenvolvedor

Acessar tabelas do DynamoDB a partir do Athena

Tarefa	Descrição	Habilidades necessárias
Consultar as tabelas do DynamoDB.	Faça login no console de AWS gerenciamento e abra o console do Athena. No painel de navegação, escolha Fontes de dados e, em seguida, Criar fonte de dados. No painel de navegação, selecione Editor de consultas. Na guia Editor, na seção Dados, em Fonte de dados, escolha sua fonte de dados em Fonte de dados. Em Banco de dados, escolha seu banco de dados. Para Consulta 1, insira a seguinte consulta: SELECT * FROM dydbtable1 t1; Escolha Executar e, em seguida, verifique o resultado na tabela. Para Consulta 2, insira a seguinte consulta: SELECT * FROM dydbtable2 t2; Escolha Executar e, em seguida, verifique o resultado na tabela.	Desenvolvedor
Unir duas tabelas do DynamoDB.	O DynamoDB não tem armazenamento de dados e SQL não oferece suporte à SQL operação de junção. Consequentemente, você deve realizar uma operação de junção em duas tabelas do DynamoDB: Selecione o ícone de adição para criar uma nova consulta. Para Consulta 3, insira a seguinte consulta: SELECT pk1, salary, bonus FROM dydbtable1 t1 JOIN dydbtable2 t2 ON t1.pk1 = t2.pk2;	Desenvolvedor

Recursos relacionados

• Conector Amazon Athena DynamoDB (laboratórios) AWS

• Consulte qualquer fonte de dados com a nova consulta federada do Amazon Athena (AWSBig Data Blog)

• Referência da versão do mecanismo Athena (Guia do usuário do Athena)

• Simplifique a extração e análise de dados do Amazon DynamoDB usando o AWS Glue e o Amazon Athena (Database Blog) AWS

Mais informações

Se você executar uma consulta no Athena com spill_bucket no formato {bucket_name}/folder_name/, poderá receber a seguinte mensagem de erro:

"GENERIC_USER_ERROR: Encountered an exception[java.lang.RuntimeException] from your LambdaFunction[arn:aws:lambda:us-east-1:xxxxxx:function:testdynamodb] executed in context[retrieving meta-data] with message[You do NOT own the spill bucket with the name: s3://amzn-s3-demo-bucket/athena_dynamodb_spill_data/]
This query ran against the "default" database, unless qualified by the query. Please post the error message on our forum  or contact customer support with Query Id: [query-id]"

Para resolver esse erro, atualize a variável de ambiente da função Lambda spill_bucket para e, em seguida{bucket_name_only}, atualize a seguinte IAM política do Lambda para acesso de gravação no bucket:

{
             "Action": [
                 "s3:GetObject",
                 "s3:ListBucket",
                 "s3:GetBucketLocation",
                 "s3:GetObjectVersion",
                 "s3:PutObject",
                 "s3:PutObjectAcl",
                 "s3:GetLifecycleConfiguration",
                 "s3:PutLifecycleConfiguration",
                 "s3:DeleteObject"
            ],
             "Resource": [
                 "arn:aws:s3:::spill_bucket",
                 "arn:aws:s3:::spill_bucket/*"
            ],
             "Effect": "Allow"
        }

Como alternativa, você pode remover o conector da fonte de dados do Athena criado anteriormente e recriá-lo usando somente {bucket_name} para spill_bucket.