Mantenha os dados em uma tabela de destino atualizados com o AWS Glue Athena

Este projeto de amostra demonstra como consultar uma tabela de destino para obter dados atuais com o AWS Glue Catalog e, em seguida, atualizá-los com novos dados de outras fontes usando o Amazon Athena.

Neste projeto, a máquina de estado do Step Functions chama o AWS Glue Catalog para verificar se existe uma tabela de destino em um bucket do Amazon S3. Se nenhuma tabela for encontrada, uma nova tabela será criada. Em seguida, Step Functions executa uma consulta do Athena para adicionar linhas à tabela de destino de uma fonte de dados diferente: primeiro consultando a tabela de destino para obter a data mais recente, depois consultando a tabela de origem em busca de dados mais recentes e inserindo-os na tabela de destino.

Etapa 1: Criar a máquina de estado

1. Abra o console do Step Functions e clique em Criar máquina de estado.

2. Escolha Criar a partir do modelo e encontre o modelo inicial relacionado. Escolha Próximo para continuar.

3. Escolha como usar o modelo:

   1. Execute uma demonstração — cria uma máquina de estado somente para leitura. Após a revisão, você pode criar o fluxo de trabalho e todos os recursos relacionados.

   2. Desenvolva com base nela — fornece uma definição de fluxo de trabalho editável que você pode revisar, personalizar e implantar com seus próprios recursos. (Recursos relacionados, como funções ou filas, não serão criados automaticamente.)

4. Escolha Usar modelo para continuar com a seleção.

   nota

   As cobranças padrão se aplicam aos serviços implantados em sua conta.

Etapa 2: executar a máquina de estado de demonstração

Se você escolher a opção Executar uma demonstração, todos os recursos relacionados serão implantados e prontos para execução. Se você escolheu a opção Criar nela, talvez seja necessário definir valores de espaço reservado e criar recursos adicionais antes de executar seu fluxo de trabalho personalizado.

1. Escolha Implantar e executar.

2. Aguarde até que a AWS CloudFormation pilha seja implantada. Esse processo pode levar até 10 minutos.

3. Depois que a opção Iniciar execução for exibida, revise a Entrada e escolha Iniciar execução.

Parabéns!

Agora você deve ter uma demonstração em execução da sua máquina de estado. Você pode escolher estados na visualização do gráfico para revisar a entrada, a saída, as variáveis, a definição e os eventos.