Como analisar dados exportados com o Amazon Athena

Depois de ter os dados de propriedade do ativo no Amazon S3, você pode usar vários dados de propriedade do ativo no AmazonAWSServiços do para gerar relatórios ou analisar e consultar os dados:

• Execute consultas SQL em seus dados usandoAmazon Athena.

• Execute análise de big data usandoAmazon EMR.

• Pesquise e analise seus dados usandoAmazôniaOpenSearchServiço.

Você pode localizar outrosAWSServiços do que podem interagir com os dados no Amazon S3 listados emAnálisenoAWS Management Console.

nota

A pilha cria um banco de dados do AWS Glue para formatar dados de propriedades de ativos. Não é possível consultar esse banco de dados para obter dados de ativos. Siga os passos nesta seção para criar um banco de dados do AWS Glue que você pode consultar.

Neste tutorial, você aprenderá como configurar os pré-requisitos para usar o Amazon Athena e como usar o Athena para executar consultas SQL no exportadoAWS IoT SiteWisedados de ativos. Para consultar dados com o Athena, você deve primeiro preencher oAWS Glue Data Catalogcom seus dados de ativos. O Catálogo de dados contém bancos de dados e tabelas, e o Athena pode acessar os dados no Catálogo de dados. Você pode criar umAWS Gluerastreador do que regularmente atualiza o Catálogo de dados com os dados de ativos exportados.

Como configurar um rastreador para preencher o AWS Glue Data Catalog

Os rastreadores do AWS Glue rastreiam armazenamentos de dados para preencher tabelas no AWS Glue Data Catalog. Neste procedimento, você cria e executa um rastreador do AWS Glue para o bucket do S3 que contém os dados de ativos exportados. O rastreador cria uma tabela para atualizações de propriedades de ativos e uma tabela para metadados de ativos. Depois, você poderá executar consultas SQL nessas tabelas com o Athena. Para obter mais informações, consultePreencher oAWS Glue Data CatalogeDefinir crawlersnoAWS GlueGuia do desenvolvedor.

Para criar um rastreador do AWS Glue

1. Navegue até o console do AWS Glue.

2. No painel de navegação, escolha Rastreadores.

3. Escolha Adicionar rastreador.

4. Na página Adicionar rastreador, faça o seguinte:

   1. Insira um nome para o rastreador, como IoTSiteWiseDataCrawler e depois, escolha Próximo.

   2. Em Tipo de origem do rastreador, escolha Armazenamentos de dados e depois, escolha Próximo.

   3. Na página Adicionar um armazenamento de dados, faça o seguinte:

      1. Em Escolher um armazenamento de dados, escolha S3.

      2. Em Incluir caminho, insira s3://DOC-EXAMPLE-BUCKET1 para adicionar o bucket de dados de ativos como um armazenamento de dados. SubstituirDOC-EXAMPLE-BUCKET1Com o nome do bucket que você escolheu ao criar a pilha.

      3. Escolha Next (Próximo).

         

   4. Na página Adicionar outra página de armazenamento de dados, escolha Não e depois, escolha Próximo.

   5. NoEscolha uma função do IAMpágina, faça o seguinte:

      1. Para criar uma nova função de serviço que permitaAWS GluePara acessar o bucket do S3, escolhaCriar uma função do IAM.

      2. Insira um sufixo para o nome da função, como IoTSiteWiseDataCrawler.

      3. Escolha Next (Próximo).

   6. Em Frequência, escolha Por hora e depois, escolha Próximo. O rastreador atualiza as tabelas com novos dados em todas as execuções, portanto, é possível escolher uma frequência adequada para o seu caso de uso.

   7. Na página Configurar saída do rastreador, faça o seguinte:

      1. Escolha Adicionar banco de dados para criar um banco de dados do AWS Glue para os dados de ativos.

      2. Insira um nome para o banco de dados, como iot_sitewise_asset_database.

      3. Escolha Create (Criar).

      4. Escolha Next (Próximo).

   8. Revise os detalhes do rastreador e depois escolha Concluir.

      

Por padrão, o novo rastreador não é executado imediatamente. É necessário executá-lo manualmente ou aguardar até que ele seja executado no agendamento configurado.

Como executar um rastreador

1. Na página Rastreadores, marque a caixa de seleção para o novo rastreador e escolha Executar rastreador.

   

2. Aguarde até que o rastreador termine e apresente um status Pronto.

   O rastreador pode levar alguns minutos para ser executado e o status é atualizado automaticamente.

3. No painel de navegação, selecione Tables (Tabelas).

   Você verá duas novas tabelas: asset_metadata e asset_property_updates.

Consultar dados com o Athena

O Athena automaticamente detecta as tabelas de dados de ativos noAWS Glue Data Catalog. Para executar consultas na interseção dessas tabelas, crie uma exibição, que é uma tabela de dados lógica. Para obter mais informações, consulteComo trabalhar com exibiçõesnoGuia do usuário do Amazon Athena.

Depois de criar uma exibição que combine dados e metadados de propriedades de ativos, é possível executar consultas que geram valores de propriedades com ativos e nomes de propriedades anexados. Para obter mais informações, consulteExecute consultas SQL usando o Amazon AthenanoGuia do usuário do Amazon Athena.

Para consultar dados de ativos com o Athena

1. Navegue até o .Consola Athena.

   Se a página Conceitos básicos for exibida, escolha Começar a usar.

2. Se você estiver usando o Athena pela primeira vez, execute os seguintes passos para configurar um bucket do S3 para os resultados da consulta. O Athena armazena os resultados de suas consultas neste bucket.

   Importante

   Use um bucket diferente do bucket de dados de ativos, para que o rastreador criado anteriormente não rastreie os resultados da consulta. Recomendamos criar um bucket para usar somente resultados de consultas do Athena. Para obter mais informações, consulteComo criar um bucket do S3?noGuia do usuário do Amazon Simple Storage Service.

   1. Escolha Settings (Configurações).

   2. DentroQuery result location (Local dos resultados da consulta), insira o bucket do S3 para os resultados da consulta do Athena. O bucket deve terminar com /.

      

   3. Escolha Save(Salvar).

3. O painel esquerdo contém a fonte de dados que será consultada. Faça o seguinte:

   1. para oFonte de dados, escolhaAwsDataCatálogopara usar oAWS Glue Data Catalog.

   2. Em Banco de dados, escolha o banco de dados do AWS Glue que você criou com o rastreador.

      

   Você verá duas tabelas: asset_metadata e asset_property_updates.

4. Para criar uma exibição a partir da combinação de dados e metadados das propriedades de ativos, insira a seguinte consulta e depois escolha Executar consulta.

   CREATE
           OR REPLACE VIEW iot_sitewise_asset_data AS
   SELECT "from_unixtime"("time_in_seconds" + ("offset_in_nanos" / 1000000000)) "timestamp",
            "metadata"."asset_name",
            "metadata"."asset_property_name",
            "data"."asset_property_value",
            "metadata"."asset_property_unit",
            "metadata"."asset_property_alias"
   FROM ( "iot_sitewise_asset_database".asset_property_updates data
   INNER JOIN "iot_sitewise_asset_database".asset_metadata metadata
       ON ( ("data"."asset_id" = "metadata"."asset_id")
           AND ("data"."asset_property_id" = "metadata"."asset_property_id") ) );

   Essa consulta unirá as tabelas de dados e metadados da propriedade de ativos no ID do ativo e no ID da propriedade para criar uma exibição. É possível executar essa consulta várias vezes, pois ela substitui a exibição existente, caso já exista.

5. Para adicionar uma nova consulta, escolha o+Ícone .

6. Para exibir uma amostra dos dados de ativos, insira a seguinte consulta e escolha Executar consulta. Substitua os time stamps por um intervalo para o qual o bucket tenha dados.

   SELECT *
   FROM "iot_sitewise_asset_database"."iot_sitewise_asset_data"
   WHERE "timestamp"
       BETWEEN TIMESTAMP '2020-05-14 12:00:00.000'
           AND TIMESTAMP '2020-05-14 13:00:00.000'
   ORDER BY  "timestamp" DESC LIMIT 50;

   Essa consulta gera até 50 pontos de dados entre dois time stamps, exibindo as entradas mais recentes primeiro.

   A saída da consulta pode ser semelhante aos seguintes resultados.

   

Agora é possível executar consultas úteis para o aplicativo do AWS IoT SiteWise. Para obter mais informações, consulteReferência de SQL para o Amazon AthenanoGuia do usuário do Amazon Athena.