Processamento e visualização de dados do veículo - AWS IoT FleetWise

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Processamento e visualização de dados do veículo

O software Edge Agent para AWS IoT FleetWise transfere dados de veículos selecionados para o Amazon Timestream ou Amazon Simple Storage Service (Amazon S3). Depois que os dados chegarem ao destino, você poderá usar outros serviços da AWS para visualizá-los e compartilhá-los.

Processamento dos dados do veículo no Timestream

O Timestream é um banco de dados de séries temporais totalmente gerenciado que pode armazenar e analisar trilhões de pontos de dados de séries temporais por dia. Seus dados são armazenados em uma tabela Timestream gerenciada pelo cliente. Você pode usar o Timestream para consultar dados de veículos para obter insights sobre os veículos. Para obter mais informações, consulte O que é o Amazon Timestream?

O esquema padrão dos dados que são transferidos para o Timestream contém os seguintes campos:

Nome do campo Tipo de dados Descrição

eventId

varchar

O ID do evento de coleta de dados.

vehicleName

varchar

O ID do veículo do qual os dados foram coletados.

name

varchar

O nome da campanha que o software Edge Agent usa para coletar dados.

time

timestamp

A marcação de data/hora do ponto de dados.

measure_name

varchar

O nome do sinal.

measure_value::bigint

bigint

Valores de sinal do tipo Inteiro.

measure_value::double

duplo

Valores de sinal do tipo Duplo.

measure_value::boolean

boolean

Valores de sinal do tipo Booleano.

Visualização de dados do veículo armazenados no Timestream

Depois que os dados do veículo forem transferidos para o Timestream, você poderá usar os seguintes serviços da AWS para visualizar, monitorar, analisar e compartilhar seus dados.

  • Visualize e monitore dados em painéis usando o Grafana ou Amazon Managed Grafana. Você pode visualizar dados de diversas fontes da AWS (como Amazon CloudWatch e Timestream) e outras fontes de dados com um único painel da Grafana.

  • Analise e visualize dados em painéis usando o Amazon QuickSight.

Processamento de dados do veículo no S3

Amazon S3 é um serviço de armazenamento de objetos que armazena e protege qualquer quantidade de dados. É possível usar o S3 para diversos casos de uso, como data lakes, backup e restauração, arquivamento, aplicações corporativas, dispositivos de AWS IoT e análise de big data. Seus dados são armazenados no S3 como objetos em buckets. Para obter mais informações, consulte O que é a Amazon S3?

O esquema padrão de dados transferidos para o Amazon S3 contém os campos a seguir.

Nome do campo Tipo de dados Descrição

eventId

varchar

O ID do evento de coleta de dados.

vehicleName

varchar

O ID do veículo do qual os dados foram coletados.

name

varchar

O nome da campanha que o software Edge Agent usa para coletar dados.

time

timestamp

A marcação de data/hora do ponto de dados.

measure_name

varchar

O nome do sinal.

measure_value_BIGINT

bigint

Valores de sinal do tipo Inteiro.

measure_value_DOUBLE

duplo

Valores de sinal do tipo Duplo.

measure_value_BOOLEAN

boolean

Valores de sinal do tipo Booleano.

measure_value_STRUCT

struct

Valores de sinal do tipo Struct.

Formato de objeto S3

O AWS IoT FleetWise transfere os dados do veículo para o S3, onde são salvos como um objeto. É possível usar o URI do objeto que identifica os dados de forma exclusiva para encontrar dados da campanha. O formato do URI do objeto do S3 depende se os dados coletados são processados ou não estruturados.

Os dados não estruturados são armazenados no S3 de uma forma não predefinida. Eles podem estar em vários formatos, como imagens ou vídeos.

As mensagens do veículo passadas para o AWS IoT FleetWise com dados de sinal dos arquivos do Amazon Ion são decodificadas e transferidas para o S3 como objetos. Os objetos do S3 representam cada sinal e são codificados em binário.

O URI do objeto do S3 de dados não estruturados usa o seguinte formato:

s3://bucket-name/prefix/unstructured-data/random-ID-yyyy-MM-dd-HH-mm-ss-SSS-vehicleName-signalName-fieldName

Os dados processados são armazenados no S3 e passam por etapas de processamento que validam, enriquecem e transformam as mensagens. Listas de objetos e velocidade são exemplos de dados processados.

Os dados transferidos para o S3 são armazenados como objetos que representam registros que foram armazenados em buffer por um período de cerca de 10 minutos. Por padrão, o AWS IoT FleetWise adiciona um prefixo de hora UTC no formato year=YYYY/month=MM/date=DD/hour=HH antes de gravar objetos no S3. Esse prefixo cria uma hierarquia lógica no bucket, no qual cada barra (/) cria um nível na hierarquia. Os dados processados também contêm o URI do objeto do S3 para dados não estruturados.

O URI do objeto do S3 de dados processados usa o seguinte formato:

s3://bucket-name/prefix/processed-data/year=YYYY/month=MM/day=DD/hour=HH/part-0000-random-ID.gz.parquet

Os dados brutos, também conhecidos como dados primários, são dados coletados dos arquivos do Amazon Ion. É possível usar dados brutos para solucionar qualquer problema ou encontrar a causa raiz dos erros.

O URI do objeto do S3 de dados brutos usa o seguinte formato:

s3://bucket-name/prefix/raw-data/vehicle-name/eventID-timestamp.10n

Analisar dados do veículo armazenados no S3

Depois que os dados do veículo forem transferidos para o S3, você poderá usar os serviços da AWS a seguir para monitorar, analisar e compartilhar dados.

Extraia e analise dados usando o Amazon SageMaker para fluxos de trabalho de rotulagem downstream e machine learning (ML).

Para ter mais informações, consulte os tópicos a seguir no Guia do desenvolvedor do Amazon SageMaker.

Catalogue seus dados usando Crawler do AWS Glue e analise-os no Amazon Athena. Por padrão, os objetos gravados no S3 têm partições de tempo no estilo Apache Hive, com caminhos de dados que contêm pares de valores-chave conectados por sinais de igual.

Para obter mais informações, consulte os seguintes tópicos no Guia do usuário do Amazon Athena:

Visualize dados usando o Amazon QuickSight lendo diretamente a tabela do Athena ou o bucket do S3.

dica

Se você estiver lendo diretamente do S3, confirme se os dados do veículo estão no formato JSON, pois o Amazon QuickSight não é compatível com o formato Apache Parquet.

Para obter mais informações, consulte os seguintes tópicos no Guia do usuário do Amazon QuickSight: