Formatos de arquivo - AWS IoT Analytics
Criar um datastore (console)

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Formatos de arquivo

Atualmente, os datastores AWS IoT Analytics oferecem suporte aos formatos de arquivo JSON e Parquet. O formato de arquivo padrão é JSON.

  • JSON (JavaScript Object Notation) — um formato de texto que suporta pares de nome-valor e listas ordenadas de valores.

  • Apache Parquet — um formato de armazenamento colunar usado para armazenar e consultar com eficiência grandes volumes de dados.

Para configurar o formato de arquivo do datastore do AWS IoT Analytics, você pode usar o objeto FileFormatConfiguration ao criar o datastore.

fileFormatConfiguration

Contém as informações de configuração dos formatos de arquivo. Datastores do AWS IoT Analytics oferecem suporte a JSON e Parquet.

O formato de arquivo padrão é JSON. Você pode especificar apenas um formato. Não é possível alterar o formato do arquivo depois de criar o armazenamento de dados.

jsonConfiguration

Contém as informações de configuração do formato JSON.

parquetConfiguration

Contém as informações de configuração do formato Parquet.

schemaDefinition

Informações necessárias para definir um esquema.

columns

Especifica uma ou mais colunas que armazenam seus dados.

Cada esquema pode ter até 100 colunas. Cada coluna pode ter até 100 tipos aninhados.

name

O nome da coluna.

Restrições de comprimento: 1 a 255 caracteres.

type

O tipo de dados. Para obter mais informações sobre os tipos de dados compatíveis, consulte Tipos de dados comuns no Guia do desenvolvedor AWS Glue.

Restrições de comprimento: 1 a 131.072 caracteres.

AWS IoT Analytics suporta todos os tipos de dados listados na página Tipos de dados no Amazon Athena, exceto DECIMAL(precision, scale) - precision.

Criar um datastore (console)

O procedimento a seguir mostra como criar um datastore que salve dados no formato Parquet.

Para criar um datastore

  1. Faça login em https://console.aws.amazon.com/iotanalytics/.

  2. No painel de navegação, escolha Datastores.

  3. Na página Datastores, selecione Criar datastore.

  4. Na página Especificar detalhes do datastore, insira informações básicas sobre seu datastore.

    1. Em ID do datastore, insira uma ID exclusiva do datastore. Você não pode alterar a ID depois de criá-la.

    2. (Opcional) Em Tags, escolha Adicionar nova tag para adicionar uma ou mais tags personalizadas (pares chave-valor) ao seu datastore. As tags ajudam a identificar os recursos que você cria para AWS IoT Analytics.

    3. Escolha Next (Próximo).

  5. Na página Configurar tipo de armazenamento, especifique como armazenar seus dados.

    1. Em Tipo de armazenamento, escolha Armazenamento gerenciado pelo serviço.

    2. Em Configurar quanto tempo você deseja manter seus dados processados, escolha Indefinidamente.

    3. Escolha Next (Próximo).

  6. Na página Configurar formato de dados, defina a estrutura e o formato dos seus registros de dados.

    1. Para Classificação, escolha Parquet. Não é possível alterar o formato do arquivo depois de criar o datastore.

    2. Para a origem da inferência, escolha a string JSON para seu datastore.

    3. Em String, insira seu esquema no formato JSON, como no exemplo a seguir.

      {
    "device_id": "0001",
    "temperature": 26,
    "humidity": 29,
    "datetime": "2018-01-26T07:06:01"
}

    4. Escolha Inferir esquema.

    5. Em Configurar esquema do Parquet, confirme se o formato corresponde ao seu exemplo JSON. Se o formato não corresponder, atualize o esquema do Parquet manualmente.

      • Se você quiser que seu esquema mostre mais colunas, escolha Adicionar nova coluna, insira o nome da coluna e escolha o tipo de dados.

        nota

        Por padrão, você pode ter 100 colunas para seu esquema. Para obter mais informações, consulte as AWS IoT Analytics cotas.

      • Você pode alterar o tipo de dados de uma coluna existente. Para obter mais informações sobre os tipos de dados compatíveis, consulte Tipos de dados comuns no Guia do desenvolvedor AWS Glue.

        nota

        Depois que você criar seu datastore, não será possível alterar o tipo de dados de uma coluna existente.

      • Para remover uma coluna existente, escolha Remover coluna.

    6. Escolha Next (Próximo).

  7. (Opcional) AWS IoT Analytics oferece suporte a partições personalizadas em seu datastore para que você possa consultar dados removidos para melhorar a latência. Para obter mais informações sobre partições personalizadas compatíveis, consulte Partições personalizadas.

    Escolha Next (Próximo).

  8. Na página Revisar e criar, revise suas escolhas e, em seguida, selecione Criar datastore,

    Importante

    Não é possível alterar a ID do datastore, o formato do arquivo ou o tipo de dados de uma coluna depois que você criar o datastore.

  9. Verifique se seu novo datastore aparece na página Datastores.