Analisar uma coluna de string contendo dados JSON
Essa transformação analisa uma coluna de string contendo dados JSON e a converte em uma estrutura ou coluna de matriz, dependendo se o JSON é um objeto ou uma matriz, respectivamente. Opcionalmente, você pode manter a coluna analisada e a original.
O esquema JSON pode ser fornecido ou inferido (no caso de objetos JSON), com amostragem opcional.
Para adicionar um nó de transformação de Parse JSON Column ao diagrama de trabalho
-
Abra o painel Recurso e escolha Parse JSON Column para adicionar uma nova transformação ao diagrama do trabalho. O nó selecionado no momento da adição do nó será o nó superior.
No painel propriedades do nó, insira um nome para o nó no diagrama de trabalho. Se ainda não houver um nó pai selecionado, escolha um na lista Node parents (Nós pais) para usar como fonte de entrada para a transformação.
Na guia Transformar, selecione a coluna que contém a string JSON.
(Opcional) Na guia Transformar, insira o esquema que os dados JSON seguem usando a sintaxe SQL, por exemplo: “campo1 STRING, campo2 INT” no caso de um objeto ou “ARRAY<STRING>” no caso de uma matriz.
No caso de uma matriz, o esquema é obrigatório, mas no caso de um objeto, se o esquema não for especificado, ele será inferido usando os dados. Para reduzir o impacto da inferência do esquema (especialmente em um conjunto de dados grande), você pode evitar ler os dados inteiros duas vezes inserindo uma proporção de amostras a serem usadas para inferir o esquema. Se o valor for menor que 1, a proporção correspondente de amostras aleatórias será usada para inferir o esquema. Se os dados forem confiáveis e o objeto for consistente entre as linhas, você poderá usar uma proporção pequena, como 0,1, para melhorar a performance.
(Opcional) Na guia Transformar, você pode inserir um novo nome de coluna se quiser manter a coluna de string original e a coluna analisada.
