Formatos compatíveis para arquivos manifesto do Amazon S3

Você usa arquivos de manifesto JSON para especificar arquivos no Amazon S3 a serem importados para a Amazon. QuickSight Esses arquivos de manifesto JSON podem usar o QuickSight formato Amazon descrito a seguir ou o formato Amazon Redshift descrito em Uso de um manifesto para especificar arquivos de dados no Guia do desenvolvedor do banco de dados do Amazon Redshift. Você não precisa usar o Amazon Redshift para utilizar o formato de arquivo manifesto do Amazon Redshift.

Se você usa um arquivo de QuickSight manifesto da Amazon, ele deve ter uma extensão.json, por exemplo. my_manifest.json Se você usar um arquivo manifesto do Amazon Redshift, ele poderá ter qualquer extensão.

Se você usa um arquivo de manifesto do Amazon Redshift, a Amazon QuickSight processa a mandatory opção opcional da mesma forma que o Amazon Redshift. Se o arquivo associado não for encontrado, a Amazon QuickSight encerrará o processo de importação e retornará um erro.

Os arquivos selecionados para importação devem estar no formato de texto delimitado (por exemplo, .csv ou .tsv), log (.clf) ou log estendido (.elf), bem como JSON (.json). Todos os arquivos identificados em um arquivo manifesto devem ter o mesmo formato. Além disso, eles devem ter o mesmo número e tipo de colunas. A Amazon QuickSight suporta codificação de arquivo UTF-8, mas não UTF-8 (com ap-south-1). Se você estiver importando arquivos JSON, em globalUploadSettings, é necessário especificar format, mas não delimiter, textqualifier nem containsHeader.

Certifique-se de que todos os arquivos que você especificar estejam nos buckets do Amazon S3 aos quais você concedeu acesso à Amazon QuickSight . Para obter informações sobre como conceder QuickSight à Amazon acesso aos AWS recursos, consulteAcessar fontes de dados.

Formato de arquivo de manifesto para Amazon QuickSight

Os arquivos de QuickSight manifesto da Amazon usam o seguinte formato JSON.

{
    "fileLocations": [
        {
            "URIs": [
                "uri1",
                "uri2",
                "uri3"
            ]
        },
        {
            "URIPrefixes": [
                "prefix1",
                "prefix2",
                "prefix3"
            ]
        }
    ],
    "globalUploadSettings": {
        "format": "JSON",
        "delimiter": ",",
        "textqualifier": "'",
        "containsHeader": "true"
    }
}
                            

Use os campos no elemento fileLocations para especificar os arquivos a serem importados e os campos no elemento globalUploadSettings para especificar as configurações de importação para esses arquivos, como delimitadores de campo.

Os elementos do arquivo manifesto estão descritos a seguir:

• fileLocations: use este elemento para especificar os arquivos a serem importados. Você pode usar um ou dois arrays URIs e URIPrefixes para fazer isso. Você deve especificar pelo menos um valor em um ou outro.

  • URIs: use esta matriz para listar URIs de arquivos específicos a serem importados.

    A Amazon QuickSight pode acessar arquivos do Amazon S3 que estejam em qualquer arquivo. Região da AWSNo entanto, você deve usar um formato de URI que identifique a AWS região do bucket do Amazon S3 se ela for diferente daquela usada pela sua conta da Amazon QuickSight .

    URIs nos seguintes formatos são compatíveis:

    Formato de URI	Exemplo	Comentários
    https://s3.amazonaws.com/<nome do bucket>/<nome do arquivo>	https://s3.amazonaws.com/awsexamplebucket/data.csv
    s3://<nome do bucket>/<nome do arquivo>	s3://awsexamplebucket/data.csv
    https://<nome do bucket>.s3.amazonaws.com/<nome do arquivo>	https://awsexamplebucket.s3.amazonaws.com/data.csv
    https://s3-<nome da região>.amazonaws.com/<nome do bucket>/<nome do arquivo>	https://s3-us-east-1.amazonaws.com/awsexamplebucket/data.csv	Esse tipo de URI identifica a Região da AWS para o bucket do Amazon S3.
    https://<nome do bucket>.s3-<nome da região>.amazonaws.com/<nome do arquivo>	https://awsexamplebucket.s3-us-east-1.amazonaws.com/data.csv	Esse tipo de URI identifica o Região da AWS para o bucket do Amazon S3.

  • URIPrefixes: use esta matriz para listar prefixos de URI de buckets e pastas do S3. Todos os arquivos em um bucket ou pasta especificados são importados. A Amazon recupera QuickSight recursivamente arquivos de pastas secundárias.

    QuickSight pode acessar buckets ou pastas do Amazon S3 que estejam em qualquer um. Região da AWSCertifique-se de usar um formato de prefixo de URI que identifique o bucket do S3 Região da AWS se ele for diferente daquele usado pela sua conta. QuickSight

    São compatíveis os prefixos de URI nos seguintes formatos:

    Formato de prefixo de URI	Exemplo	Comentários
    https://s3.amazonaws.com/<nome do bucket>/	https://s3.amazonaws.com/awsexamplebucket/
    https://s3.amazonaws.com/<nome do bucket>/<nome da pasta1>/(<nome da pasta2>/etc.)	https://s3.amazonaws.com/awsexamplebucket/folder1/
    s3://<nome do bucket>	s3://awsexamplebucket/
    s3://<nome do bucket>/<nome da pasta1>/(<nome da pasta2>/etc.)	s3://awsexamplebucket/folder1/
    https://<bucket name>.s3.amazonaws.com	https://awsexamplebucket.s3.amazonaws.com
    https://s3-<nome da região>.amazonaws.com/<nome do bucket>/	https://s3 - your-region-for-example-us-east-2. amazonaws.com//awsexamplebucket/	Esse URIPrefix tipo identifica o Região da AWS para o bucket do Amazon S3.
    https://s3-<nome da região>.amazonaws.com/<nome do bucket>/<nome da pasta1>/(<nome da pasta2>/etc.)	https://s3-us-east-1.amazonaws.com/awsexamplebucket/folder1/	Esse URIPrefix tipo identifica o Região da AWS para o bucket do Amazon S3.
    https://<nome do bucket>.s3-<nome da região>.amazonaws.com	https://awsexamplebucket.s3-us-east-1.amazonaws.com	Esse URIPrefix tipo identifica o Região da AWS para o bucket do Amazon S3.

• globalUploadSettings— (Opcional) Use esse elemento para especificar as configurações de importação para os arquivos do Amazon S3, como delimitadores de campo. Se esse elemento não for especificado, a Amazon QuickSight usará os valores padrão para os campos nesta seção.

  Importante

  Para arquivos log (.clf) e log estendido (.elf), apenas o campo format dessa seção será aplicável, portanto você pode ignorar os outros campos. Se você optar por incluí-los, os valores serão ignorados.

  • formato: (opcional) especifique o formato dos arquivos a serem importados. Os formatos válidos são CSV, TSV, CLF, ELF e JSON. O valor padrão é CSV.

  • delimitador: (opcional) especifique o delimitador de campo do arquivo. Isso deve ser mapeado para o tipo de arquivo especificado no campo format. Os formatos válidos são vírgulas (,) para arquivos .csv e tabulações (\t) para arquivos .tsv. O valor padrão é vírgula (,).

  • textqualifier: (opcional) especifique o qualificador de texto do arquivo. Os formatos válidos são compostos por aspas simples (') e aspas duplas (\"). A barra invertida inicial é um caractere de escape necessário para aspas duplas em JSON. O valor padrão é aspas duplas (\").​ Se o texto não precisar de um qualificador de texto, não inclua essa propriedade.

  • containsHeader: (opcional) especifique se o arquivo tem uma linha de cabeçalho. Os formatos válidos são true ou false. O valor padrão é true.

Exemplos de arquivos de manifesto para a Amazon QuickSight

A seguir estão alguns exemplos de arquivos de QuickSight manifesto da Amazon concluídos.

O exemplo a seguir mostra um arquivo manifesto que identifica dois arquivos .csv específicos para importação. Esses arquivos usam aspas duplas para qualificadores de texto. Os campos format, delimiter e containsHeader são ignorados, pois os valores padrão são aceitáveis.

{
    "fileLocations": [
        {
            "URIs": [
                "https://yourBucket.s3.amazonaws.com/data-file.csv",
                "https://yourBucket.s3.amazonaws.com/data-file-2.csv"
            ]
        }
    ],
    "globalUploadSettings": {
        "textqualifier": "\""
    }
}

O exemplo a seguir mostra um arquivo manifesto que identifica um arquivo .tsv específico para importação. Esse arquivo também inclui um bucket em outra região da AWS que contém arquivos .tsv adicionais para importação. Os campos textqualifier e containsHeader são ignorados, pois os valores padrão são aceitáveis.

{
    "fileLocations": [
        {
            "URIs": [
                "https://s3.amazonaws.com/awsexamplebucket/data.tsv"
            ]
        },
        {
            "URIPrefixes": [
                "https://s3-us-east-1.amazonaws.com/awsexamplebucket/"
            ]
        }
    ],
    "globalUploadSettings": {
        "format": "TSV",
        "delimiter": "\t"
    }
}

O exemplo a seguir identifica dois buckets que contêm arquivos .clf para importação. Um está na Região da AWS mesma QuickSight conta da Amazon e o outro em outra Região da AWS. Os campos delimiter, textqualifier e containsHeader são ignorados, pois não são aplicáveis para arquivos de log.

{
    "fileLocations": [
        {
            "URIPrefixes": [
                "https://awsexamplebucket.your-s3-url.com",
                "s3://awsexamplebucket2/"
            ]
        }
    ],
    "globalUploadSettings": {
        "format": "CLF"
    }
}

O exemplo a seguir usa o formato do Amazon Redshift para identificar um arquivo .csv para importação.

{
    "entries": [
        {
            "url": "https://awsexamplebucket.your-s3-url.com/myalias-test/file-to-import.csv",
            "mandatory": true
        }
    ]
}

O exemplo a seguir usa o formato do Amazon Redshift para identificar dois arquivos JSON para importação.

{
    "fileLocations": [
        {
            "URIs": [
                "https://yourBucket.s3.amazonaws.com/data-file.json",
                "https://yourBucket.s3.amazonaws.com/data-file-2.json"
            ]
        }
    ],
    "globalUploadSettings": {
        "format": "JSON"
    }
}