Ingestão contínua de arquivos do Amazon S3 (pré-visualização) - Amazon Redshift

Ingestão contínua de arquivos do Amazon S3 (pré-visualização)

Esta é uma documentação de pré-lançamento para cópia automática (SQL COPY JOB), que está em versão de pré-visualização. A documentação e o atributo estão sujeitos a alterações. Recomendamos o uso desse atributo somente em ambientes de teste, e não em ambientes de produção. A prévia pública terminará em 31 de julho de 2024. Os clusters de pré-visualização serão removidos automaticamente duas semanas após o final da prévia. Para conferir os termos e condições da pré-visualização, consulte Betas e pré-visualizações nos Termos de serviços da AWS.
nota

Você pode criar um cluster do Amazon Redshift em Preview (Pré-visualização) para testar novos recursos do Amazon Redshift. Você não pode usar esses recursos em produção nem mover seu cluster de Preview (Pré-visualização) para um cluster de produção ou um cluster em outra faixa. Para conferir os termos e condições da pré-visualização, consulte Betas e pré-visualizações nos Termos de serviços da AWS.

Como criar um cluster em Preview (pré-visualização)

  1. Faça login no AWS Management Console e abra o console do Amazon Redshift em https://console.aws.amazon.com/redshiftv2/.

  2. No menu de navegação, Provisioned clusters dashboard (Painel de clusters provisionados) e Clusters. Os clusters de sua conta na Região da AWS atual são listados. Um subconjunto de propriedades de cada cluster é exibido nas colunas na lista.

  3. Um banner é exibido na página da lista Clusters que apresenta a pré-visualização. Escolha o botão Create preview cluster (Criar cluster de pré-visualização) para abrir a página de criação de cluster.

  4. Insira as propriedades do cluster. Escolha a Preview track (Faixa de pré-visualização) que contém os recursos que deseja testar. Recomendamos inserir um nome que indique que o cluster está em uma faixa de pré-visualização. Escolha opções para o cluster, incluindo opções rotuladas como -preview (-pré-visualização), para os recursos que deseja testar. Para obter informações gerais sobre a criação de clusters, consulte Criar um cluster no Guia de gerenciamento do Amazon Redshift.

  5. Escolha Criar cluster para criar um cluster em pré-visualização.

  6. Quando seu cluster de pré-visualização estiver disponível, use seu cliente SQL para carregar e consultar dados.

Seu cluster deve ser criado com a faixa de pré-visualização chamada: preview_2023. Use um novo cluster para testar. Não há suporte à restauração de clusters nessa faixa. O recurso de cópia automática não está disponível com grupos de trabalho do Amazon Redshift Serverless.

Essa pré-visualização está disponível nas seguintes Regiões da AWS:

  • Região Leste dos EUA (Ohio) (us-east-2)

  • Região Leste dos EUA (Norte da Virgínia) (us-east-1)

  • Região Oeste dos EUA (Oregon) (us-west-2)

  • Região da Ásia-Pacífico (Tóquio) (ap-northeast-1)

  • Região da Europa (Estocolmo) (eu-north-1)

  • Região da Europa (Irlanda) (eu-west-1)

Você pode usar um COPY JOB para carregar dados em suas tabelas do Amazon Redshift a partir de arquivos armazenados no Amazon S3. O Amazon Redshift detecta quando novos arquivos do Amazon S3 são adicionados ao caminho especificado em seu comando COPY. Depois, um comando COPY é executado automaticamente sem que você precise criar um pipeline externo de ingestão de dados. O Amazon Redshift mantém o controle de quais arquivos foram carregados. O Amazon Redshift determina o número de arquivos agrupados por comando COPY. Você pode ver os comandos COPY resultantes nas visualizações do sistema.

Você define um COPY JOB uma vez. Os mesmos parâmetros serão usados em execuções futuras.

Você gerencia as operações de carregamento usando as opções CREATE, LIST, SHOW, DROP, ALTER e RUN para trabalhos. Para ter mais informações, consulte COPY JOB (pré-visualização).

Você pode consultar as visualizações do sistema para ver o status e o progresso de COPY JOB. As visualizações são fornecidas da seguinte forma:

Para obter a lista de arquivos carregados por um COPY JOB, execute o exemplo a seguir substituindo <job_id>:

SELECT job_id, job_name, data_source, copy_query,filename,status, curtime
FROM sys_copy_job copyjob
JOIN stl_load_commits loadcommit
ON copyjob.job_id = loadcommit.copy_job_id
WHERE job_id = <job_id>;