Uso do comando COPY para carregar dados
Tópicos
- Credenciais e permissões de acesso
- Preparação de dados de entrada
- Carregar dados do Amazon S3
- Carregar dados do Amazon EMR
- Carregamento de dados de hosts remotos
- Carregar dados de uma tabela do Amazon DynamoDB
- Como verificar se os dados foram carregados corretamente
- Validação de dados de entrada
- Carregamento de tabelas com compactação automática
- Otimização de armazenamento para tabelas estreitas
- Carregamento de valores padrão de coluna
- Solução de problemas de carregamento de dados
O comando COPY aproveita a arquitetura de processamento massivamente paralelo (MPP) do Amazon Redshift para ler e carregar dados em paralelo de arquivos no Amazon S3, de uma tabela do DynamoDB ou de saída de texto de um ou mais hosts remotos.
nota
Recomendamos veementemente o uso do comando COPY para carregar grandes quantidades de dados. O uso de instruções INSERT individuais para povoar uma tabela pode ser proibitivamente lento. Como alternativa, se seus dados já existem em outras tabelas de banco de dados do Amazon Redshift, use INSERT INTO... SELECT ou CREATE TABLE AS para aprimorar a performance. Para obter informações, consulte INSERT ou CREATE TABLE AS.
Para carregar dados de outro recurso da AWS, seu cluster deve ter permissão para acessar o recurso e executar as ações necessárias.
Por conceder ou revogar o privilégio para carregar dados em uma tabela usando um comando COPY, conceda ou revogue o privilégio INSERT.
Seus dados precisam estar no formato adequado para serem carregados na tabela do Amazon Redshift. Esta seção apresenta as diretrizes para preparar e verificar seus dados antes do carregamento e para validar uma instrução COPY antes de executá-la.
Para proteger as informações em seus arquivos, você pode criptografar os arquivos de dados antes de carregá-los em seu bucket do Amazon S3; O COPY irá descriptografar os dados enquanto executa o carregamento. Você também pode limitar o acesso que os usuários têm aos seus dados de carregamento fornecendo credenciais de segurança temporárias aos usuários. As credenciais de segurança temporárias oferecem segurança aprimorada, pois possuem vidas úteis curtas e não podem ser reutilizadas após o vencimento.
O Amazon Redshift conta com recursos integrados ao COPY para carregar rapidamente dados descompactados e delimitados. Mas é possível compactar arquivos usando o gzip, o lzop ou o bzip2 para economizar tempo de carregamento de arquivos.
Se as seguintes palavras-chave ocorrerem na consulta COPY, a divisão automática dos dados não compactados não é compatível: ESCAPE, REMOVEQUOTES e FIXEDWIDTH. Mas a palavra-chave CSV é compatível.
Para ajudar a manter seus dados seguros em trânsito na Nuvem AWS, o Amazon Redshift usa SSL acelerado por hardware para se comunicar com o Amazon S3 ou o Amazon DynamoDB para operações de COPY, UNLOAD, backup e restauração.
Ao carregar sua tabela diretamente de uma tabela do Amazon DynamoDB, você tem a opção de controlar a quantidade do throughput provisionado do Amazon DynamoDB que você consome.
Você pode opcionalmente permitir que COPY analise seus dados de entrada e aplique automaticamente as codificações de compactação ideais em sua tabela como parte do processo de carregamento.
