Aurora Postgre — Integração SQL compatível com o Amazon S3

O Amazon Simple Storage Service (Amazon Simple Storage Service) é um serviço de armazenamento de objetos que oferece escalabilidade do setor, disponibilidade de dados, segurança e desempenho. A edição SQL compatível com o Amazon Aurora Postgre se integra ao Amazon S3 por meio da extensão, que fornece acesso direto de leitura e gravação aos buckets aws_s3 do S3. Essa integração facilita a troca de dados, incluindo ingestão de dados, backups e outras operações relacionadas a dados.

casos de uso e etapas de alto nível do aws_s3

Os casos de uso de alto nível e os benefícios mais comuns da integração com o Amazon S3 são os seguintes:

• Ingestão de dados do Amazon S3 ‒ Use aws_s3 a extensão para carregar dados de valores separados por vírgula CSV () JSON ou outros formatos de arquivo armazenados no Amazon S3 diretamente em uma tabela compatível com o Aurora Postgre. SQL Isso é particularmente útil para processos de ingestão de dados em lote, fluxos de trabalho ETL (extração, transformação e carregamento) ou migrações de dados.

• Exportação de dados para o Amazon S3 ‒ Exporte dados do Aurora Postgre SQL - Tabelas compatíveis paraCSV, ou outros formatos de arquivoJSON, e armazene os dados no Amazon S3. Isso é útil para arquivamento de dados, backups ou compartilhamento de dados com outros sistemas ou serviços.

• Consultando dados diretamente do Amazon S3 ‒ Consulte dados armazenados JSON ou arquivos CSV no Amazon S3 diretamente do seu banco de dados compatível com o Aurora SQL Postgre sem carregar os dados em tabelas. Isso é útil para análise única de dados ou processamento exploratório de dados.

• Backup e restauração ‒ Use o Amazon S3 como destino de backup para seus bancos de dados compatíveis com o Aurora Postgre. SQL Isso fornece uma camada adicional de proteção de dados, e você pode restaurar bancos de dados a partir dos backups do Amazon S3, se necessário.

Para integrar seu cluster de banco de dados SQL compatível com o Aurora Postgre a um bucket S3, use as seguintes etapas de alto nível:

1. Conecte-se ao seu cluster SQL compatível com o Aurora Postgre usando um SQL cliente Postgre e crie a extensão: aws_s3

   create extension aws_s3

2. Configurar o acesso a um bucket do S3 Para obter etapas detalhadas, consulte a AWS documentação.

3. Use uma consulta psql para importar ou exportar os dados do banco de dados:

   • Para importar o arquivo do Amazon S3 para uma tabela SQL compatível com o Aurora Postgre, execute os seguintes comandos:

     SELECT aws_s3.table_import_from_s3( 'Table_Name', '',  '(format text)',
                                                        aws_commons.create_s3_uri('S3_BUCKETNAME', 'FileName.dat','Region-Name')  );

   • Para exportar o arquivo para o Amazon S3 a partir da tabela SQL compatível com o Aurora Postgre, execute o seguinte comando:

     SELECT * FROM aws_s3.query_export_to_s3('TABLE_NAME', aws_commons.create_s3_uri('S3_BUCKETNAME', 'FileName.dat', 'Region-Name') );

   • Para excluir o bucket do S3 usando a CLISQL, execute o seguinte comando:

     SELECT * FROM aws_s3.query_export_to_s3('SELECT * FROM data_table', aws_commons.create_s3_uri('S3_BUCKETNAME', 'FileName.dat', 'Region-Name') );