Aurora Postgre SQL - Intégration compatible avec Amazon S3

Amazon Simple Storage Service (Amazon S3) est un service de stockage d'objets qui offre une évolutivité, une évolutivité, une évolutivité, une disponibilité des données, une sécurité et des performances de pointe. Amazon Aurora Postgre SQL -Compatible Edition s'intègre à Amazon S3 via l'aws_s3extension, qui fournit un accès direct en lecture et en écriture aux compartiments S3. Cette intégration facilite l'échange de données, notamment l'ingestion de données, les sauvegardes et les autres opérations liées aux données.

Cas d'utilisation de aws_s3 et étapes de haut niveau

Les cas d'utilisation de haut niveau les plus courants et les avantages de l'intégration à Amazon S3 sont les suivants :

• Ingestion de données depuis Amazon S3 ‒ Utilisez l'aws_s3extension pour charger des données à partir de valeurs séparées par des virgules (CSV) ou d'autres formats de fichiers stockés dans Amazon S3 directement dans une table compatible avec Aurora PostgreSQL. JSON Cela est particulièrement utile pour les processus d'ingestion de données par lots, les flux de travail ETL (extraction, transformation et chargement) ou les migrations de données.

• Exportation de données vers Amazon S3 ‒ Exportez des données depuis des tables SQL compatibles avec Aurora Postgre vers CSV ou vers d'autres formats de fichier, et stockez les données dans Amazon S3. JSON Cela est utile pour l'archivage des données, les sauvegardes ou le partage de données avec d'autres systèmes ou services.

• Interrogation de données directement depuis Amazon S3 ‒ Interrogez des données stockées CSV ou JSON des fichiers dans Amazon S3 directement depuis votre base de données SQL compatible Aurora Postgre sans charger les données dans des tables. Cela est utile pour l'analyse ponctuelle des données ou pour le traitement exploratoire des données.

• Sauvegarde et restauration ‒ Utilisez Amazon S3 comme destination de sauvegarde pour vos bases de données SQL compatibles Aurora Postgre. Cela fournit une couche supplémentaire de protection des données et vous pouvez restaurer des bases de données à partir des sauvegardes Amazon S3 si nécessaire.

Pour intégrer votre cluster de base de données SQL compatible Aurora Postgre à un compartiment S3, suivez les étapes de haut niveau suivantes :

1. Connectez-vous à votre cluster SQL compatible Aurora Postgre à l'aide d'un SQL client Postgre et créez l'extension : aws_s3

   create extension aws_s3

2. Configurez l'accès à un compartiment S3 en utilisant un rôle IAM Pour connaître les étapes détaillées, consultez la AWS documentation.

3. Utilisez une requête PSQL pour importer ou exporter les données de la base de données :

   • Pour importer le fichier depuis Amazon S3 vers une table SQL compatible Aurora Postgre, exécutez les commandes suivantes :

     SELECT aws_s3.table_import_from_s3( 'Table_Name', '',  '(format text)',
                                                        aws_commons.create_s3_uri('S3_BUCKETNAME', 'FileName.dat','Region-Name')  );

   • Pour exporter le fichier vers Amazon S3 depuis la table Aurora Postgre SQL -Compatible, exécutez la commande suivante :

     SELECT * FROM aws_s3.query_export_to_s3('TABLE_NAME', aws_commons.create_s3_uri('S3_BUCKETNAME', 'FileName.dat', 'Region-Name') );

   • Pour exporter vers Amazon S3 à l'aide d'une SQL requête, exécutez la commande suivante :

     SELECT * FROM aws_s3.query_export_to_s3('SELECT * FROM data_table', aws_commons.create_s3_uri('S3_BUCKETNAME', 'FileName.dat', 'Region-Name') );