Exportation de données à partir d’un cluster de bases de données Aurora PostgreSQL vers Amazon S3

Vous pouvez interroger des données à partir d’un cluster de bases de données Aurora PostgreSQL et les exporter directement dans des fichiers stockés dans un compartiment Amazon S3. Pour ce faire, vous devez d’abord installer l’extension aws_s3 Aurora PostgreSQL . Cette extension vous fournit les fonctions que vous utilisez pour exporter les résultats des requêtes vers Amazon S3. Vous trouverez ci-dessous comment installer l’extension et comment exporter des données vers Amazon S3.

Vous pouvez exporter à partir d’une instance de base de données ou d’une instance Aurora Serverless v2 mise en service. Ces étapes ne sont pas prises en charge pour Aurora Serverless v1.

Note

L’exportation intercompte vers Amazon S3 n’est pas prise en charge.

Toutes les versions actuellement disponibles d’Aurora PostgreSQL prennent en charge l’exportation de données vers Amazon Simple Storage Service. Pour des informations détaillées sur les versions, consultez Mises à jour d’Amazon Aurora PostgreSQL dans Notes de mise à jour d’Aurora PostgreSQL.

Si vous n’avez pas de compartiment configuré pour votre exportation, consultez les rubriques suivantes du Guide de l’utilisateur d’Amazon Simple Storage Service.

• Configuration d’Amazon S3

• Création d’un compartiment

Par défaut, les données exportées depuis Aurora PostgreSQL vers Amazon S3 utilisent un chiffrement côté serveur avec une Clé gérée par AWS. Vous pouvez également utiliser une clé gérée par le client que vous avez créée auparavant. Si vous utilisez le chiffrement de compartiment, Amazon S3 doit être chiffré avec une clé AWS Key Management Service (AWS KMS) (SSE-KMS). Actuellement, les compartiments chiffrés avec des clés gérées par Amazon S3 (SSE-S3) ne sont pas pris en charge.

Note

Vous pouvez enregistrer les données d’instantané de la base de données et du cluster de bases de données sur Amazon S3 à l’aide d’AWS Management Console, d’AWS CLI ou de l’API Amazon RDS. Pour plus d’informations, consultez Exportation de données d’instantanés de cluster de bases de données vers Amazon S3.

Rubriques

• Installation de l’extension aws_s3

• Présentation de l’exportation de données vers Amazon S3

• Spécification du chemin d’accès au fichier Amazon S3 vers lequel effectuer l’exportation

• Configuration de l’accès à un compartiment Amazon S3

• Exportation de données de requête à l’aide de la fonction aws_s3.query_export_to_s3

• Références de fonctions

• Résolution des problèmes d'accès à Amazon S3

Installation de l’extension aws_s3

Avant de pouvoir utiliser Amazon Simple Storage Service avec votre cluster de bases de données Aurora PostgreSQL, vous devez installer l’extension aws_s3. Cette extension fournit des fonctions pour exporter des données depuis l’instance en écriture d’un cluster de bases de données Aurora PostgreSQL vers un compartiment Amazon S3. Il fournit également des fonctions pour importer des données depuis un compartiment Amazon S3. Pour plus d’informations, consultez Importation de données Amazon S3 dans une d'un cluster de base de données Aurora PostgreSQL. L’extension aws_s3 dépend de certaines des fonctions d’aide de l’extension aws_commons, qui est installée automatiquement lorsque cela est nécessaire.

Pour installer l’extension aws_s3

1. Utilisez psql (ou pgAdmin) pour vous connecter à l’instance de base de données en écriture de votre cluster de bases de données Aurora PostgreSQL en tant qu’utilisateur disposant de privilèges rds_superuser. Si vous avez conservé le nom par défaut pendant le processus d’installation, vous vous connectez en tant que postgres.

   psql --host=111122223333.aws-region.rds.amazonaws.com --port=5432 --username=postgres --password

2. Pour installer l’extension, exécutez la commande suivante.

   postgres=> CREATE EXTENSION aws_s3 CASCADE;
   NOTICE: installing required extension "aws_commons"
   CREATE EXTENSION

3. Pour vérifier que l’extension est installée, vous pouvez utiliser la métacommande psql \dx.

   postgres=> \dx
          List of installed extensions
       Name     | Version |   Schema   |                 Description
   -------------+---------+------------+---------------------------------------------
    aws_commons | 1.2     | public     | Common data types across AWS services
    aws_s3      | 1.1     | public     | AWS S3 extension for importing data from S3
    plpgsql     | 1.0     | pg_catalog | PL/pgSQL procedural language
   (3 rows)

Les fonctions d’importation de données depuis Amazon S3 et d’exportation de données vers Amazon S3 sont désormais disponibles.

Assurez-vous que votre version de Aurora PostgreSQL prend en charge les exportations vers Amazon S3

Vous pouvez vérifier que votre version d’Aurora PostgreSQL prend en charge l’exportation vers Amazon S3 en utilisant la commande describe-db-engine-versions. L’exemple suivant vérifie si la version 10.14 peut être exportée vers Amazon S3.

aws rds describe-db-engine-versions --region us-east-1 \
--engine aurora-postgresql --engine-version 10.14 | grep s3Export

Si la sortie inclut la chaîne "s3Export", le moteur prend en charge les exportations Amazon S3. Sinon, le moteur ne les prend pas en charge.

Présentation de l’exportation de données vers Amazon S3

Pour exporter des données stockées dans un Aurora PostgreSQL vers un compartiment Amazon S3, procédez comme suit.

Pour exporter des données Aurora PostgreSQL vers S3

1. Identifiez un chemin d’accès de fichier Amazon S3 à utiliser pour exporter des données. Pour plus d’informations sur ce processus, consultez Spécification du chemin d’accès au fichier Amazon S3 vers lequel effectuer l’exportation.

2. Fournissez une autorisation d’accès au compartiment Amazon S3.

   Pour exporter des données vers un fichier Amazon S3, vous devez accorder au cluster de bases de données Aurora PostgreSQL l’autorisation d’accéder au compartiment Amazon S3 que l’exportation utilisera pour le stockage. Cette opération comprend les étapes suivantes :

   1. Créez une politique IAM donnant accès à un compartiment Amazon S3 vers lequel vous souhaitez exporter.

   2. Créez un rôle IAM.

   3. Attachez la politique que vous avez créée au rôle que vous avez créé.

   4. Ajoutez ce rôle IAM à votre cluster de base de données .

   Pour plus d’informations sur ce processus, consultez Configuration de l’accès à un compartiment Amazon S3.

3. Identifiez une requête de base de données pour obtenir les données. Exportez les données de requête en appelant la fonction aws_s3.query_export_to_s3.

   Après avoir terminé les tâches de préparation précédentes, utilisez la fonction aws_s3.query_export_to_s3 pour exporter les résultats de requête vers Amazon S3. Pour plus d’informations sur ce processus, consultez Exportation de données de requête à l’aide de la fonction aws_s3.query_export_to_s3.

Spécification du chemin d’accès au fichier Amazon S3 vers lequel effectuer l’exportation

Spécifiez les informations suivantes pour identifier l’emplacement dans Amazon S3 vers lequel vous souhaitez exporter des données :

• Nom du compartiment – Un compartiment est un conteneur d’objets ou de fichiers Amazon S3.

  Pour plus d’informations sur le stockage de données avec Amazon S3, consultez Création d’un compartiment et Utilisation des objets dans le Guide de l’utilisateur Amazon Simple Storage Service.

• Chemin d’accès au fichier – Le chemin d’accès au fichier identifie l’emplacement de stockage de l’exportation dans le compartiment Amazon S3. Le chemin d’accès au fichier se compose des éléments suivants :

  • Préfixe de chemin facultatif qui identifie un chemin d’accès à un dossier virtuel.

  • Préfixe de fichier qui identifie un ou plusieurs fichiers à stocker. Les exportations les plus volumineuses sont stockées dans plusieurs fichiers, chacun ayant une taille maximale d’environ 6 Go. Les noms de fichiers supplémentaires ont le même préfixe de fichier mais en ajoutant _partXX. XX représente 2, puis 3, et ainsi de suite.

  Par exemple, un chemin d’accès de fichier avec un dossier exports et un préfixe de fichier query-1-export sera représenté par /exports/query-1-export.

• Région AWS (facultatif) – Région AWS où se trouve le compartiment Amazon S3. Si vous ne spécifiez pas de valeur de région AWS, Aurora enregistre vos fichiers dans Amazon S3 dans la même région AWS que celle où se trouve le cluster de bases de données.

  Note

  Actuellement, la région AWS doit être la même que celle du cluster de bases de données à l’origine de l’exportation.

  Pour obtenir la liste des noms de régions AWS et les valeurs associées, consultez Régions et zones de disponibilité.

Pour conserver les informations de fichier Amazon S3 sur l’emplacement de stockage de l’exportation, vous pouvez utiliser la fonction aws_commons.create_s3_uri pour créer une structure composite aws_commons._s3_uri_1 comme suit.

psql=> SELECT aws_commons.create_s3_uri(
   'amzn-s3-demo-bucket',
   'sample-filepath',
   'us-west-2'
) AS s3_uri_1 \gset

Vous fournissez ultérieurement cette valeur s3_uri_1 en tant que paramètre dans l’appel à la fonction aws_s3.query_export_to_s3. Pour obtenir des exemples, consultez Exportation de données de requête à l’aide de la fonction aws_s3.query_export_to_s3.