Exportation des données du cluster de bases de données vers Amazon S3 - Amazon Aurora
LimitesPrésentation de l'exportation des données depuis un cluster de bases de donnéesConfiguration de l'accès à un compartiment S3Exportation des données du cluster de bases de données vers S3Surveillance des exportations du cluster de bases de donnéesAnnulation d'une exportation d'un cluster de bases de donnéesMessages d'échecDépannage des erreurs d'autorisations PostgreSQLConvention de dénomination de fichiers Conversion des données

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Exportation des données du cluster de bases de données vers Amazon S3

Vous pouvez exporter des données d'un cluster de bases de données Amazon Aurora en service vers un compartiment Amazon S3. Le processus d'exportation s'exécute en arrière-plan et n'affecte pas les performances de votre cluster de bases de données actif.

Par défaut, toutes les données du cluster de bases de données sont exportées. Toutefois, vous pouvez choisir d'exporter des ensembles spécifiques de bases de données, de schémas ou de tables.

Amazon Aurora clone le cluster de bases de données, extrait les données du clone et les stocke dans un compartiment Amazon S3. Les données sont stockées dans un format Apache Parquet qui est compressé et cohérent. Les fichiers individuels de parquet ont généralement une taille de 1 à 10 Mo.

Les performances plus rapides que vous pouvez obtenir avec l'exportation de données d'instantanés pour les versions 2 et 3 de Aurora MySQL ne s'appliquent pas à l'exportation de données de cluster de bases de données. Pour plus d’informations, consultez Exportation de données d'instantanés de cluster de bases de données vers Amazon S3.

L'exportation de l'intégralité du cluster de base de données vous est facturée, que vous exportiez des données complètes ou partielles. Pour en savoir plus, consultez la page Tarification d'Amazon Aurora.

Une fois les données exportées, vous pouvez les analyser directement via des outils tels que Amazon Athena ou Amazon Redshift Spectrum. Pour plus d'informations sur l'utilisation d'Athena pour lire les données de Parquet, consultez Parquet SerDe dans le guide de l'utilisateur d'Amazon Athena. Pour plus d'informations sur l'utilisation de Redshift Spectrum pour lire des données Parquet, consultez COPY depuis les formats de données en colonnes dans le Guide du développeur de base de données Amazon Redshift.

La disponibilité et la prise en charge des fonctionnalités varient selon les versions spécifiques de chaque moteur de base de données, et selon les Régions AWS. Pour plus d'informations sur la disponibilité des versions et des régions de l'exportation des données de cluster de bases de données vers S3, consultez Exportation des données du cluster vers Amazon S3.

Limites

L'exportation de données du cluster de bases de données vers Amazon S3 présente les limites suivantes :

  • Vous ne pouvez pas exécuter simultanément plusieurs tâches d'exportation pour le même cluster de bases de données. Cette règle s'applique aux exportations complètes et partielles.

  • Les clusters de bases de données Aurora Serverless v1 ne prennent pas en charge les exportations vers S3.

  • Aurora MySQL et Aurora PostgreSQL prennent en charge les exportations vers S3 uniquement pour le mode moteur provisionné.

  • Les exportations vers S3 ne prennent pas en charge les préfixes S3 contenant deux points (:).

  • Les caractères suivants du chemin d'accès au fichier S3 sont convertis en traits de soulignement (_) lors de l'exportation :

    \ ` " (space)

  • Si une base de données, un schéma ou une table comporte des caractères autres que les suivants, l'exportation partielle n'est pas prise en charge. Toutefois, vous pouvez exporter l'ensemble du cluster de bases de données.

    • Lettres latines (A–Z)

    • Chiffres (0–9)

    • Symbole dollar ($)

    • Trait de soulignement (_)

  • Les espaces ( ) et certains caractères ne sont pas pris en charge dans les noms de colonnes des tables de base de données. Les tables dont les noms de colonnes contiennent les caractères suivants sont ignorées lors de l'exportation :

    , ; { } ( ) \n \t = (space)

  • Les tables dont les noms contiennent des barres obliques (/) sont ignorées lors de l'exportation.

  • Les tables temporaires et non journalisées d'Aurora PostgreSQL sont ignorées lors de l'exportation.

  • Si les données contiennent un objet volumineux tel qu'un objet BLOB ou CLOB proche de ou supérieur à 500 Mo, l'exportation échoue.

  • Si une table contient une grande ligne proche de ou supérieure à 2 Go, la table est ignorée lors de l'exportation.

  • Nous vous recommandons vivement d'utiliser un nom unique pour chaque tâche d'exportation. Si vous n'utilisez pas un nom de tâche unique, vous risquez de recevoir le message d'erreur suivant :

    ExportTaskAlreadyExistsFault: Une erreur s'est produite (ExportTaskAlreadyExists) lors de l'appel de l' StartExportTaskopération : la tâche d'exportation portant l'ID xxxxx existe déjà.

  • Certaines tables pouvant être ignorées, nous vous recommandons de vérifier les nombres de lignes et de tables dans les données après l'exportation.

Présentation de l'exportation des données depuis un cluster de bases de données

Vous utilisez le processus suivant pour exporter des données d'un cluster de bases de données vers un compartiment Amazon S3. Pour plus de détails, consultez les sections suivantes.

  1. Identifiez le cluster de bases de données dont vous voulez exporter les données.

  2. Configurez l'accès au compartiment Amazon S3.

    Un compartiment est un conteneur d'objets ou de fichiers Amazon S3. Pour fournir les informations permettant d'accéder à un compartiment, procédez comme suit :

    1. Identifiez le compartiment S3 où les données du cluster de bases de données doivent être exportées. Le compartiment S3 doit être situé dans la même région AWS que le cluster de bases de données. Pour plus d’informations, consultez Identification du compartiment Amazon S3 pour l'exportation.

    2. Créez un rôle AWS Identity and Access Management (IAM) qui accorde à la tâche d'exportation du cluster de bases de données l'accès au compartiment S3. Pour plus d’informations, consultez Fournir l'accès à un compartiment Amazon S3 à l'aide d'un rôle IAM.

  3. Créez un chiffrement symétrique AWS KMS key pour le chiffrement côté serveur. La clé KMS est utilisée par la tâche d'exportation du cluster pour configurer le chiffrement AWS KMS côté serveur lors de l'écriture des données d'exportation dans S3.

    La politique de clés KMS doit inclure à la fois les autorisations kms:CreateGrant et kms:DescribeKey. Pour plus d'informations sur l'utilisation des clés KMS dans Amazon Aurora, consultez Gestion AWS KMS key.

    Si votre politique de clé KMS contient une déclaration de refus, assurez-vous d'exclure explicitement le principal du AWS serviceexport.rds.amazonaws.com.

    Vous pouvez utiliser une clé KMS dans votre AWS compte, ou vous pouvez utiliser une clé KMS entre comptes. Pour plus d’informations, consultez Utiliser un compte croisé AWS KMS key.

  4. Exportez le cluster de bases de données vers Amazon S3 à l'aide de la console ou de la commande CLI start-export-task. Pour plus d’informations, consultez Exportation des données du cluster de bases de données vers un compartiment Amazon S3.

  5. Pour accéder aux données exportées dans le compartiment Amazon S3, consultez Chargement, téléchargement et gestion d'objets dans le Guide de l'utilisateur Amazon Simple Storage Service.

Configuration de l'accès à un compartiment Amazon S3

Vous identifiez le compartiment Amazon S3, puis vous donnez à la tâche d'exportation du cluster de bases de données l'autorisation d'y accéder.

Identification du compartiment Amazon S3 pour l'exportation

Identifiez le compartiment Amazon S3 vers lequel exporter les données du cluster de bases de données. Utilisez un compartiment S3 existant ou créez un nouveau compartiment S3.

Note

Le compartiment S3 doit se trouver dans la même AWS région que le cluster de base de données.

Pour plus d'informations sur l'utilisation des Amazon S3 compartiments, veuillez consulter les points suivants dans le Guide de l'utilisateur Amazon Simple Storage Service :

Fournir l'accès à un compartiment Amazon S3 à l'aide d'un rôle IAM

Avant d'exporter les données du cluster de bases de données vers Amazon S3, donnez aux tâches d'exportation les autorisations d'accès en écriture au compartiment Amazon S3.

Pour accorder cette autorisation, créez une politique IAM qui donne accès au compartiment, puis créez un rôle IAM et attachez la politique au rôle. Plus tard, vous pourrez affecter le rôle IAM à la tâche d'exportation de votre cluster de bases de données.

Important

Si vous prévoyez d'utiliser le AWS Management Console pour exporter votre cluster de base de données, vous pouvez choisir de créer la politique IAM et le rôle automatiquement lorsque vous exportez le cluster de base de données. Pour obtenir des instructions, veuillez consulter Exportation des données du cluster de bases de données vers un compartiment Amazon S3.

Pour donner aux tâches l'accès à Amazon S3

  1. Créez une politique IAM. Cette politique fournit les autorisations relatives au compartiment et aux objets qui permettent à votre tâche d'exportation de cluster de données d'accéder à Amazon S3.

    Dans la politique, incluez les actions obligatoires suivantes pour permettre le transfert de fichiers depuis Amazon Aurora vers un compartiment S3 :

    • s3:PutObject*

    • s3:GetObject*

    • s3:ListBucket

    • s3:DeleteObject*

    • s3:GetBucketLocation

    Dans la politique, incluez les ressources suivantes pour identifier le compartiment S3 et les objets qu'il contient. La liste de ressources suivante indique le format Amazon Resource Name (ARN) pour l'accès à Amazon S3.

    • arn:aws:s3:::your-s3-bucket

    • arn:aws:s3:::your-s3-bucket/*

    Pour plus d'informations concernant la création d'une politique IAM pour Amazon Aurora, consultez Création et utilisation d'une politique IAM pour l'accès à une base de données IAM. Consultez également Didacticiel : création et attachement de votre première politique gérée par le client dans le Guide de l'utilisateur IAM.

    La AWS CLI commande suivante crée une politique IAM nommée ExportPolicy avec ces options. Elle accorde un accès à un compartiment nommé your-s3-bucket.

    Note

    Après avoir créé la politique, notez son ARN. Vous en aurez besoin par la suite pour attacher la politique à un rôle IAM.

    aws iam create-policy  --policy-name ExportPolicy --policy-document '{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "ExportPolicy",
            "Effect": "Allow",
            "Action": [
                "s3:PutObject*",
                "s3:ListBucket",
                "s3:GetObject*",
                "s3:DeleteObject*",
                "s3:GetBucketLocation"
            ],
            "Resource": [
                "arn:aws:s3:::your-s3-bucket",
                "arn:aws:s3:::your-s3-bucket/*"
            ]
        }
    ]
}'

  2. Créez un rôle IAM, afin qu'Aurora puisse endosser ce rôle IAM en votre nom pour accéder à vos compartiments Amazon S3. Pour plus d'informations, veuillez consulter Création d'un rôle pour déléguer des autorisations à un utilisateur IAM dans le Guide de l'utilisateur IAM.

    L'exemple suivant montre comment utiliser la AWS CLI commande pour créer un rôle nommérds-s3-export-role.

    aws iam create-role  --role-name rds-s3-export-role  --assume-role-policy-document '{
     "Version": "2012-10-17",
     "Statement": [
       {
         "Effect": "Allow",
         "Principal": {
            "Service": "export.rds.amazonaws.com"
          },
         "Action": "sts:AssumeRole"
       }
     ] 
   }'

  3. Attachez la politique IAM que vous avez créée au rôle IAM que vous venez de créer.

    La AWS CLI commande suivante associe la politique créée précédemment au rôle nommérds-s3-export-role. Remplacez your-policy-arn par l'ARN de stratégie que vous avez noté lors d'une étape précédente.

    aws iam attach-role-policy  --policy-arn your-policy-arn  --role-name rds-s3-export-role

Utilisation d'un compartiment Amazon S3 entre comptes

Vous pouvez utiliser des compartiments S3 sur plusieurs AWS comptes. Pour plus d’informations, consultez Utilisation d'un compartiment Amazon S3 entre comptes.

Exportation des données du cluster de bases de données vers un compartiment Amazon S3

Vous pouvez avoir jusqu'à cinq tâches simultanées d'exportation de cluster de bases de données en cours par Compte AWS.

Note

L'exportation des données d'un cluster de bases de données peut prendre un certain temps selon le type et la taille de votre base de données. La tâche d'exportation commence par cloner et mettre à l'échelle l'ensemble de la base de données avant d'extraire les données vers Amazon S3. La progression de la tâche au cours de cette phase s'affiche sous l'intitulé Starting. Lorsque la tâche passe à l'exportation de données vers S3, la progression affiche l'intitulé En cours.

La durée nécessaire à l'exportation dépend des données stockées dans la base de données. Par exemple, l'exportation des tables comportant des colonnes numériques d'index ou de clé primaire bien distribuées est la plus rapide. L'opération prend plus de temps pour les tables qui ne contiennent pas de colonne adaptée au partitionnement et les tables avec un seul index sur une colonne basée sur une chaîne, car l'exportation utilise un processus à thread unique plus lent.

Vous pouvez exporter les données du cluster de bases de données vers Amazon S3 à l'aide de l'API AWS Management Console, de AWS CLI, ou de l'API RDS.

Si vous utilisez une fonction Lambda pour exporter les données du cluster de bases de données, ajoutez l'action kms:DescribeKey à la politique de la fonction Lambda. Pour plus d'informations, consultez Autorisations AWS Lambda.

L'option de console Export to Amazon S3 (Exporter vers Amazon S3) n'apparaît que pour les clusters de bases de données qui peuvent être exportés vers Amazon S3. Un cluster de bases de données peut ne pas être disponible pour l'exportation pour les raisons suivantes :

  • Le moteur de base de données n'est pas pris en charge pour l'exportation S3.

  • La version du cluster de bases de données n'est pas prise en charge pour l'exportation S3.

  • L'exportation S3 n'est pas prise en charge dans la AWS région où le cluster de base de données a été créé.

Pour exporter les données du cluster de bases de données

  1. Connectez-vous à la console Amazon RDS AWS Management Console et ouvrez-la à l'adresse https://console.aws.amazon.com/rds/.

  2. Dans le panneau de navigation, choisissez Databases (Bases de données).

  3. Choisissez le cluster de bases de données dont vous voulez exporter les données.

  4. Pour actions, choisissez Export to Amazon S3 (Exporter vers Amazon S3).

    La fenêtre Export to Amazon S3 (Exporter vers Amazon S3) apparaît.

  5. Dans Export Identifier (Identifiant d'exportation), entrez un nom pour identifier la tâche d'exportation. Cette valeur est également utilisée pour le nom du fichier créé dans le compartiment S3.

  6. Choisissez les données à exporter :

    • Choisissez All (Tout) pour exporter toutes les données du cluster de bases de données.

    • Choisissez Partial (Partiel) pour exporter des parties spécifiques du cluster de bases de données. Pour identifier les parties du cluster à exporter, entrez un(e) ou plusieurs bases de données, schémas ou tables pour Identifiers (Identifiants), séparés par des espaces.

      Utilisez le format suivant :

      database[.schema][.table] database2[.schema2][.table2] ... databasen[.scheman][.tablen]

      Exemples :

      mydatabase mydatabase2.myschema1 mydatabase2.myschema2.mytable1 mydatabase2.myschema2.mytable2

  7. Pour S3 bucket (Compartiment S3), choisissez le compartiment vers lequel exporter.

    Pour affecter les données exportées à un chemin d'accès de dossier dans le compartiment S3, entrez le chemin d'accès facultatif pour S3 prefix (Préfixe S3).

  8. Pour Rôle IAM, choisissez un rôle qui vous accorde un accès en écriture au compartiment S3 choisi, ou créez un nouveau rôle.

    • Si vous avez créé un rôle en suivant les étapes décrites dans Fournir l'accès à un compartiment Amazon S3 à l'aide d'un rôle IAM, choisissez ce rôle.

    • Si vous n'avez pas créé un rôle qui vous accorde un accès en écriture au compartiment S3 que vous avez choisi, choisissez Create a new role (Créer un nouveau rôle) pour créer le rôle automatiquement. Ensuite, saisissez un nom pour le rôle dans Nom du rôle IAM.

  9. Pour KMS key (Clé KMS), entrez l'ARN de la clé à utiliser pour chiffrer les données exportées.

  10. Choisissez Export to Amazon S3 (Exporter vers Amazon S3).

Pour exporter les données du cluster de bases de données vers Amazon S3 à l'aide de AWS CLI, utilisez la start-export-taskcommande avec les options requises suivantes :

  • --export-task-identifier

  • --source-arn : Amazon Resource Name (ARN) du cluster de bases de données

  • --s3-bucket-name

  • --iam-role-arn

  • --kms-key-id

Dans les exemples suivants, la tâche d'exportation est nommée my-cluster-export, qui exporte les données vers un compartiment S3 nommé my-export-bucket.

Pour LinuxmacOS, ou Unix :

aws rds start-export-task \
    --export-task-identifier my-cluster-export \
    --source-arn arn:aws:rds:us-west-2:123456789012:cluster:my-cluster \
    --s3-bucket-name my-export-bucket \
    --iam-role-arn iam-role \
    --kms-key-id my-key

Dans Windows :

aws rds start-export-task ^
    --export-task-identifier my-DB-cluster-export ^
    --source-arn arn:aws:rds:us-west-2:123456789012:cluster:my-cluster ^
    --s3-bucket-name my-export-bucket ^
    --iam-role-arn iam-role ^
    --kms-key-id my-key

Vous trouverez ci-après un exemple de sortie.

{
    "ExportTaskIdentifier": "my-cluster-export",
    "SourceArn": "arn:aws:rds:us-west-2:123456789012:cluster:my-cluster",
    "S3Bucket": "my-export-bucket",
    "IamRoleArn": "arn:aws:iam:123456789012:role/ExportTest",
    "KmsKeyId": "my-key",
    "Status": "STARTING",
    "PercentProgress": 0,
    "TotalExtractedDataInGB": 0,
}

Pour fournir un chemin de dossier dans le compartiment S3 pour l'exportation du cluster de base de données, incluez l'--s3-prefixoption dans la start-export-taskcommande.

Pour exporter les données d'un cluster de bases de données vers Amazon S3 à l'aide de l'API Amazon RDS, utilisez l'StartExportTaskopération avec les paramètres obligatoires suivants :

  • ExportTaskIdentifier

  • SourceArn : ARN du cluster de bases de données

  • S3BucketName

  • IamRoleArn

  • KmsKeyId

Surveillance des tâches d'exportation du cluster de bases de données

Vous pouvez surveiller les exportations de clusters de bases de données à l' AWS Management Console aide de l'API AWS CLI, de, ou de l'API RDS.

Pour surveiller les exportations du cluster de bases de données

  1. Connectez-vous à la console Amazon RDS AWS Management Console et ouvrez-la à l'adresse https://console.aws.amazon.com/rds/.

  2. Dans le panneau de navigation, choisissez Exports in Amazon S3 (Exportations dans Amazon S3).

    Les exportations de cluster de bases de données sont indiquées dans la colonne Source type (Type de source). L'état de l'exportation est affiché dans la colonne Status (État).

  3. Pour afficher des informations détaillées sur l'exportation d'un cluster de bases de données spécifique, sélectionnez la tâche d'exportation.

Pour surveiller les tâches d'exportation de clusters de bases de données à l'aide de AWS CLI, utilisez la describe-export-taskscommande.

L'exemple suivant montre comment afficher les informations actuelles sur toutes vos exportations de cluster de bases de données.

aws rds describe-export-tasks

{
    "ExportTasks": [
        {
            "Status": "CANCELED",
            "TaskEndTime": "2022-11-01T17:36:46.961Z",
            "S3Prefix": "something",
            "S3Bucket": "examplebucket",
            "PercentProgress": 0,
            "KmsKeyId": "arn:aws:kms:us-west-2:123456789012:key/K7MDENG/bPxRfiCYEXAMPLEKEY",
            "ExportTaskIdentifier": "anewtest",
            "IamRoleArn": "arn:aws:iam::123456789012:role/export-to-s3",
            "TotalExtractedDataInGB": 0,
            "SourceArn": "arn:aws:rds:us-west-2:123456789012:cluster:parameter-groups-test"
        },
{
            "Status": "COMPLETE",
            "TaskStartTime": "2022-10-31T20:58:06.998Z",
            "TaskEndTime": "2022-10-31T21:37:28.312Z",
            "WarningMessage": "{\"skippedTables\":[],\"skippedObjectives\":[],\"general\":[{\"reason\":\"FAILED_TO_EXTRACT_TABLES_LIST_FOR_DATABASE\"}]}",
            "S3Prefix": "",
            "S3Bucket": "examplebucket1",
            "PercentProgress": 100,
            "KmsKeyId": "arn:aws:kms:us-west-2:123456789012:key/2Zp9Utk/h3yCo8nvbEXAMPLEKEY",
            "ExportTaskIdentifier": "thursday-events-test", 
            "IamRoleArn": "arn:aws:iam::123456789012:role/export-to-s3",
            "TotalExtractedDataInGB": 263,
            "SourceArn": "arn:aws:rds:us-west-2:123456789012:cluster:example-1-2019-10-31-06-44"
        },
        {
            "Status": "FAILED",
            "TaskEndTime": "2022-10-31T02:12:36.409Z",
            "FailureCause": "The S3 bucket examplebucket2 isn't located in the current AWS Region. Please, review your S3 bucket name and retry the export.",
            "S3Prefix": "",
            "S3Bucket": "examplebucket2",
            "PercentProgress": 0,
            "KmsKeyId": "arn:aws:kms:us-west-2:123456789012:key/2Zp9Utk/h3yCo8nvbEXAMPLEKEY",
            "ExportTaskIdentifier": "wednesday-afternoon-test",
            "IamRoleArn": "arn:aws:iam::123456789012:role/export-to-s3",
            "TotalExtractedDataInGB": 0,
            "SourceArn": "arn:aws:rds:us-west-2:123456789012:cluster:example-1-2019-10-30-06-45"
        }
    ]
}

Pour afficher des informations sur une tâche d'exportation spécifique, incluez l'option --export-task-identifier avec la commande describe-export-tasks. Pour filtrer la sortie, incluez l'option --Filters. Pour plus d'options, consultez la describe-export-taskscommande.

Pour afficher des informations sur les exportations de clusters de bases de données à l'aide de l'API Amazon RDS, utilisez l'DescribeExportTasksopération.

Pour suivre l'achèvement du workflow d'exportation ou pour initier un autre workflow, vous pouvez vous abonner à des rubriques Amazon Simple Notification Service. Pour plus d'informations sur Amazon SNS, consultez Utiliser la notification d'événements d'Amazon RDS.

Annulation d'une tâche d'exportation d'un cluster de bases de données

Vous pouvez annuler une tâche d'exportation d'un cluster de base de données à l' AWS Management Console aide de l'API AWS CLI, de ou de l'API RDS.

Note

L'annulation d'une tâche d'exportation ne supprime pas les données qui ont été exportées vers Amazon S3. Pour plus d'informations sur la suppression des données à l'aide de la console, veuillez consulter Comment supprimer des objets d'un compartiment S3 ?. Pour supprimer les données à l'aide de la CLI, utilisez la commande delete-object.

Pour annuler une tâche d'exportation de cluster de bases de données

  1. Connectez-vous à la console Amazon RDS AWS Management Console et ouvrez-la à l'adresse https://console.aws.amazon.com/rds/.

  2. Dans le panneau de navigation, choisissez Exports in Amazon S3 (Exportations dans Amazon S3).

    Les exportations de cluster de bases de données sont indiquées dans la colonne Source type (Type de source). L'état de l'exportation est affiché dans la colonne Status (État).

  3. Sélectionnez la tâche d'exportation que vous souhaitez annuler.

  4. Choisissez Cancel (Annuler).

  5. Choisissez Cancel export task (Annuler la tâche d'exportation) sur la page de confirmation.

Pour annuler une tâche d'exportation à l'aide de AWS CLI, utilisez la cancel-export-taskcommande. La commande requiert l'option --export-task-identifier.

aws rds cancel-export-task --export-task-identifier my-export
{
    "Status": "CANCELING",
    "S3Prefix": "",
    "S3Bucket": "examplebucket",
    "PercentProgress": 0,
    "KmsKeyId": "arn:aws:kms:us-west-2:123456789012:key/K7MDENG/bPxRfiCYEXAMPLEKEY",
    "ExportTaskIdentifier": "my-export",
    "IamRoleArn": "arn:aws:iam::123456789012:role/export-to-s3",
    "TotalExtractedDataInGB": 0,
    "SourceArn": "arn:aws:rds:us-west-2:123456789012:cluster:export-example-1"
}

Pour annuler une tâche d'exportation à l'aide de l'API Amazon RDS, utilisez l'CancelExportTaskopération avec le ExportTaskIdentifier paramètre.

Messages d'échec relatifs aux tâches d'exportation Amazon S3

Le tableau suivant décrit les messages renvoyés en cas d'échec des tâches d'exportation Amazon S3.

Message d'échec Description
Impossible de trouver ou d'accéder au cluster de bases de données source : [nom du cluster] Le cluster de bases de données source ne peut pas être cloné.
Une erreur interne inconnue s'est produite.

La tâche a échoué en raison d'une erreur inconnue, d'une exception ou d'un échec.
Une erreur interne inconnue s'est produite lors de l'écriture des métadonnées de la tâche d'exportation dans le compartiment S3 [nom du compartiment].

La tâche a échoué en raison d'une erreur inconnue, d'une exception ou d'un échec.
L'exportation RDS n'a pas réussi à écrire les métadonnées de la tâche d'exportation, car elle ne peut pas assumer le rôle IAM [ARN du rôle].

La tâche d'exportation assume votre rôle IAM pour vérifier si elle est autorisée à écrire des métadonnées dans votre compartiment S3. Si la tâche ne peut pas assumer votre rôle IAM, elle échoue.
L'exportation RDS n'a pas réussi à écrire les métadonnées de la tâche d'exportation dans le compartiment S3 [nom du compartiment] à l'aide du rôle IAM [ARN du rôle] avec la clé KMS [ID de la clé]. Code d'erreur : [code d'erreur]

Une ou plusieurs autorisations sont manquantes et dès lors, la tâche d'exportation ne peut pas accéder au compartiment S3. Ce message d'échec est généré lors de la réception de l'un des codes d'erreur suivants :

  • AWSSecurityTokenServiceException avec le code d'erreur AccessDenied

  • AmazonS3Exception avec le code d'erreur NoSuchBucket, AccessDenied, KMS.KMSInvalidStateException, 403 Forbidden ou KMS.DisabledException

Ces codes d'erreur indiquent que les paramètres sont mal configurés pour le rôle IAM, le compartiment S3 ou la clé KMS.
Le rôle IAM [ARN du rôle] n'est pas autorisé à appeler [action S3] sur le compartiment S3 [nom du compartiment]. Examinez vos autorisations et retentez l'exportation.

La politique IAM est mal configurée. L'autorisation pour l'action S3 spécifique sur le compartiment S3 est manquante, ce qui entraîne l'échec de la tâche d'exportation.
La vérification de la clé KMS a échoué. Vérifiez les informations d'identification de votre clé KMS et réessayez. La vérification des informations d'identification de clé KMS a échoué.
La vérification des informations d'identification S3 a échoué. Vérifiez les autorisations de votre compartiment S3 et de la politique IAM. La vérification des informations d'identification S3 a échoué.
Le compartiment S3 [nom du compartiment] n'est pas valide. Il n'est peut-être pas situé dans la Région AWS actuelle ou il n'existe pas. Vérifiez le nom de votre compartiment S3 et retentez l'exportation. Le compartiment S3 n'est pas valide.
Le compartiment S3 [nom du compartiment] ne se trouve pas dans la Région AWS actuelle. Vérifiez le nom de votre compartiment S3 et retentez l'exportation. Le compartiment S3 se trouve dans le mauvais emplacement Région AWS.

Dépannage des erreurs d'autorisations PostgreSQL

Lors de l'exportation de bases de données PostgreSQL vers Amazon S3, vous pouvez voir une erreur PERMISSIONS_DO_NOT_EXIST indiquant que certaines tables ont été ignorées. Cette erreur se produit généralement lorsque le superutilisateur, que vous avez spécifié lors de la création du cluster de bases de données, ne dispose pas des autorisations nécessaires pour accéder à ces tables.

Pour corriger cette erreur, exécutez la commande suivante :

GRANT ALL PRIVILEGES ON ALL TABLES IN SCHEMA schema_name TO superuser_name

Pour plus d'informations sur les privilèges des superutilisateurs, veuillez consulter Privilèges du compte utilisateur principal.

Convention de dénomination de fichiers

Les données exportées pour des tables spécifiques sont stockées au format base_prefix/files, qui utilise le préfixe de base suivant :

export_identifier/database_name/schema_name.table_name/

Par exemple :

export-1234567890123-459/rdststcluster/mycluster.DataInsert_7ADB5D19965123A2/

Les fichiers de sortie utilisent la convention d'appellation suivante, où partition_index est alphanumérique :

partition_index/part-00000-random_uuid.format-based_extension

Par exemple :

1/part-00000-c5a881bb-58ff-4ee6-1111-b41ecff340a3-c000.gz.parquet
a/part-00000-d7a881cc-88cc-5ab7-2222-c41ecab340a4-c000.gz.parquet

La convention de dénomination de fichiers est sujette à modification. Par conséquent, lors de la lecture des tables cibles, nous vous conseillons de lire tout ce qui se trouve à l'intérieur du préfixe de base de la table.

Conversion des données et format de stockage

Lorsque vous exportez un cluster de bases de données vers un compartiment Amazon S3, Amazon Aurora convertit les données, les exporte et les stocke au format Parquet. Pour plus d'informations, voir Conversion des données lors de l'exportation vers un compartiment Amazon S3.