Amazon S3 への DB クラスターデータのエクスポート - Amazon Aurora

Amazon S3 への DB クラスターデータのエクスポート

ライブの Amazon Aurora DB クラスターから Amazon S3 バケットにデータをエクスポートできます。エクスポートプロセスはバックグラウンドで実行されるため、アクティブな DB クラスターのパフォーマンスには影響しません。

デフォルトでは、DB クラスター内のすべてのデータがエクスポートされます。ただし、特定のデータベース、スキーマ、またはテーブルのセットをエクスポートすることもできます。

Amazon Aurora は DB クラスターをクローンして、クローンからデータを抽出し、そのデータを Amazon S3 バケットに保存します。データは Apache Parquet 形式で一貫して圧縮され、保存されます。個々の Parquet ファイルのサイズは、通常、最大 20 GB です。

Aurora MySQL バージョン 2 とバージョン 3 のスナップショットデータをエクスポートすることで得られる高速パフォーマンスは、DB クラスターデータのエクスポートには当てはまりません。詳細については、「Amazon S3 への DB クラスタースナップショットデータのエクスポート」を参照してください。

エクスポートするのがすべてのデータなのか、部分的なデータなのかに関係なく、DB クラスター全体をエクスポートすると課金されます。詳細については、「Amazon Aurora 料金」ページを参照してください。

データをエクスポートすると、Amazon Athena や Amazon Redshift Spectrum などのツールを使用して、エクスポートしたデータを直接分析できます。Athena を使用して Parquet データを読み取る方法の詳細については、Amazon Athena ユーザーガイドParquet SerDe を参照してください。Redshift Spectrum を使用して Parquet データを読み取る方法の詳細については、Amazon Redshift Database デベロッパーガイドの「列指向データ形式からの COPY」を参照してください。

機能の可用性とサポートは、各データベースエンジンの特定のバージョンと AWS リージョン によって異なります。S3 への DB クラスターデータのエクスポートのバージョンとリージョンの可用性の詳細については、「Amazon S3 へのクラスターデータのエクスポート」を参照してください。

制限事項

DB クラスターデータの Amazon S3 へのエクスポートには、次の制限があります。

  • 同じ DB クラスターに対して複数のエクスポートタスクを同時に実行することはできません。これは、フルエクスポートと部分エクスポートの両方に当てはまります。

  • Aurora Serverless v1 DB クラスターは、S3 へのエクスポートをサポートしていません。

  • Aurora MySQL および Aurora PostgreSQL は、プロビジョニングされたエンジンモードでのみ S3 へのエクスポートをサポートします。

  • DB クラスターには最大 15 個のクローンを配置できます。この制限のため、クラスターに既に 15 個のクローンがある場合、エクスポートタスクは DB クラスターをクローニングする代わりにコピーします。コピーすると、エクスポートタスクの時間が長くなります。クローニングの詳細については、「Amazon Aurora DB クラスターのボリュームのクローン作成」を参照してください。

  • S3 ファイルパスの次の文字は、エクスポート時にアンダースコア (_) に変換されます。

    \ ` " (space)
  • データベース、スキーマ、またはテーブルの名前に次の文字以外の文字が含まれている場合、部分的なエクスポートはサポートされません。ただし、DB クラスター全体をエクスポートすることはできます。

    • ラテン文字 (A-Z)

    • 数字 (0-9)

    • ドル記号 ($)

    • 下線 (_)

  • データベーステーブルの列名では、一部の文字と空白文字の使用はサポートされていません。列名に次の文字が含まれるテーブルは、エクスポート時にスキップされます。

    , ; { } ( ) \n \t = (space)
  • 名前にスラッシュ (/) が含まれるテーブルは、エクスポート時にスキップされます。

  • Aurora PostgreSQL の一時テーブルとログに記録されていないテーブルは、エクスポート中にスキップされます。

  • データに BLOB や CLOB などの大きいオブジェクト (500 MB に近いか、それ以上) が含まれている場合、エクスポートは失敗します。

  • テーブルに、2 GB に近いか、それ以上のサイズの大きな行が含まれている場合、そのテーブルはエクスポート時にスキップされます。

  • エクスポートタスクごとに一意の名前を使用することを強くお勧めします。一意のタスク名を使用しない場合、次のエラーメッセージが表示されることがあります。

    ExportTaskAlreadyExistsFault: StartExportTask オペレーションを呼び出すときにエラー (ExportTaskAlreadyExists) が発生しました。ID xxxxx のエクスポートタスクは既に存在します。

  • 一部のテーブルはスキップされる可能性があるため、エクスポート後にデータの行数とテーブル数を確認することをお勧めします。

DB クラスターデータのエクスポートの概要

次のプロセスを使用して、DB クラスターデータを Amazon S3 バケットにエクスポートします。詳細については、次のセクションを参照してください。

  1. データをエクスポートする DB クラスターを特定します。

  2. Amazon S3 バケットへのアクセスを設定します。

    バケットとは、Amazon S3 オブジェクトまたはファイルのコンテナです。バケットにアクセスするための情報を指定するには、次のステップに従います。

    1. DB クラスターデータのエクスポート先の S3 バケットを特定します。S3 バケットは DB クラスターと同じ AWS リージョンにある必要があります。詳細については、「エクスポート先の Amazon S3 バケットの特定」を参照してください。

    2. DB クラスターエクスポートタスクによる S3 バケットへのアクセス権を付与する AWS Identity and Access Management (IAM) ロールを作成します。詳細については、「IAM ロールを使用した Amazon S3 バケットへのアクセスの提供」を参照してください。

  3. サーバー側の暗号化用の対称暗号化 AWS KMS key を作成します。KMS キーは、エクスポートデータを S3 に書き込むときに、AWS KMS サーバー側の暗号化を設定するために、クラスターエクスポートタスクによって使用されます。KMS キーポリシーには、kms:Encryptkms:Decrypt の両方のアクセス許可を含める必要があります。Amazon Aurora での KMS キーの使用方法の詳細については、「AWS KMS key 管理」を参照してください。

    KMS キーポリシーに deny ステートメントがある場合は、必ず AWS サービスプリンシパル export.rds.amazonaws.com を明示的に除外してください。

    AWSアカウント内で KMS キーを使用することも、クロスアカウント KMS キーを使用することもできます。詳細については、「クロスアカウント AWS KMS key を使用する」を参照してください。

  4. コンソールまたは start-export-task CLI コマンドを使用して、DB クラスターを Amazon S3 にエクスポートします。詳細については、「Amazon S3 バケットへの DB クラスターデータのエクスポート」を参照してください。

  5. Amazon S3 バケット内のエクスポートされたデータにアクセスするには、Amazon Simple Storage Service ユーザーガイドの「オブジェクトのアップロード、ダウンロード、管理」を参照してください。

Amazon S3 バケットへのアクセスを設定する

Amazon S3 バケットを特定したら、それにアクセスするアクセス許可を DB クラスターエクスポートタスクに与えます。

エクスポート先の Amazon S3 バケットの特定

DB クラスターデータをエクスポートする Amazon S3 バケットを特定します。既存の S3 バケットを使用するか、新しい S3 バケットを作成します。

注記

S3 バケットは DB クラスターと同じ AWS リージョンにある必要があります。

Amazon S3 バケットの操作の詳細については、Amazon Simple Storage Service ユーザーガイドで次のトピックを参照してください。

IAM ロールを使用した Amazon S3 バケットへのアクセスの提供

DB クラスターデータを Amazon S3 にエクスポートする前に、エクスポートタスクに対して Amazon S3 バケットへの書き込みアクセス許可を付与します。

このアクセス権限を付与するには、バケットへのアクセスを可能にする IAM ポリシーを作成し、次に IAM ロールを作成して、このロールにポリシーをアタッチします。後で IAM ロールを DB クラスターエクスポートタスクに割り当てることができます。

重要

AWS Management Console を使用して DB クラスターをエクスポートする予定がある場合は、DB クラスターをエクスポートするときに IAM ポリシーとロールを自動的に作成することもできます。手順については、「Amazon S3 バケットへの DB クラスターデータのエクスポート」を参照してください。

Amazon S3 へのアクセス権をタスクに付与するには
  1. IAM ポリシーを作成します。このポリシーでバケットおよびオブジェクトへのアクセス許可を与えることにより、DB クラスターエクスポートタスクから Amazon S3 にアクセスできるようにします。

    Amazon Aurora から S3 バケットへのファイル転送を許可するために、以下の必須アクションをポリシーに含めます。

    • s3:PutObject*

    • s3:GetObject*

    • s3:ListBucket

    • s3:DeleteObject*

    • s3:GetBucketLocation

    ポリシーには、S3 バケットとバケット内のオブジェクトを識別するために、以下のリソースを含めます。次のリソースのリストは、Amazon S3 にアクセスするための Amazon リソースネーム (ARN) 形式を示しています。

    • arn:aws:s3:::your-s3-bucket

    • arn:aws:s3:::your-s3-bucket/*

    Amazon Aurora の IAM ポリシーの作成の詳細については、「IAM データベースアクセス用の IAM ポリシーの作成と使用」を参照してください。IAM ユーザーガイドの「チュートリアル: はじめてのカスタマー管理ポリシーの作成とアタッチ」も参照してください。

    以下の AWS CLI コマンドでは、これらのオプションを指定して、ExportPolicy という名前の IAM ポリシーを作成します。このポリシーでは、your-s3-bucket という名前のバケットへのアクセス権が付与されます。

    注記

    ポリシーを作成したら、ポリシーの ARN を書き留めます。ポリシーを IAM ロールにアタッチする場合、後続のステップで ARN が必要です。

    aws iam create-policy --policy-name ExportPolicy --policy-document '{ "Version": "2012-10-17", "Statement": [ { "Sid": "ExportPolicy", "Effect": "Allow", "Action": [ "s3:PutObject*", "s3:ListBucket", "s3:GetObject*", "s3:DeleteObject*", "s3:GetBucketLocation" ], "Resource": [ "arn:aws:s3:::your-s3-bucket", "arn:aws:s3:::your-s3-bucket/*" ] } ] }'
  2. IAM ロールを作成して、Aurora がこの IAM ロールがユーザーに代わって Amazon S3 バケットにアクセスすると見なすことができるようにします。詳細については、IAM ユーザーガイドの「IAM ユーザーにアクセス許可を委任するロールの作成」を参照してください。

    以下の例は、AWS CLI コマンドを使用して、rds-s3-export-role という名前のロールを作成する例を示しています。

    aws iam create-role --role-name rds-s3-export-role --assume-role-policy-document '{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Principal": { "Service": "export.rds.amazonaws.com" }, "Action": "sts:AssumeRole" } ] }'
  3. 作成した IAM ポリシーを、作成した IAM ロールにアタッチします。

    次の AWS CLI コマンドでは、先ほど作成したポリシーを rds-s3-export-role という名前のロールにアタッチします。your-policy-arn は、以前のステップで書き留めたポリシー ARN に置き換えます。

    aws iam attach-role-policy --policy-arn your-policy-arn --role-name rds-s3-export-role

クロスアカウント Amazon S3 バケットを使用する

S3 バケットは AWS アカウント全体で使用できます。詳細については、「クロスアカウント Amazon S3 バケットを使用する」を参照してください。

Amazon S3 バケットへの DB クラスターデータのエクスポート

1 つの AWS アカウント につき、最大 5 つの DB クラスターエクスポートタスクを同時に実行できます。

注記

データベースのタイプとサイズによっては、DB クラスターデータのエクスポートに時間がかかることがあります。エクスポートタスクは、まず、データベース全体をクローニングおよびスケーリングしてから、Amazon S3 にデータを抽出します。このフェーズでのタスクの進捗状況は、[起動中] と表示されます。タスクが S3 へのデータのエクスポートに切り替わると、進捗状況は [進行中] と表示されます。

エクスポートが完了するまでにかかる時間は、データベースに格納されているデータによって異なります。例えば、数値のプライマリキーまたはインデックス列が適切に配信されているテーブルは、最も速くエクスポートされます。テーブルにパーティション化に適した列が含まれていない場合や文字列ベースの列にインデックスが 1 つしかない場合、エクスポートには低速なシングルスレッド処理が使用されるため、処理に時間がかかります。

AWS Management Console、AWS CLI、または RDS API を使用して、DB クラスターデータを Amazon S3 にエクスポートできます。

Lambda 関数を使用して DB クラスターデータをエクスポートする場合は、Lambda 関数ポリシーに kms:DescribeKey アクションを追加します。詳細については、「AWS Lambda のアクセス許可」を参照してください。

[Export to Amazon S3] (Amazon S3 へのエクスポート) コンソールオプションは、Amazon S3 にエクスポートできる DB クラスターに対してのみ表示されます。DB クラスターは、次の理由により、エクスポートに使用できない場合があります。

  • DB エンジンが S3 エクスポートでサポートされていない。

  • DB クラスターのバージョンが S3 エクスポートでサポートされていない。

  • DB クラスターが作成された AWS リージョンで S3 エクスポートがサポートされていない。

DB クラスターデータをエクスポートするには
  1. AWS Management Console にサインインし、Amazon RDS コンソール (https://console.aws.amazon.com/rds/) を開きます。

  2. ナビゲーションペインで、[データベース] を選択します。

  3. データをエクスポートする DB クラスターを選択します。

  4. [アクション] で、[Amazon S3 にエクスポート] を選択します。

    [EAmazon S3 にエクスポート] ウィンドウが表示されます。

  5. [エクスポート識別子] に、エクスポートタスクを識別する名前を入力します。この値は、S3 バケットで作成されるファイルの名前としても使用されます。

  6. エクスポートするデータを選択します。

    • [All] (すべて) を選択すると、DB クラスター内のすべてのデータがエクスポートされます。

    • [Partial] (部分的) を選択すると、DB クラスターの特定部分がエクスポートされます。クラスターのどの部分をエクスポートするかを特定するには、[Identifiers] (識別子) に 1 つ以上のデータベース、スキーマ、またはテーブルをスペースで区切って入力します。

      次の形式を使用します。

      database[.schema][.table] database2[.schema2][.table2] ... databasen[.scheman][.tablen]

      次に例を示します。

      mydatabase mydatabase2.myschema1 mydatabase2.myschema2.mytable1 mydatabase2.myschema2.mytable2
  7. [S3 バケット] で、エクスポート先のバケットを選択します。

    エクスポートされたデータを S3 バケット内のフォルダパスに割り当てるには、[S3 プレフィックス] にオプションのパスを入力します。

  8. IAM ロール の場合は、選択した S3 バケットへの書き込みアクセスを許可するロールを選択するか、新しいロールを作成します。

    • IAM ロールを使用した Amazon S3 バケットへのアクセスの提供」のステップに従ってロールを作成した場合は、そのロールを選択します。

    • 選択した S3 バケットへの書き込みアクセス権を付与するロールを作成しなかった場合は、[Create a new role] (新しいロールの作成) を選択して、ロールを自動的に作成します。次に、[IAM role name] (IAM ロール名) にロールの名前を入力します。

  9. [KMS key] (KMS キー) として、エクスポートされたデータの暗号化に使用するキーの ARN を入力します。

  10. [Amazon S3 にエクスポート] を選択します。

AWS CLI を使用して DB クラスターデータを Amazon S3 にエクスポートするには、以下の必須オプションを指定して start-export-task コマンドを使用します。

  • --export-task-identifier

  • --source-arn - DB クラスターの Amazon リソースネーム (ARN)。

  • --s3-bucket-name

  • --iam-role-arn

  • --kms-key-id

以下の例では、エクスポートタスクに my-cluster-export という名前が付けられ、データを my-export-bucket という名前の S3 バケットにエクスポートします。

Linux、macOS、Unix の場合:

aws rds start-export-task \ --export-task-identifier my-cluster-export \ --source-arn arn:aws:rds:us-west-2:123456789012:cluster:my-cluster \ --s3-bucket-name my-export-bucket \ --iam-role-arn iam-role \ --kms-key-id my-key

Windows の場合:

aws rds start-export-task ^ --export-task-identifier my-DB-cluster-export ^ --source-arn arn:aws:rds:us-west-2:123456789012:cluster:my-cluster ^ --s3-bucket-name my-export-bucket ^ --iam-role-arn iam-role ^ --kms-key-id my-key

サンプル出力を次に示します。

{ "ExportTaskIdentifier": "my-cluster-export", "SourceArn": "arn:aws:rds:us-west-2:123456789012:cluster:my-cluster", "S3Bucket": "my-export-bucket", "IamRoleArn": "arn:aws:iam:123456789012:role/ExportTest", "KmsKeyId": "my-key", "Status": "STARTING", "PercentProgress": 0, "TotalExtractedDataInGB": 0, }

DB クラスターのエクスポート先である S3 バケット内のフォルダパスを指定するには、start-export-task コマンドに --s3-prefix オプションを含めます。

Amazon RDS API を使用して DB クラスターデータを Amazon S3 にエクスポートするには、以下の必須パラメータを指定して StartExportTask オペレーションを使用します。

  • ExportTaskIdentifier

  • SourceArn - DB クラスターの ARN。

  • S3BucketName

  • IamRoleArn

  • KmsKeyId

DB クラスターエクスポートタスクのモニタリング

DB クラスターのエクスポートは、AWS Management Console、AWS CLI、または RDS API を使用してモニタリングできます。

DB クラスターのエクスポートをモニタリングするには
  1. AWS Management Console にサインインし、Amazon RDS コンソール (https://console.aws.amazon.com/rds/) を開きます。

  2. ナビゲーションペインで [Exports in Amazon S3] (Amazon S3 にエクスポート) を選択します。

    DB クラスターのエクスポートは [Source type] (ソースタイプ) 列に表示されます。エクスポートのステータスは [Status] (ステータス) 列に表示されます。

  3. 特定の DB クラスターのエクスポートに関する詳細情報を表示するには、エクスポートタスクを選択します。

AWS CLI を使用して DB クラスターのエクスポートをモニタリングするには、describe-export-tasks コマンドを使用します。

次の例は、すべての DB クラスターのエクスポートに関する最新情報を表示する方法を示しています。

aws rds describe-export-tasks { "ExportTasks": [ { "Status": "CANCELED", "TaskEndTime": "2022-11-01T17:36:46.961Z", "S3Prefix": "something", "S3Bucket": "examplebucket", "PercentProgress": 0, "KmsKeyId": "arn:aws:kms:us-west-2:123456789012:key/K7MDENG/bPxRfiCYEXAMPLEKEY", "ExportTaskIdentifier": "anewtest", "IamRoleArn": "arn:aws:iam::123456789012:role/export-to-s3", "TotalExtractedDataInGB": 0, "SourceArn": "arn:aws:rds:us-west-2:123456789012:cluster:parameter-groups-test" }, { "Status": "COMPLETE", "TaskStartTime": "2022-10-31T20:58:06.998Z", "TaskEndTime": "2022-10-31T21:37:28.312Z", "WarningMessage": "{\"skippedTables\":[],\"skippedObjectives\":[],\"general\":[{\"reason\":\"FAILED_TO_EXTRACT_TABLES_LIST_FOR_DATABASE\"}]}", "S3Prefix": "", "S3Bucket": "examplebucket1", "PercentProgress": 100, "KmsKeyId": "arn:aws:kms:us-west-2:123456789012:key/2Zp9Utk/h3yCo8nvbEXAMPLEKEY", "ExportTaskIdentifier": "thursday-events-test", "IamRoleArn": "arn:aws:iam::123456789012:role/export-to-s3", "TotalExtractedDataInGB": 263, "SourceArn": "arn:aws:rds:us-west-2:123456789012:cluster:example-1-2019-10-31-06-44" }, { "Status": "FAILED", "TaskEndTime": "2022-10-31T02:12:36.409Z", "FailureCause": "The S3 bucket examplebucket2 isn't located in the current AWS Region. Please, review your S3 bucket name and retry the export.", "S3Prefix": "", "S3Bucket": "examplebucket2", "PercentProgress": 0, "KmsKeyId": "arn:aws:kms:us-west-2:123456789012:key/2Zp9Utk/h3yCo8nvbEXAMPLEKEY", "ExportTaskIdentifier": "wednesday-afternoon-test", "IamRoleArn": "arn:aws:iam::123456789012:role/export-to-s3", "TotalExtractedDataInGB": 0, "SourceArn": "arn:aws:rds:us-west-2:123456789012:cluster:example-1-2019-10-30-06-45" } ] }

特定のエクスポートタスクに関する情報を表示するには、--export-task-identifier オプションを describe-export-tasks コマンドに含めます。出力をフィルタリングするには、--Filters オプションを含めます。その他のオプションについては、 describe-export-tasks コマンドを参照してください。

Amazon RDS API を使用して DB クラスターのエクスポートに関する情報を表示するには、DescribeExportTasks オペレーションを使用します。

エクスポートワークフローの完了を追跡したり、別のワークフローを開始したりするには、Amazon Simple Notification Service トピックをサブスクライブします。Amazon SNS の詳細については、「Amazon RDS イベント通知の操作」を参照してください。

DB クラスターエクスポートタスクのキャンセル

DB クラスターのエクスポートタスクをキャンセルするには、AWS Management Console、AWS CLI、または RDS API を使用できます。

注記

エクスポートタスクをキャンセルしても、Amazon S3 にエクスポート済みのデータは削除されません。コンソールを使用してデータを削除する方法については、「S3 バケットからオブジェクトを削除する方法」を参照してください。CLI を使用してデータを削除するには、delete-object コマンドを使用します。

DB クラスターのエクスポートタスクをキャンセルするには
  1. AWS Management Console にサインインし、Amazon RDS コンソール (https://console.aws.amazon.com/rds/) を開きます。

  2. ナビゲーションペインで [Exports in Amazon S3] (Amazon S3 にエクスポート) を選択します。

    DB クラスターのエクスポートは [Source type] (ソースタイプ) 列に表示されます。エクスポートのステータスは [Status] (ステータス) 列に表示されます。

  3. キャンセルするエクスポートタスクを選択します。

  4. [キャンセル] を選択します。

  5. 確認ページで [エクスポートタスクをキャンセル] を選択します。

AWS CLI を使用してエクスポートタスクをキャンセルするには、cancel-export-task コマンドを使用します。このコマンドには、--export-task-identifier オプションが必要です。

aws rds cancel-export-task --export-task-identifier my-export { "Status": "CANCELING", "S3Prefix": "", "S3Bucket": "examplebucket", "PercentProgress": 0, "KmsKeyId": "arn:aws:kms:us-west-2:123456789012:key/K7MDENG/bPxRfiCYEXAMPLEKEY", "ExportTaskIdentifier": "my-export", "IamRoleArn": "arn:aws:iam::123456789012:role/export-to-s3", "TotalExtractedDataInGB": 0, "SourceArn": "arn:aws:rds:us-west-2:123456789012:cluster:export-example-1" }

Amazon RDS API を使用してエクスポートタスクをキャンセルするには、ExportTaskIdentifier パラメータを指定して CancelExportTask オペレーションを使用します。

Amazon S3 エクスポートタスクの障害メッセージ

次の表では、Amazon S3 エクスポートタスクに障害が発生したときに返されるメッセージについて説明します。

障害メッセージ 説明
ソース DB クラスターの検索またはアクセスに失敗しました: [クラスター名] ソース DB クラスターはクローニングできません。
不明な内部エラーが発生しました。

不明なエラー、例外、または障害により、タスクが失敗しました。

エクスポートタスクのメタデータを S3 バケット 「バケット名」 に書き込む際に、不明な内部エラーが発生しました。

不明なエラー、例外、または障害により、タスクが失敗しました。

RDS エクスポートは、IAM ロール「ロール ARN」を引き受けることができないため、エクスポートタスクのメタデータを書き込めませんでした。

エクスポートタスクは IAM ロールを引き受け、S3 バケットへのメタデータの書き込みが許可されているかどうかを検証します。タスクが IAM ロールを引き受けられない場合は失敗します。

RDS エクスポートで、KMS キー 「キー ID」 を持つ IAM ロール 「ロール ARN」 を使用した S3 バケット 「バケット名」へのエクスポートタスクのメタデータの書き込みに失敗しました。エラーコード:「エラーコード」

1 つ以上のアクセス許可が不足しているため、エクスポートタスクが S3 バケットにアクセスできません。この障害メッセージは、次のいずれかのエラーコードを受信したときにレイズされます。

  • エラーコードAccessDeniedAWSSecurityTokenServiceException

  • エラーコードNoSuchBucketAccessDeniedKMS.KMSInvalidStateException403 Forbidden、またはKMS.DisabledExceptionAmazonS3Exception

これらのエラーコードは、IAM ロール、S3 バケット、または KMS キーの設定が間違っていることを示しています。

IAM ロール [ロール ARN]には、S3 バケット [バケット名] で [S3 アクション] を呼び出す権限がありません。許可を確認してエクスポートを再試行してください。

IAM ポリシーの設定が間違っています。S3 バケットに対する特定の S3 アクションのためのアクセス許可がないため、エクスポートタスクが失敗します。

KMS キーチェックに失敗しました。KMS キーの認証情報をチェックして、再試行してください。 KMS キーの認証情報のチェックに失敗しました。
S3 の認証情報のチェックに失敗しました。S3 バケットと IAM ポリシーに対するアクセス許可をチェックします。 S3の認証情報のチェックに失敗しました。
S3 バケット「バケット名」が無効です。どちらかが現在の AWS リージョン リージョンにないか、存在しません。S3 バケット名を確認して、エクスポートを再試行してください。 S3 バケットが無効です。
S3 バケット [バケット名] が現在の AWS リージョン リージョンにありません。S3 バケット名を確認して、エクスポートを再試行してください。 S3 バケットが間違った AWS リージョン にあります。

PostgreSQL のアクセス許可エラーのトラブルシューティング

PostgreSQL データベースを Amazon S3 にエクスポートするときに、特定のテーブルがスキップされたことを示す PERMISSIONS_DO_NOT_EXIST エラーが表示される場合があります。このエラーは、通常、DB クラスターの作成時に指定したスーパーユーザーに、これらのテーブルにアクセスするアクセス許可がない場合に発生します。

このエラーを修正するには、次のコマンドを実行します。

GRANT ALL PRIVILEGES ON ALL TABLES IN SCHEMA schema_name TO superuser_name

スーパーユーザー権限の詳細については、「マスターユーザーアカウント特権」を参照してください。

ファイル命名規則

特定のテーブルのエクスポートされたデータは、base_prefix/files の形式で保存されます。そのベースプレフィックスは次のとおりです。

export_identifier/database_name/schema_name.table_name/

次に例を示します。

export-1234567890123-459/rdststcluster/mycluster.DataInsert_7ADB5D19965123A2/

出力ファイルは次の命名規則を使用します。partition_index は英数字です。

partition_index/part-00000-random_uuid.format-based_extension

次に例を示します。

1/part-00000-c5a881bb-58ff-4ee6-1111-b41ecff340a3-c000.gz.parquet a/part-00000-d7a881cc-88cc-5ab7-2222-c41ecab340a4-c000.gz.parquet

ファイルの命名規則は変更されることがあります。したがって、ターゲットテーブルを読み込む場合は、テーブルのベースプレフィックス内のすべてを読み込むことをお勧めします。

データ変換と保存形式

DB クラスターを Amazon S3 バケットにエクスポートすると、Amazon Aurora はデータを Parquet 形式に変換してエクスポートし、保存します。詳細については、「Amazon S3 バケットにエクスポートする際のデータ変換」を参照してください。