メタデータはによってコピーされました AWS DataSync - AWS DataSync

2023 年 12 月 7 日より、バージョン 1 DataSync のエージェントは廃止されます。 DataSync コンソールの [エージェント] ページをチェックして、影響を受けるエージェントがいないか確認してください。その場合は、データ転送やストレージ検出の中断を避けるため、その前にそれらのエージェントを交換してください。さらにサポートが必要な場合は、お問い合わせくださいAWS Support

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

メタデータはによってコピーされました AWS DataSync

AWS DataSyncデータ転送中もファイルやオブジェクトのメタデータを保存できます。メタデータのコピー方法は、転送先と、それらの場所で同様の種類のメタデータが使用されているかどうかによって異なります。

システムレベルのメタデータ

一般に、 DataSync システムレベルのメタデータはコピーしません。たとえば、SMB ファイルサーバから転送する場合、ファイルシステムレベルで構成した権限は転送先のストレージシステムにコピーされません。

例外もあります。Amazon S3 と他のオブジェクトストレージ間で転送する場合、 DataSync システム定義のオブジェクトメタデータをコピーします

Amazon S3 転送でコピーされたメタデータ

次の表は、転送に Amazon S3 DataSync ロケーションが含まれる場合にコピーできるメタデータをまとめたものです。

Amazon S3 へ

これらの場所のいずれかからコピーする場合 この場所へ DataSync コピーできます
  • NFS

  • Amazon EFS

  • FSx for Lustre

  • OpenZFS 用 FSx

  • ONTAP 用 FSx (NFS を使用)

  • Amazon S3

Amazon S3 ユーザーメタデータとしては以下のとおりです。

  • ファイルとフォルダの変更タイムスタンプ

  • ファイルとフォルダのアクセスタイムスタンプ (DataSync ベストエフォート型でのみ可能)

  • ユーザー ID とグループ ID

  • POSIX のアクセス許可

Amazon S3 ユーザーメタデータに保存されているファイルメタデータは、を使用するファイルゲートウェイ上の NFS 共有と相互運用可能です。AWS Storage Gatewayファイルゲートウェイを使用すると、オンプレミスネットワークから Amazon S3 にコピーされたデータに低レイテンシーでアクセスできます。 DataSyncこのメタデータは FSx for Lustre とも相互運用可能です。

このメタデータを含むオブジェクトを NFS DataSync サーバーにコピーすると、ファイルメタデータが復元されます。メタデータを復元するには、NFS サーバーに昇格したアクセス許可を付与する必要があります。詳細については、「NFS AWS DataSync ファイルサーバによる転送の設定」を参照してください。

Amazon S3 と他のオブジェクトストレージ間

これらの場所間でコピーする場合 DataSync コピーできる
  • オブジェクトストレージ

  • Amazon S3

DataSync オブジェクトアクセス制御リスト (ACL)、以前のオブジェクトバージョン、Last-Modified キーなど、他のオブジェクトメタデータはコピーされません。

  • Microsoft Azure Blob Storage

  • Amazon S3

Amazon S3 と HDFS の間

これらの場所間でコピーする場合 DataSync コピーできる
  • Hadoop Distributed File System(HDFS)

  • Amazon S3

Amazon S3 ユーザーメタデータとしては以下のとおりです。

  • ファイルとフォルダの変更タイムスタンプ

  • ファイルとフォルダのアクセスタイムスタンプ (DataSync ベストエフォート型でのみ可能)

  • ユーザー ID とグループ ID

  • POSIX のアクセス許可

HDFS では、UID や GID などの数値識別子ではなく、文字列を使用してファイルとフォルダのユーザーとグループの所有権を保存します。

NFS 転送でコピーされたメタデータ

次の表は、ネットワークファイルシステム (NFS) DataSync を使用する場所間でコピーできるメタデータをまとめたものです。

これらの場所間でコピーする場合 DataSync コピーできる
  • NFS

  • Amazon EFS

  • Amazon FSx for Lustre

  • Amazon FSx for OpenZFS

  • NetApp ONTAP 用 Amazon FSx (NFS を使用)

  • ファイルとフォルダの変更タイムスタンプ

  • ファイルとフォルダのアクセスタイムスタンプ (DataSync ベストエフォート型でのみ可能)

  • ユーザー ID (UID) およびグループ ID (GID)

  • POSIX のアクセス許可

SMB 転送でコピーされたメタデータ

次の表は、サーバーメッセージブロック (SMB) DataSync を使用する場所間でコピーできるメタデータをまとめたものです。

これらのロケーション間でコピーする場合 DataSync コピーできる
  • SMB

  • Amazon FSx for Windows File Server

  • ONTAP 用 FSx (SMB を使用)

  • ファイルのタイムスタンプ: アクセス時間、変更時間、作成時間

  • ファイル所有者のセキュリティ識別子 (SID)

  • 標準ファイル属性:読み取り専用 (R)、アーカイブ (A)、システム (S)、非表示 (H)、圧縮 (C)、コンテンツインデックスなし (I)、暗号化 (E)、一時的 (T)、オフライン (O)、およびスパース (P)

    DataSync アーカイブ (A)、圧縮 (C)、コンテキストインデックスなし (I)、およびテンポラリ (T) の各属性をベストエフォート方式でコピーしようとします。これらの属性がコピー先に適用されない場合、タスク検証時には無視されます。

    :FSx for ONTAPファイルシステムに転送する場合、コンテンツインデックスなし(I)属性と一時属性(T) DataSyncは無視されます。

  • NTFS 任意アクセスリスト (DACL) は、オブジェクトへのアクセスを許可するかどうかを決定します。

  • NTFS システムアクセスコントロールリスト (SACL) は、管理者がセキュリティ保護されたオブジェクトへのアクセス試行を記録するために使用されます。

    :SMB バージョン 1.0 を使用する場合、SACL はコピーされません。

    DACL と SACL をコピーするには、SMB DataSync を使用してロケーションにアクセスする Windows ユーザーに特定の権限を付与する必要があります。詳細については、「SMB 用の場所の作成」、FSx for Windows File Server、または ONTAP 用の FSx(転送先の場所の種類によって異なります)を参照してください。

他の転送シナリオでコピーされたメタデータ

DataSync これらのストレージシステム (ほとんどはメタデータ構造が異なる) 間でコピーする場合、メタデータを次のように処理します。

これらの場所のいずれかからコピーする場合 以下のいずれかの場所へ DataSync コピーできます
  • SMB

  • FSx for Windows File Server

  • ONTAP 用 FSx (SMB を使用)

  • Amazon EFS

  • FSx for Lustre

  • OpenZFS 用 FSx

  • ONTAP 用 FSx (NFS を使用)

  • Amazon S3

  • オブジェクトストレージ

  • Azure Blob Storage

  • NFS

デスティネーションファイルシステム上のすべてのファイルとフォルダ、またはデスティネーション S3 バケット内のオブジェクトのデフォルト POSIX メタデータ。この方法には、デフォルトの POSIX ユーザー ID とグループ ID の値の使用が含まれます。

Windows ベースのメタデータ (ACL など) は保持されません。

  • オブジェクトストレージ

  • Amazon S3

  • Azure Blob Storage

  • Amazon EFS

  • FSx for Lustre

  • OpenZFS 用 FSx

  • ONTAP 用 FSx (NFS を使用)

ターゲットファイルおよびフォルダのデフォルト POSIX メタデータ。この方法には、デフォルトの POSIX ユーザー ID とグループ ID の値の使用が含まれます。

  • Amazon EFS

  • FSx for Lustre

  • OpenZFS 用 FSx

  • ONTAP 用 FSx (NFS を使用)

  • Azure Blob Storage

以下はユーザー定義のメタデータです。

  • ファイルとフォルダの変更タイムスタンプ

  • ファイルとフォルダーのアクセスタイムスタンプ (DataSync ベストエフォート型でのみ可能)

  • ユーザー ID とグループ ID

  • POSIX のアクセス許可

  • HDFS

  • Amazon EFS

  • FSx for Lustre

  • OpenZFS 用 FSx

  • ONTAP 用 FSx (NFS を使用)

  • ファイルとフォルダの変更タイムスタンプ

  • ファイルとフォルダのアクセスタイムスタンプ (DataSync ベストエフォート型でのみ可能)

  • POSIX のアクセス許可

HDFS は、ファイルとフォルダーのユーザーとグループの所有権を、数値識別子 (UID や GID など) ではなく文字列として保存します。UID と GID のデフォルト値は、デスティネーションファイルシステムに適用されます。詳細については、「デフォルト POSIX DataSync メタデータをいつどのように適用するかを理解する」を参照してください。

  • Amazon S3

  • Amazon EFS

  • FSx for Lustre

  • OpenZFS 用 FSx

  • FSx for Windows File Server

  • FSx for ONTAP

  • HDFS

ソースロケーションのファイルとフォルダーのタイムスタンプ。ファイルまたはフォルダーの所有者は、HDFS 転送場所の作成時に指定した HDFS ユーザーまたは Kerberos プリンシパルに基づいて設定されます。Hadoop クラスターのグループマッピング設定によって、グループが決まります。
  • Amazon S3

  • Amazon EFS

  • FSx for Lustre

  • OpenZFS 用 FSx

  • ONTAP 用 FSx (NFS を使用)

  • オブジェクトストレージ

  • NFS

  • HDFS

  • SMB

  • FSx for Windows File Server

  • ONTAP 用 FSx (SMB を使用)

ソースロケーションのファイルとフォルダのタイムスタンプ。所有権は、Amazon FSx または SMB DataSync 共有にアクセスするためにで指定された Windows ユーザーに基づいて設定されます。権限は親ディレクトリから継承されます。
  • Azure Blob Storage

  • FSx for Windows File Server

  • ONTAP 用 FSx (SMB を使用)

デフォルト POSIX DataSync メタデータをいつどのように適用するかを理解する

DataSync デフォルト POSIX メタデータを以下の状況で適用します。

  • 転送元の場所と転送先の場所のメタデータ構造が似ていない場合

  • 転送元の場所にメタデータが欠落している場合

次の表は、これらの種類の転送時にデフォルトの POSIX DataSync メタデータをどのように適用するかを示しています。

ソース 送信先 ファイルのアクセス許可 フォルダーの権限 UID GID
  • Amazon S3 1

  • オブジェクトストレージ 1

  • Microsoft Azure Blob ストレージ 1

  • Amazon EFS

  • FSx for Lustre

  • OpenZFS 用 FSx

  • ONTAP 用 FSx (NFS を使用)

  • NFS

0755

0755

65534

65534

  • SMB

  • Amazon S3

  • オブジェクトストレージ

  • Amazon EFS

  • FSx for Lustre

  • OpenZFS 用 FSx

  • ONTAP 用 FSx (NFS を使用)

  • NFS

0644

0755

0

0

  • HDFS

  • Amazon EFS

  • FSx for Lustre

  • OpenZFS 用 FSx

  • ONTAP 用 FSx (NFS を使用)

  • NFS

0644

0755

0

0

1 以前にによって適用されたメタデータがオブジェクトに含まれていない場合。 DataSync