AWS DataSyncメタデータおよび特殊ファイルの処理方法。 - AWS DataSync

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

AWS DataSyncメタデータおよび特殊ファイルの処理方法。

AWS DataSyncストレージシステムおよびサービスとの間でデータをコピーするときに、メタデータおよび特殊ファイル (リンクとディレクトリ) を保存します。

ただし、 DataSync システムレベルの設定はコピーされません。たとえば、オブジェクトをコピーする場合、 DataSync ストレージシステムの暗号化設定はコピーされません。SMB 共有からコピーする場合、 DataSync ファイルシステムレベルで設定した権限はコピーされません。

によってコピーされるメタデータ DataSync

DataSync メタデータの管理方法は、転送に関係するストレージシステムによって異なります。

同様のメタデータ構造を持つシステム間でコピーされたメタデータ

DataSync は、類似したメタデータ構造を持つストレージシステム間でメタデータを保持します。

セルフマネージドネットワークファイルシステム (NFS)、Amazon FSx for Lustre、OpenZFS 用の Amazon FSX、 NetApp ONTAP 用の Amazon FSX (NFS を使用)、または Amazon EFS、Amazon EFS、Lustre 用 FSX、OpenZFS 用FSX、または ONTAP 用 FSX (NFS を使用) 間でコピーする場合 — この場合、 DataSync 以下をコピーできます。メタデータ:

  • ファイルとフォルダの変更タイムスタンプ

  • ファイルおよびフォルダーアクセスのタイムスタンプ (DataSync はあくまでベストエフォートベースでこれを行います)

  • ユーザー ID (UID) およびグループ ID (GID)

  • POSIX のアクセス許可

Hadoop Distributed File System (HDFS) と Amazon EFS 間、FSx for Lustre、FSx for OpenZFS、または FSx for ONTAP (NFS を使用) の間でコピーする場合 — この場合、 DataSync 次のメタデータをコピーできます。

  • ファイルとフォルダの変更タイムスタンプ

  • ファイルおよびフォルダーアクセスのタイムスタンプ (DataSync はあくまでベストエフォートベースでこれを行います)

  • POSIX のアクセス許可

注記

HDFS では、数値識別子 (UID や GID など) ではなく、文字列を使用してファイルとフォルダのユーザーとグループの所有権を保存します。HDFS から Amazon EFS、FSx for Lustre、FSx for Lustre、FSx for ONTAP (NFS を使用) にコピーする場合、UID と GID のデフォルト値は、送信先ファイルシステムに適用されます。デフォルト値の詳細については、「によって適用されるデフォルトの POSIX メタデータ DataSync」を参照してください。

セルフマネージドサーバーメッセージブロック (SMB)、Amazon FSx for Windows File Server または FSx for ONTAP (SMB を使用)、および FSx for Windows File Server または FSx for ONTAP (SMB を使用) の間でコピーする場合 — この場合、 DataSync 次のメタデータをコピーできます。

  • ファイルのタイムスタンプ: アクセス時間、変更時間、作成時間

  • ファイル所有者のセキュリティ識別子 (SID)

  • 標準ファイル属性:

    • 読み取り専用 (R)

    • アーカイブ (A)

    • システム (S)

    • 非表示 (H)

    • 圧縮 (C)

    • コンテンツのインデックスなし (N)

    • 暗号化 (E)

    • 一時 (T)

    • オフライン (O)

    • スパース (P)

    注記

    DataSync アーカイブ属性、圧縮属性、およびスパース属性をコピーしようとします。これらの属性が送信先に適用されない場合、タスク検証中に無視されます。

  • オブジェクトへのアクセスを許可するかどうかを決定する NTFS 任意アクセスリスト (DACL)

  • 管理者がセキュリティで保護されたオブジェクトへのアクセスの試みをログに記録するために使用する NTFS システムアクセスコントロールリスト (SACL)

    注記

    DACL と SACL をコピーするには、 DataSync を使用して SMB を使用して位置情報にアクセスする Windows ユーザーに特定のアクセス許可を付与する必要があります。詳細については、「SMB のロケーションの作成」、「FSx for Windows File Server」、または「FSx for ONTAP」(転送するロケーションのタイプによって異なります)を参照してください。

セルフマネージド型 NFS、FSx for Lustre、FSx for OpenZFS、FSx for ONTAP (NFS を使用)、または Amazon EFS と Amazon S3 の間でコピーする場合 — この場合、次のメタデータは Amazon S3 ユーザーメタデータとして保存されます。

  • ファイルとフォルダの変更タイムスタンプ

  • ファイルおよびフォルダーアクセスのタイムスタンプ (DataSync はあくまでベストエフォートベースでこれを行います)

  • ユーザー ID とグループ ID

  • POSIX のアクセス許可

Amazon S3 ユーザーメタデータに保存されているファイルメタデータは、を使用してファイルゲートウェイの NFS 共有と相互運用できますAWS Storage Gateway。ファイルゲートウェイは、オンプレミスネットワークから Amazon S3 にコピーされたデータへの低レイテンシーアクセスを可能にします DataSync。このメタデータは、FSx for Lustre とも相互運用できます。

このメタデータを含むオブジェクトを NFS DataSync サーバーにコピーして戻す際には、ファイルのメタデータは復元されます。メタデータを復元するには、NFS サーバーに昇格したアクセス許可を付与する必要があります。詳細については、「の NFS のロケーションを作成するAWS DataSync」を参照してください。

HDFS サーバーと Amazon S3 の間でコピーする場合 – この場合、次のメタデータが Amazon S3 ユーザーメタデータとして保存されます。

  • ファイルとフォルダの変更タイムスタンプ

  • ファイルおよびフォルダーアクセスのタイムスタンプ (DataSync はあくまでベストエフォートベースでこれを行います)

  • ユーザー名とグループ名

  • POSIX のアクセス許可

注記

HDFS では、UID や GID などの数値識別子ではなく、文字列を使用してファイルとフォルダのユーザーとグループの所有権を保存します。 DataSync が Amazon EFS またはセルフマネージド NFS にコピーするときに、Amazon S3 に保存されているユーザー名とグループ名のメタデータ値を無視します。

オブジェクトストレージシステムと Amazon S3 間、または 2 つの Amazon S3 バケット間でコピーする場合 — この場合、 DataSync ユーザー定義のメタデータとタグのみをコピーします。 DataSync オブジェクトアクセスコントロールリスト (ACL) や以前のオブジェクトバージョンなど、他のオブジェクト情報をコピーしません。

重要

Google Cloud Storage バケットからオブジェクトを転送する場合、 DataSync オブジェクトタグをコピーするとタスクが失敗することがあります。これを防ぐには、タスク設定を行うときに [オブジェクトタグのコピー] オプションの選択を解除してください。詳細については、「ファイルメタデータと管理オプション」を参照してください。

メタデータ構造の異なるシステム間でコピーされたメタデータ

類似したメタデータ構造を持たないストレージシステム間でコピーする場合、 DataSync 次のルールを使用してメタデータを設定します。

この方法でコピーする場合 これがメタデータに発生する場合

SMB 共有から Amazon EFS、FSx for Lustre、OpenZFS 用の FSX、ONTAP 用の FSX (NFS を使用)、または Amazon S3 へ

FSx for Windows File Server または FSx for ONTAP (SMB を使用) から NFS 共有または HDFS

デフォルトの POSIX メタデータは、ターゲット NFS サーバー、Amazon EFS ファイルシステム、FSx for Lustre ファイルシステム、FSx for OpenZFS ファイルシステム、または FSx for ONTAP ファイルシステム上のすべてのファイルとフォルダに対して設定されるか、Amazon S3 オブジェクトのメタデータに保存されます。この方法には、デフォルトの POSIX ユーザー ID とグループ ID の値の使用が含まれます。

HDFS では、送信元からファイルとフォルダのタイムスタンプが適用されます。ファイルまたはフォルダの所有者は、で指定されたユーザーまたは Kerberos プリンシパルに基づいて設定されます DataSync。Hadoop クラスターのグループマッピング設定によって、グループが決まります。

NFS 共有または HDFS から FSx for Windows File Server または FSx for ONTAP または FSx for ONTAP

Amazon EFS、FSx for Lustre、OpenZFS 用 FSX、ONTAP 用 FSx (NFS を使用)、または Amazon S3 から SMB 共有へ

ファイルとフォルダのタイムスタンプは、送信元から適用されます。所有権は、Amazon FSx または SMB DataSync 共有にアクセスするように指定された Windows ユーザーに基づいて設定されます。権限は親ディレクトリから継承されます。

によって適用されるデフォルトの POSIX メタデータ DataSync

送信元と送信先の場所が類似したメタデータ構造でない場合、またはソースメタデータが欠落している場合、デフォルトの POSIX DataSync メタデータを適用します。

これは、 DataSync 特に次のような場合にデフォルトの POSIX メタデータを適用する方法です。

  • Amazon S3 オブジェクトに DataSync POSIX メタデータがなく、Amazon S3 またはオブジェクトストレージの場所から Amazon EFS、FSx for Lustre、FSx for OpenZFS、FSx for ONTAP (NFS を使用)、NFS または HDFS の場所へファイルを転送する場合

  • SMB の場所から NFS、HDFS、Amazon S3、FSx for Lustre、FSx for OpenZFS、FSx for ONTAP (NFS を使用)、または Amazon EFS の場所へ転送する場合

次の表は、デフォルトの POSIX メタデータと DataSync によって適用されるアクセス許可を示しています。

許可

UID

65534

GID

65534

フォルダのアクセス許可

0755

ファイルのアクセス許可

0644

HDFS では、UID や GID などの数値識別子ではなく、文字列を使用してファイルとフォルダのユーザーとグループの所有権を保存します。コピー元の場所に同等のメタデータがない場合、で指定したユーザーまたは Kerberos プリンシパルに基づいて、ファイルとフォルダの所有権が設定されます DataSync。グループは、Hadoop クラスターのグループマッピング設定によって決定されます。

によってコピーされたリンクとディレクトリ DataSync

DataSync コピーされたハードリンク、シンボリックリンク、およびディレクトリは、使用する保存場所に応じて異なる方法で処理されます。

ハードリンク

NFS サーバ、FSx for Lustre、OpenZFS 用 FSX、ONTAP 用 FSx (NFS を使用)、および Amazon EFS 間でコピーする場合、ハードリンクは保持されます。

Amazon S3 にコピーする場合、各ハードリンクは 1 回だけ転送されます。コピーごとに個別の Amazon S3 オブジェクトが作成されます。Amazon S3 でハードリンクが変更されていない場合、NFS サーバー、FSx for Lustre、FSx for OpenZFS、FSx for ONTAP (NFS を使用)、または Amazon EFS に転送すると、正しく復元されます。

SMB ファイル共有、FSx for Windows File Server 間、および FSx for ONTAP 間 (SMB を使用) の間でコピーする場合、ハードリンクはサポートされません。 DataSync このような状況でハードリンクが発生すると、タスクはエラーで完了します。詳細については、 CloudWatchログを確認してください。

HDFS にコピーする場合、ハードリンクはサポートされません。HDFS にコピーする場合、ソース上のハードリンクはスキップされ、HDFS に記録されます CloudWatch。

シンボリックリンク

NFS サーバ、FSx for Lustre、OpenZFS 用 FSX、ONTAP 用 FSX (NFS を使用)、および Amazon EFS 間でコピーする場合、シンボリックリンクは保持されます。

Amazon S3 にコピーする場合、リンクのターゲットパスが Amazon S3 オブジェクトに保存されます。NFS サーバー、FSx for Lustre、FSx for OpenZFS、FSx for ONTAP、または Amazon EFS への転送時に、リンクが正しく復元されます。

SMB ファイル共有、FSx for Windows File Server 間、および FSx for ONTAP 間 (NFS を使用) の間でコピーする場合、シンボリックリンクはサポートされません。 DataSync このような状況でシンボリックリンクが見つかると、タスクはエラーで完了します。詳細については、 CloudWatchログを確認してください。

HDFS にコピーする場合、シンボリックリンクはサポートされません。HDFS にコピーする場合、シンボリックリンクはスキップされ、に記録されます CloudWatch。

ディレクトリ

Amazon S3 バケット間でコピーする場合、ディレクトリは「/」で終わる空のオブジェクトとして表されます。

によるロギングについては DataSync、を参照してくださいAmazonAWS DataSync によるアクティビティのモニタリング CloudWatch