その方法は DataSync メタデータおよび特殊ファイルを処理 - AWS DataSync

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

その方法は DataSync メタデータおよび特殊ファイルを処理

AWS DataSyncは、ストレージシステムおよびサービス間でデータをコピーするときに、メタデータおよび特殊ファイル (リンクとディレクトリ) を保存します。

ただし、 DataSync システムレベルの設定はコピーされません。たとえば、オブジェクトをコピーする場合、 DataSync ストレージシステムの暗号化設定はコピーされません。SMB共有からコピーする場合、 DataSync ファイルシステムレベルで構成した権限はコピーされません。

によってコピーされたメタデータ DataSync

その方法は DataSync メタデータを維持するのは、転送に関係するストレージシステムによって異なります。

類似したメタデータ構造を持つシステム間でコピーされたメタデータ

DataSync は、類似したメタデータ構造を持つストレージシステム間でメタデータを保持します。

自己管理型のネットワークファイルシステム (NFS)、Amazon FSx for Lustre、OpenZFS のための Amazon FSx、Amazon FSx for の間でコピーする場合 NetApp ONTAP(NFSを使用)、またはAmazon EFS、およびアマゾンEFS、光沢のFSx、OpenZFSのFSx、またはONTAPのFSx(NFSを使用)— この場合は DataSync は、次のメタデータをコピーできます。

  • ファイルとフォルダの変更タイムスタンプ

  • ファイルとフォルダアクセスのタイムスタンプ (DataSync はベストエフォート型のみ可能)

  • ユーザー ID (UID) およびグループ ID (GID)

  • POSIX のアクセス許可

Hadoop 分散ファイルシステム (HDFS) と Amazon EFS、光沢の場合は FSx、OpenZFS の場合は FSx、ONTAP の場合は FSx (NFS を使用) の間でコピーする場合— この場合は DataSync は、次のメタデータをコピーできます。

  • ファイルとフォルダの変更タイムスタンプ

  • ファイルとフォルダアクセスのタイムスタンプ (DataSync はベストエフォート型のみ可能)

  • POSIX のアクセス許可

注記

HDFS では、数値識別子 (UID や GID など) ではなく、文字列を使用してファイルとフォルダのユーザーとグループの所有権を保存します。HDFS から Amazon EFS、FSx for OpenZNFS、または FSx for OpenZNFS、または FSx for OpenZNFS、NX for OpenZNFS、NX for OpenZNX for OpenZNFS、または FSx for OpenZNFS、NFS デフォルト値の詳細については、「によって適用されるデフォルトPOSIX メタデータ DataSync」を参照してください。

セルフマネージドサーバーメッセージブロック (SMB)、Amazon FSx for Windows File Server、または FSx for ONTAP (SMB を使用)、および FSx for Windows File Server または FSx for Windows File Server または FSx for Windows File Server または FSx for ONTAP (SMB を使用)— この場合は DataSync は、次のメタデータをコピーできます。

  • ファイルのタイムスタンプ: アクセス時間、変更時間、作成時間

  • ファイル所有者のセキュリティ識別子 (SID)

  • 標準ファイル属性:

    • 読み取り専用 (R)

    • アーカイブ (A)

    • システム (S)

    • 非表示 (H)

    • 圧縮 (C)

    • コンテンツのインデックスなし (N)

    • 暗号化 (E)

    • 一時 (T)

    • オフライン (O)

    • スパル (P)

    注記

    DataSync は、アーカイブ、圧縮、スパース属性のコピーを試みます。これらの属性が送信先に適用されない場合、タスクの検証時に無視されます。

  • オブジェクトへのアクセスを許可するかどうかを決定する NTFS 任意アクセスリスト (DACL)

  • 管理者がセキュリティで保護されたオブジェクトへのアクセスの試みをログに記録するために使用する NTFS システムアクセスコントロールリスト (SACL)

    注記

    DACL と SACL をコピーするには、Windows ユーザーに次の特定のアクセス許可を付与する必要があります。 DataSync は、SMB を使用して位置情報にアクセスするために使用します。詳細については、「場所の作成」を参照してください。SMB,FSx for Windows File Server, またはFSx for ONTAP(乗り換えの場所の種類によって異なります)。

自己管理型 NFS、FSx for Lustre、OpenZFS 用の FSx、ONTAP 用 FSx (NFS を使用)、または Amazon EFS と Amazon S3 の間でコピーする場合— この場合、次のメタデータが Amazon S3 ユーザーメタデータとして保存されます。

  • ファイルとフォルダの変更タイムスタンプ

  • ファイルとフォルダアクセスのタイムスタンプ (DataSync はベストエフォート型のみ可能)

  • ユーザー ID とグループ ID

  • POSIX のアクセス許可

Amazon S3 ユーザーメタデータに保存されているファイルメタデータは、以下を使用してファイルゲートウェイの NFS 共有と相互運用できます。AWS Storage Gateway。ファイルゲートウェイは、オンプレミスネットワークから、Amazon S3 にコピーされたデータへの低レイテンシーアクセスを可能にします。 DataSync。このメタデータは、FSx for Lustre とも相互運用できます。

メトリック DataSync が、このメタデータを含むオブジェクトを NFS サーバーにコピーして戻す際には、ファイルのメタデータは復元されます。メタデータを復元するには、NFS サーバーに昇格したアクセス許可を付与する必要があります。詳細については、「NFS の場所を作成する」を参照してください。

HDFS サーバーと Amazon S3 の間でコピーする場合 – この場合、次のメタデータが Amazon S3 ユーザーメタデータとして保存されます。

  • ファイルとフォルダの変更タイムスタンプ

  • ファイルとフォルダアクセスのタイムスタンプ (DataSync はベストエフォート型のみ可能)

  • ユーザー名とグループ名

  • POSIX のアクセス許可

注記

HDFS では、UID や GID などの数値識別子ではなく、文字列を使用してファイルとフォルダのユーザーとグループの所有権を保存します。 DataSync は、Amazon EFS またはセルフマネージド NS3 にコピーするときに、Amazon S3 に保存されているユーザー名とグループ名のメタデータ値を無視します。

オブジェクトストレージシステムと Amazon S3 間、または 2 つの Amazon S3 バケット間でコピーする場合— この場合は DataSync は、ユーザー定義のメタデータとタグのみをコピーします。 DataSync では、オブジェクトアクセスコントロールリスト (ACL) や以前のオブジェクトバージョンなど、他のオブジェクト情報をコピーしません。

重要

Google Cloud Storage バケットからオブジェクトを転送する場合、オブジェクトタグをコピーすると、 DataSync タスクは失敗します。これを防ぐには、オブジェクトタグのコピーオプションを使用して、タスク設定を構成できます。詳細については、「ファイルメタデータと管理オプション」を参照してください。

異なるメタデータ構造を持つシステム間でコピーされたメタデータ

同様のメタデータ構造を持たないストレージシステム間でコピーする場合、 DataSync 次のルールを使用してメタデータを設定します。

この方法でコピーする場合 これがメタデータに発生する場合

SMB共有からアマゾンEFS、光沢のFSx、OpenZFSのFSx、ONTAPのFSx(NFSを使用)、またはAmazon S3へ

FSx for Windows File Server または FSx for ONTAP (SMB を使用) から NFS 共有または HDFS

デフォルトの POSIX メタデータは、ターゲット NS3 File System for Lustra File System、FSx for Lustra File System、FSx for Lustre File System、FSx for Lustra File System、FSx for Lustra File System、FSx for Lustra File System、OpenZ この方法には、デフォルトの POSIX ユーザー ID とグループ ID の値の使用が含まれます。

HDFS では、送信元からファイルとフォルダのタイムスタンプが適用されます。ファイルまたはフォルダの所有者は、で指定されたユーザーまたは Kerberos プリンシパルに基づいて設定されます DataSync。Hadoop クラスターのグループマッピング設定によって、グループが決まります。

NFS 共有または HDFS から FSx for Windows File Server または FSx for ONTAP (SMB を使用)

アマゾンEFS、光沢のための FSx、OpenZFS のための FSx、ONTAP のための FSx(NFS を使用)、または Amazon S3 から SMB 共有へ

ファイルとフォルダのタイムスタンプは、送信元から適用されます。所有権は、で指定された Windows ユーザーに基づいて設定されます。 DataSync を使用して、Amazon FSx または SMB 共有にアクセスします。権限は親ディレクトリから継承されます。

によって適用されるデフォルトPOSIX メタデータ DataSync

送信元とコピー先の場所が類似したメタデータ構造でない場合、またはソースメタデータが欠落している場合、 DataSync デフォルトの POSIX メタデータが適用されます

これは DataSync は、特に次の状況でデフォルトの POSIX メタデータを適用します

  • Amazon S3 またはオブジェクトストレージの場所から Amazon S3 オブジェクトにファイルを転送する場合、FSx for OpenZNEFS、FSx for Lustre OpenZNFS、FSx for OpenZNFS、FSx for OpenZNFS、FSx for OpenZNFS、FSx for OpenZNX for OpenZNX for OpenZS3 DataSync POSIX メタデータ

  • SMB の場所から NS3、Fx for Lustra、OpenZFs、FSx for OpenZFs、FSx for OpenZFs、FSx for ONTAP (NFS を使用)、Amazon EFS の場所から転送する場合

次の表は、デフォルトの POSIX メタデータと DataSync によって適用されるアクセス許可を示しています。

許可

UID

65534

GID

65534

フォルダのアクセス許可

0755

ファイルのアクセス許可

0644

HDFS では、UID や GID などの数値識別子ではなく、文字列を使用してファイルとフォルダのユーザーとグループの所有権を保存します。コピー元の場所に同等のメタデータがない場合、ファイルとフォルダの所有権は、で指定したユーザーまたは Kerberos プリンシパルに基づいて設定されます。 DataSync。グループは、Hadoop クラスターのグループマッピング設定によって決定されます。

によってコピーされたリンクとディレクトリ DataSync

DataSync では、コピーされたハードリンク、シンボリックリンク、およびディレクトリを、使用している保存場所に応じて処理します。

ハードリンク

NFS サーバー間でコピーする場合、FSx for Lustre、OpenZFS の場合は FSx、ONTAP の場合は FSx(NFS を使用)、および Amazon EFSの場合、ハードリンクは保持されます。

Amazon S3 にコピーする場合、各ハードリンクは 1 回だけ転送されます。コピーごとに個別の Amazon S3 オブジェクトが作成されます。Amazon S3 でハードリンクが変更されていない場合、NFS サーバー、光沢の場合は FSx for Lustra、FSx for OpenZFs、FSx for OpenZFs、FSx for ONTAP、Amazon EFS

SMBファイル共有、FSx for Windows File Server、ONTAP用のFSx(SMBを使用)の間でコピーする場合、ハードリンクはサポートされていません。もし DataSync がこのような状況でハードリンクを検出した場合、タスクはエラーで完了します。詳細については、次を参照してください。 CloudWatchログ。

HDFS にコピーする場合、ハードリンクはサポートされません。HDFS にコピーする場合、送信元のハードリンクはスキップされ、 CloudWatch。

シンボリックリンク

NFS サーバー間でコピーする場合、FSx for Lustre、OpenZFS の場合は FSx、ONTAP の場合は FSx(NFS を使用)、および Amazon EFSでは、シンボリックリンクは保持されます。

Amazon S3 にコピーする場合、リンクのターゲットパスが Amazon S3 オブジェクトに保存されます。NFSx for Lustra、OpenZFs、FSx for OpenZS3、FSx for ONTAP、Amazon EFS

SMBファイル共有、FSx for Windows File Server、ONTAP用のFSx(NFSを使用)の間でコピーする場合、シンボリックリンクはサポートされていません。もし DataSync このような状況でシンボリックリンクが検出されると、タスクはエラーで完了します。詳細については、次を参照してください。 CloudWatchログ。

HDFS にコピーする場合、シンボリックリンクはサポートされません。HDFS にコピーする場合、シンボリックリンクはスキップされ、 CloudWatch。

ディレクトリ

Amazon S3 バケット間でコピーする場合、ディレクトリは「/」で終わる空のオブジェクトとして表されます。

でのロギングについての情報 DataSync「」を参照してください。AWS DataSync のモニタリング