Comment DataSync gère les métadonnées et les fichiers spéciaux - AWS DataSync

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Comment DataSync gère les métadonnées et les fichiers spéciaux

AWS DataSyncenregistre les métadonnées et les fichiers spéciaux (liens et annuaires) lors de la copie des données vers et depuis les systèmes de stockage et les services.

Cependant, DataSync ne copie pas les paramètres au niveau du système. Par exemple, lors de la copie d'objets, DataSync ne copie pas les paramètres de chiffrement de votre système de stockage. Si vous copiez à partir d'un partage SMB, DataSync ne copie pas les autorisations que vous avez configurées au niveau du système de fichiers.

Métadonnées copiées par DataSync

Comment DataSync conserve les métadonnées en fonction des systèmes de stockage impliqués dans votre transfert.

Métadonnées copiées entre des systèmes ayant une structure de métadonnées similaire

DataSync préserve les métadonnées entre les systèmes de stockage ayant une structure de métadonnées similaire.

Lors de la copie entre un système de fichiers réseau (NFS) autogéré, Amazon FSx for Lustre, Amazon FSx pour OpenZFS, Amazon FSx pour NetApp ONTAP (utilisant NFS), ou Amazon EFS, et Amazon EFS, FSx for Lustre, FSx pour OpenZFS ou FSx pour ONTAP (à l'aide de NFS)— Dans ce cas, DataSync peut copier les métadonnées suivantes :

  • Horodatages de modification de fichiers et de dossiers

  • Horodatages d'accès aux fichiers et aux dossiers (DataSync ne peut le faire que sur la base du meilleur effort)

  • ID utilisateur (UID) et ID de groupe (GID)

  • Autorisations POSIX

Lors de la copie entre Hadoop Distributed File System (HDFS) et Amazon EFS, FSx for Lustre, FSx pour OpenZFS ou FSx pour ONTAP (à l'aide de NFS)— Dans ce cas, DataSync peut copier les métadonnées suivantes :

  • Horodatages de modification de fichiers et de dossiers

  • Horodatages d'accès aux fichiers et aux dossiers (DataSync ne peut le faire que sur la base du meilleur effort)

  • Autorisations POSIX

Note

HDFS utilise des chaînes pour stocker la propriété des utilisateurs et des groupes de fichiers et de dossiers, plutôt que des identificateurs numériques (tels que les UID et les GID). Lors de la copie depuis HDFS vers Amazon EFS, FSx for Lustre, FSx pour OpenZFS ou FSx pour ONTAP (à l'aide de NFS), les valeurs par défaut pour les UID et GID sont appliquées au système de fichiers de destination. Pour plus d'informations sur les valeurs par défaut, consultezMétadonnées POSIX par défaut appliquées par DataSync.

Lors de la copie entre Server Message Block (SMB) autogéré, Amazon FSx for Windows File Server ou FSx pour ONTAP (à l'aide de SMB) et FSx for Windows File Server ou FSx pour ONTAP (à l'aide de SMB)— Dans ce cas, DataSync peut copier les métadonnées suivantes :

  • Horodatages des fichiers : heure d'accès, heure de modification et heure de création

  • Identifiant de sécurité du propriétaire du fichier (SID

  • Attributs de fichier standard :

    • Read-Only (lecture seule) (R)

    • Archive (archivage) (A)

    • System (système) (S)

    • Hidden (caché) (H)

    • Compressed (comprimé) (C)

    • Not content indexed (non indexé sur le contenu) (N)

    • Encrypted (chiffré) (E)

    • Temporary (temporaire) (T)

    • Offline (hors connexion) (O)

    • Incréou ()

    Note

    DataSync tente de copier l'archive, les attributs compressés et fragmentés. Si ces attributs ne sont pas appliqués à la destination, ils sont ignorés lors de la vérification des tâches.

  • Listes d'accès discrétionnaire NTFS (DACL), qui déterminent s'il faut accorder l'accès à un objet

  • Les listes de contrôle d'accès système NTFS (SACL), qui sont utilisées par les administrateurs pour consigner les tentatives d'accès à un objet sécurisé

    Note

    La copie des DACL et des SACL nécessite d'accorder des autorisations spécifiques à l'utilisateur Windows qui DataSync pour accéder à votre position à l'aide de SMB. Pour de plus amples informations, consultez Création d'un emplacementSMB,Server FSx for Windows File Server, ouFSx for ONTAP(selon le type de lieu de votre transfert).

Lors de la copie entre NFS autogéré, FSx for Lustre, FSx pour OpenZFS, FSx pour ONTAP (à l'aide de NFS) ou Amazon EFS et Amazon S3— Dans ce cas, les métadonnées suivantes sont stockées en tant que métadonnées utilisateur Amazon S3 :

  • Horodatages de modification de fichiers et de dossiers

  • Horodatages d'accès aux fichiers et aux dossiers (DataSync ne peut le faire que sur la base du meilleur effort)

  • ID utilisateur et ID de groupe

  • Autorisations POSIX

Les métadonnées de fichier stockées dans les métadonnées utilisateur Amazon S3 sont interopérables avec les partages NFS sur les passerelles de fichiers à l'aide deAWS Storage Gateway. Une passerelle de fichiers permet un accès à faible latence depuis les réseaux locaux aux données qui ont été copiées sur Amazon S3 par DataSync. Ces métadonnées sont également interopérables avec FSx for Lustre.

Quand DataSync copie les objets contenant ces métadonnées vers un serveur NFS, les métadonnées du fichier sont restaurées. La restauration des métadonnées nécessite l'octroi d'autorisations élevées au serveur NFS. Pour plus d'informations, consultez Création d'un emplacement NFS.

Lors d'une copie entre HDFS et Amazon S3— Dans ce cas, les métadonnées suivantes sont stockées en tant que métadonnées utilisateur Amazon S3 :

  • Horodatages de modification de fichiers et de dossiers

  • Horodatages d'accès aux fichiers et aux dossiers (DataSync ne peut le faire que sur la base du meilleur effort)

  • Nom d'utilisateur et nom de groupe

  • Autorisations POSIX

Note

HDFS utilise des chaînes pour stocker la propriété des utilisateurs et des groupes de fichiers et de dossiers, plutôt que des identificateurs numériques, tels que des UID et des GID. DataSync ignore les valeurs de métadonnées de nom d'utilisateur et de groupe stockées dans Amazon S3 lors de la copie vers Amazon EFS ou NFS autogéré.

Lors de la copie entre des systèmes de stockage d'objets et Amazon S3 ou entre deux compartiments Amazon S3— Dans ce cas, DataSync copie uniquement les métadonnées et balises définies par l'utilisateur. DataSync ne copie pas d'autres informations sur les objets, telles que les listes de contrôle d'accès aux objets (ACL) ou les versions d'objets précédentes.

Important

Si vous transférez des objets depuis un compartiment Google Cloud Storage, la copie des balises d'objet peut entraîner la DataSync tâche à échouer. Pour éviter cela, désélectionnez l'optionCopie de baliseslors de la configuration des paramètres de vos tâches. Pour plus d'informations, consultez Options de gestion et de métadonnées de fichiers.

Métadonnées copiées entre des systèmes dotés d'une structure de métadonnées différente

Lors de la copie entre des systèmes de stockage qui n'ont pas de structure de métadonnées similaire, DataSync définit les métadonnées à l'aide des règles suivantes.

Si vous copiez de cette façon Cela arrive aux métadonnées

Depuis un partage SMB vers Amazon EFS, FSx for Lustre, FSx pour OpenZFS, FSx pour ONTAP (utilisant NFS) ou Amazon S3

Depuis FSx for Windows File Server ou FSx pour ONTAP (à l'aide de SMB) vers un partage NFS ou HDFS

Les métadonnées POSIX par défaut sont définies pour tous les fichiers et dossiers sur le serveur NFS cible, le système de fichiers Amazon EFS, FSx pour le système de fichiers Lustre, FSx pour le système de fichiers OpenZFS ou FSx pour le système de fichiers ONTAP, ou stockées dans les métadonnées de l'objet Amazon S3. Cette approche inclut l'utilisation des valeurs d'ID utilisateur et d'ID de groupe POSIX par défaut.

Sur HDFS, les horodatages des fichiers et des dossiers sont appliqués à partir de la source. Le propriétaire du fichier ou du dossier est défini en fonction de l'utilisateur ou du principal Kerberos spécifié dans DataSync. La configuration Groups Mapping sur le cluster Hadoop détermine le groupe.

Depuis un partage NFS ou HDFS vers FSx for Windows File Server ou FSx pour ONTAP (à l'aide de SMB)

Depuis Amazon EFS, FSx for Lustre, FSx pour OpenZFS, FSx pour ONTAP (utilisant NFS) ou Amazon S3 vers un partage SMB

Les horodatages des fichiers et des dossiers sont appliqués à partir de la source. La propriété est définie en fonction de l'utilisateur Windows spécifié dans DataSync pour accéder au partage Amazon FSx ou SMB. Les autorisations sont héritées du répertoire parent.

Métadonnées POSIX par défaut appliquées par DataSync

Lorsque vos emplacements source et destination n'ont pas de structures de métadonnées similaires ou lorsque les métadonnées source sont manquantes, DataSync applique les métadonnées POSIX par défaut.

Voici comment. DataSync applique les métadonnées POSIX par défaut dans les situations suivantes :

  • Lors du transfert de fichiers depuis un emplacement de stockage Amazon S3 ou objet vers un emplacement Amazon EFS, FSx for Lustre, FSx pour OpenZFS, FSx pour ONTAP (à l'aide de NFS), NFS ou HDFS, dans les cas où les objets Amazon S3 n'ont pas DataSync Métadonnées POSIX

  • Lors du transfert d'un emplacement SMB vers un emplacement NFS, HDFS, Amazon S3, FSx for Lustre, FSx pour OpenZFS, FSx pour ONTAP (à l'aide de NFS) ou Amazon EFS

Le tableau suivant présente les métadonnées POSIX et les autorisations par défaut qui sont appliquées par DataSync.

Autorisation Valeur

UID

65534

GID

65534

Autorisation de dossier

0755

Autorisation de fichier

0644

HDFS stocke la propriété des utilisateurs et des groupes de fichiers et de dossiers à l'aide de chaînes, plutôt que d'identifiants numériques, tels que des UID et des GID. Lorsqu'il n'existe pas de métadonnées équivalentes sur l'emplacement source, la propriété du fichier et du dossier est définie en fonction de l'utilisateur ou du principal Kerberos que vous avez spécifié dans DataSync. Le groupe est déterminé par la configuration Groups Mapping sur le cluster Hadoop.

Liens et répertoires copiés par DataSync

DataSync gère les liens physiques copiés, les liens symboliques et les annuaires différemment selon les emplacements de stockage que vous utilisez.

Liens physiques

Lors de la copie entre un serveur NFS, FSx for Lustre, FSx pour OpenZFS, FSx pour ONTAP (à l'aide de NFS) et Amazon EFS, les liens physiques sont préservés.

Lors d'une copie vers Amazon S3, chaque lien physique n'est transféré qu'une seule fois. Des objets Amazon S3 distincts sont créés pour chaque copie. Si un lien physique est inchangé dans Amazon S3, il est correctement restauré lors du transfert vers un serveur NFS, FSx for Lustre, FSx pour OpenZFS, FSx pour ONTAP (via NFS) ou Amazon EFS.

Lors de la copie entre un partage de fichiers SMB, FSx for Windows File Server et FSx pour ONTAP (à l'aide de SMB), les liens physiques ne sont pas pris en charge. Si DataSync rencontre des liens physiques dans ces situations, la tâche se termine par une erreur. Pour en savoir plus, consultez votre CloudWatchbûches.

Lors de la copie dans HDFS, les liens physiques ne sont pas pris en charge. Lors de la copie vers HDFS, les liens physiques sur la source sont ignorés et enregistrés dans CloudWatch.

Liens symboliques

Lors de la copie entre un serveur NFS, FSx for Lustre, FSx pour OpenZFS, FSx pour ONTAP (à l'aide de NFS) et Amazon EFS, les liens symboliques sont préservés.

Lors d'une copie vers Amazon S3, le chemin de la cible du lien est stocké dans l'objet Amazon S3. Le lien est correctement restauré lors du transfert vers un serveur NFS, FSx for Lustre, FSx pour OpenZFS, FSx pour ONTAP ou Amazon EFS.

Lors de la copie entre un partage de fichiers SMB, FSx for Windows File Server et FSx pour ONTAP (à l'aide de NFS), les liens symboliques ne sont pas pris en charge Si DataSync rencontre des liens symboliques dans ces situations, la tâche se termine par une erreur. Pour en savoir plus, consultez votre CloudWatchbûches.

Lors de la copie dans HDFS, les liens symboliques ne sont pas pris en charge Lors de la copie vers HDFS, les liens symboliques sont ignorés et enregistrés dans CloudWatch.

Annuaires

Lors de la copie vers ou depuis des compartiments Amazon S3, les annuaires sont représentés sous forme d'objets vides se terminant par/.

Pour plus d'informations sur la connexion avec DataSync, voirSurveillance des AWS DataSync.