Metadados copiados por AWS DataSync

A forma como AWS DataSync lida com os metadados do arquivo ou objeto durante uma transferência depende dos sistemas de armazenamento com os quais você está trabalhando.

nota

DataSyncnão copia as configurações no nível do sistema. Por exemplo, ao copiar objetos, DataSync não copia a configuração de criptografia do sistema de armazenamento. Se você estiver copiando de um compartilhamento SMB, DataSync não copia as permissões que você configurou no nível do sistema de arquivos.

Metadados copiados entre sistemas com estruturas de metadados semelhantes

DataSyncpreserva metadados entre sistemas de armazenamento que têm uma estrutura de metadados semelhante.

Transferências NFS

A tabela a seguir descreve quais metadados DataSync podem ser copiados entre locais que usam o Sistema de Arquivos de Rede (NFS).

Ao copiar entre esses locais	DataSyncpode copiar
NFS Amazon EFS Amazon FSx for Lustre Amazon FSx for OpenZFS Amazon FSx para NetApp ONTAP (usando NFS)	Time stamps de modificação de arquivos e pastas Carimbos de data e hora do acesso a arquivos e pastas (o só DataSync pode fazer isso com o melhor esforço) ID do usuário (UID) e ID do grupo (GID) Permissões POSIX

Transferências SMB

A tabela a seguir descreve quais metadados DataSync podem ser copiados entre locais que usam o Bloco de Mensagens do Servidor (SMB).

Ao copiar entre esses locais

DataSyncpode copiar

SMB Amazon FSx for Windows File Server FSx para ONTAP (usando SMB)

Time stamps de arquivo: tempo de acesso, tempo de modificação e tempo de criação Identificador de segurança do proprietário do arquivo (SID) Atributos de arquivo padrão: somente leitura (R), arquivamento (A), sistema (S), oculto (H), compactado (C), sem conteúdo indexado (I), criptografado (E), temporário (T), off-line (O) e esparso (P) DataSynctenta copiar o arquivo, os atributos compactados e esparsos. Se esses atributos não forem aplicados no destino, eles serão ignorados durante a verificação da tarefa. Nota: FSx para ONTAP não suporta indexação. Ao transferir para esse tipo de sistema de arquivos, DataSync ignora o atributo not content indexed (I). Listas de acesso discricionário (DACLs) do NTFS, que determinam a concessão de acesso a um objeto. Listas de controle de acesso do sistema (SACLs) do NTFS, que são usadas por administradores para registrar tentativas de acesso a um objeto protegido. Observação: as SACLs não serão copiadas se você usar a versão 1.0 do SMB. A cópia de DACLs e SACLs exige a concessão de permissões específicas ao usuário do Windows que DataSync usa o acesso à sua pequena empresa. Para obter mais informações, consulte Criação de um local para SMB, FSx for Windows File Server ou FSx para ONTAP (dependendo do tipo de local em sua transferência).

Transferências HDFS

A tabela a seguir descreve quais metadados DataSync podem copiar quando uma transferência envolve um local do Hadoop Distributed File System (HDFS).

Ao copiar desse local	Para um desses locais	DataSyncpode copiar
HDFS	Amazon EFS FSx for Lustre FSx for OpenZFS FSx para ONTAP (usando NFS)	Time stamps de modificação de arquivos e pastas Carimbos de data e hora do acesso a arquivos e pastas (o só DataSync pode fazer isso com o melhor esforço) Permissões POSIX O HDFS usa cadeias de caracteres para armazenar a propriedade de usuários e grupos de arquivos e pastas em vez de identificadores numéricos (como UIDs e GIDs). Os valores padrão para UIDs e GIDs são aplicados no sistema de arquivos de destino. Para obter mais informações sobre valores padrão, consulteEntendendo quando e como DataSync se aplica os metadados POSIX padrão.

Transferências Amazon S3

As tabelas a seguir descrevem quais metadados DataSync podem copiar quando uma transferência envolve um local do Amazon S3.

Tópicos

• Para Amazon S3
• Entre o HDFS e o Amazon S3
• Entre o armazenamento de objetos e o Amazon S3

Para Amazon S3

Ao copiar de um desses locais	Para este local	DataSyncpode copiar
NFS Amazon EFS FSx for Lustre FSx for OpenZFS FSx para ONTAP (usando NFS)	Amazon S3	O seguinte como metadados de usuário do Amazon S3: Time stamps de modificação de arquivos e pastas Carimbos de data e hora do acesso a arquivos e pastas (o só DataSync pode fazer isso com o melhor esforço) ID do usuário e ID do grupo Permissões POSIX Os metadados de arquivo armazenados nos metadados do usuário do Amazon S3 são interoperáveis com compartilhamentos NFS em gateways de arquivos usando. AWS Storage Gateway Um gateway de arquivos permite o acesso de baixa latência de redes locais aos dados que foram copiados para o Amazon S3 por. DataSync Esses metadados também são interoperáveis com o FSx for Lustre. Quando o DataSync copia objetos que contêm esses metadados em um servidor NFS, os metadados do arquivo são restaurados. A restauração de metadados exige a concessão de permissões elevadas ao servidor NFS. Para obter mais informações, consulte Configurando AWS DataSync transferências de um servidor de arquivos NFS.

Entre o HDFS e o Amazon S3

Ao copiar entre esses locais

DataSyncpode copiar

Hadoop Distributed File System (HDFS) Amazon S3

O seguinte como metadados de usuário do Amazon S3: Time stamps de modificação de arquivos e pastas Carimbos de data e hora do acesso a arquivos e pastas (o só DataSync pode fazer isso com o melhor esforço) ID do usuário e ID do grupo Permissões POSIX O HDFS usa cadeias de caracteres para armazenar a propriedade de usuários e grupos de arquivos e pastas, em vez de identificadores numéricos, como UIDs e GIDs.

Entre o armazenamento de objetos e o Amazon S3

Ao copiar entre esses locais

DataSyncpode copiar

Armazenamento de objetos Amazon S3

Metadados do objeto definidos pelo usuário Etiquetas de objeto Os seguintes metadados do objeto definidos pelo sistema: Content-Disposition Content-Encoding Content-Language Content-Type: Nota: DataSync copia os metadados do sistema para todos os objetos durante uma transferência inicial. Se você configurar sua tarefa para transferir somente os dados que foram alterados, DataSync não copiará os metadados do sistema nas transferências subsequentes, a menos que o conteúdo de um objeto ou os metadados do usuário também tenham sido modificados. DataSyncnão copia outros metadados de objetos, como listas de controle de acesso a objetos (ACLs) ou versões anteriores de objetos. Importante: se você estiver transferindo objetos de um bucket do Google Cloud Storage, a cópia de tags de objetos pode fazer com que sua DataSync tarefa falhe. Para evitar isso, desmarque a opção Copiar tags de objeto ao definir as configurações da tarefa. Para obter mais informações, consulte Gerenciando como AWS DataSync transfere arquivos, objetos e metadados.

Metadados copiados entre sistemas com estruturas de metadados diferentes

Ao copiar entre sistemas de armazenamento que não têm uma estrutura de metadados semelhante, DataSync manipula os metadados usando as regras a seguir.

Ao copiar de um desses locais	Para um desses locais	DataSyncpode copiar
SMB FSx para Windows File Server FSx para ONTAP (usando SMB)	Amazon EFS FSx for Lustre FSx for OpenZFS FSx para ONTAP (usando NFS) Amazon S3 Armazenamento de objetos NFS	Metadados POSIX padrão para todos os arquivos e pastas no sistema de arquivos de destino ou objetos no bucket do S3 de destino. Essa abordagem inclui o uso dos valores do ID de usuário POSIX e do ID de grupo. Os metadados baseados no Windows (como ACLs) não são preservados.
FSx para Windows File Server FSx para ONTAP (usando SMB)	HDFS	Carimbos de data e hora de arquivos e pastas do local de origem. O proprietário do arquivo ou da pasta é definido com base no usuário do HDFS ou no principal Kerberos que você especificou ao criar a localização do HDFS. A configuração de mapeamento de grupos no cluster do Hadoop determina o grupo.
Amazon EFS FSx for Lustre FSx for OpenZFS FSx para ONTAP (usando NFS) Amazon S3 Armazenamento de objetos NFS HDFS	SMB FSx para Windows File Server FSx para ONTAP (usando SMB)	Carimbos de data e hora de arquivos e pastas do local de origem. A propriedade é definida com base no usuário do Windows que foi especificado em DataSync para acessar o compartilhamento Amazon FSx ou SMB. As permissões são herdadas do diretório principal.

Entendendo quando e como DataSync se aplica os metadados POSIX padrão

DataSyncaplica os metadados POSIX padrão do POSIX nas seguintes situações:

• Quando os locais de origem e destino da sua transferência não têm estruturas de metadados semelhantes

• Quando os metadados estão ausentes do local de origem

A tabela a seguir descreve como DataSync se aplica os metadados POSIX padrão durante esses tipos de transferências:

Origem	Destination (Destino)	Permissões de arquivo	Permissões de pasta	UID	GID
Amazon S3 1 Armazenamento de objetos 1	Amazon EFS FSx for Lustre FSx for OpenZFS FSx para ONTAP (usando NFS) NFS	0755	0755	65534	65534
SMB	Amazon S3 Armazenamento de objetos Amazon EFS FSx for Lustre FSx for OpenZFS FSx para ONTAP (usando NFS) NFS	0644	0755	0	0
HDFS	Amazon EFS FSx for Lustre FSx for OpenZFS FSx para ONTAP (usando NFS) NFS	0644	0755	0	0

¹ Nos casos em que os objetos não têm metadados que foram aplicados anteriormente porDataSync.

nota

O HDFS armazena a propriedade de usuários e grupos de arquivos e pastas usando cadeias de caracteres em vez de identificadores numéricos (como UIDs e GIDs). Quando não há metadados equivalentes no local de origem, a propriedade do arquivo e da pasta é definida com base no usuário do HDFS ou no principal Kerberos que você especificou ao criar o local. DataSync A configuração de mapeamento de grupos no cluster do Hadoop determina o grupo.