Eliminação de duplicação de dados

Grandes conjuntos de dados geralmente têm dados redundantes, o que aumenta os custos de armazenamento de dados. Por exemplo, com compartilhamentos de arquivos do usuário, vários usuários podem armazenar várias cópias ou versões do mesmo arquivo. Com compartilhamentos de desenvolvimento de software, muitos binários permanecem inalterados de compilação para compilação.

Você pode reduzir seus custos de armazenamento de dados ativando a eliminação de duplicação de dados no sistema de arquivos. A eliminação de duplicação de dados reduz ou elimina dados redundantes ao armazenar partes duplicadas do conjunto de dados somente uma vez. A compactação de dados é habilitada por padrão quando você usa a eliminação de duplicação de dados, reduzindo ainda mais a quantidade de armazenamento de dados ao compactar os dados após a eliminação de duplicação. A eliminação de duplicação de dados é executada como um processo em segundo plano que verifica e otimiza seu sistema de arquivos de forma contínua e automática, além de ser transparente para seus usuários e clientes conectados.

A economia de armazenamento que você pode obter com a eliminação de duplicação de dados depende da natureza do seu conjunto de dados, incluindo a quantidade de duplicação existente nos arquivos. A economia típica é em média de 50 a 60% para compartilhamentos de arquivos de uso geral. Em compartilhamentos, as economias variam de 30 a 50% para documentos do usuário a 70 a 80% para conjuntos de dados de desenvolvimento de software. Você pode medir a economia potencial de eliminação de duplicação usando o comando Measure-FSxDedupFileMetadata descrito abaixo.

Você também pode personalizar a eliminação de duplicação de dados para atender às suas necessidades específicas de armazenamento. Por exemplo, você pode configurar a eliminação de duplicação para ser executada somente em determinados tipos de arquivo ou criar uma programação de trabalho personalizada. Como as tarefas de eliminação de duplicação podem consumir recursos do servidor de arquivos, recomendamos monitorar o status das tarefas de eliminação de duplicação usando o comando Get-FSxDedupStatus descrito abaixo.

Para obter mais informações sobre a eliminação de duplicação de dados, consulte a documentação da Microsoft Noções básicas da eliminação de duplicação de dados.

nota

Consulte nossas práticas recomendadas para Como usar a eliminação de duplicação de dados. Se você encontrar problemas com a execução bem-sucedida dos trabalhos de eliminação de duplicação de dados, consulte Solução de problemas da eliminação de duplicação dos dados.

Atenção

Não é recomendável executar determinados comandos do Robocopy com eliminação de duplicação de dados, pois esses comandos podem afetar a integridade dos dados do armazenamento em blocos. Para obter mais informações, consulte a documentação Data Deduplication Interoperability da Microsoft.

Como habilitar a eliminação de duplicação de dados

Você habilita a eliminação de duplicação de dados em um compartilhamento de arquivos do Amazon FSx para Windows File Server usando o comando Enable-FSxDedup, conforme a seguir.

PS C:\Users\Admin> Invoke-Command -ComputerName amznfsxzzzzzzzz.corp.example.com -ConfigurationName FSxRemoteAdmin -ScriptBlock {Enable-FsxDedup }

Quando você habilita a eliminação de duplicação de dados, uma programação e uma configuração padrão são criadas. Você pode criar, modificar e remover programações e configurações usando os comandos abaixo.

Você pode usar o comando Disable-FSxDedup para desativar totalmente a eliminação de duplicação de dados em seu sistema de arquivos.

Como criar uma programação de eliminação de duplicação de dados

Embora a programação padrão funcione bem na maioria dos casos, você pode criar um nova programação de eliminação de duplicação usando o comando New-FsxDedupSchedule, mostrado a seguir. As programações de eliminação de duplicação de dados usam o horário UTC.

PS C:\Users\Admin> Invoke-Command -ComputerName amznfsxzzzzzzzz.corp.example.com -ConfigurationName FSxRemoteAdmin -ScriptBlock {   
New-FSxDedupSchedule -Name "CustomOptimization" -Type Optimization -Days Mon,Wed,Sat -Start 08:00 -DurationHours 7
}

Esse comando cria uma programação chamada CustomOptimization que é executada na segunda, quarta e sábado, iniciando o trabalho às 8h (UTC) todos os dias, com uma duração máxima de sete horas, após as quais o trabalho é interrompido, se ainda estiver em execução.

Observe que a criação de novas programações de trabalho de eliminação de duplicação personalizadas não substitui nem remove a programação padrão existente. Antes de criar um trabalho de eliminação de duplicação personalizado, talvez você queira desativar o trabalho padrão se não precisar dele.

Você pode desativar a programação de eliminação de duplicação padrão usando o comando Set-FsxDedupSchedule, mostrado a seguir.

PS C:\Users\Admin> Invoke-Command -ComputerName amznfsxzzzzzzzz.corp.example.com -ConfigurationName FSxRemoteAdmin -ScriptBlock {Set-FSxDedupSchedule -Name “BackgroundOptimization” -Enabled $false}

Você pode remover uma programação de eliminação de duplicação usando o comando Remove-FSxDedupSchedule -Name "ScheduleName". Observe que a programação padrão de eliminação de duplicação BackgroundOptimization não pode ser modificada ou removida e, em vez disso, precisará ser desabilitada.

Como modificar uma programação de eliminação de duplicação de dados

Você pode modificar uma programação de eliminação de duplicação existente usando o comando Set-FsxDedupSchedule, mostrado a seguir.

PS C:\Users\Admin> Invoke-Command -ComputerName amznfsxzzzzzzzz.corp.example.com -ConfigurationName FSxRemoteAdmin -ScriptBlock {   
Set-FSxDedupSchedule -Name "CustomOptimization" -Type Optimization -Days Mon,Tues,Wed,Sat -Start 09:00 -DurationHours 9
}

Esse comando modifica a programação CustomOptimization existente para ser executada de segunda a quarta e sábado, iniciando a tarefa às 9h (UTC) todos os dias, com uma duração máxima de nove horas, após a qual a tarefa será interrompida, se ainda estiver em execução.

Para modificar a idade mínima do arquivo antes de otimizar a configuração, use o comando Set-FSxDedupConfiguration.

Como visualizar a quantidade de espaço economizado

Para visualizar a quantidade de espaço em disco que você está economizando ao executar a eliminação de duplicação de dados, use o comando Get-FSxDedupStatus como a seguir.

PS C:\Users\Admin> Invoke-Command -ComputerName amznfsxzzzzzzzz.corp.example.com -ConfigurationName FsxRemoteAdmin -ScriptBlock { 
Get-FSxDedupStatus } | select OptimizedFilesCount,OptimizedFilesSize,SavedSpace,OptimizedFilesSavingsRate

OptimizedFilesCount OptimizedFilesSize SavedSpace OptimizedFilesSavingsRate
------------------- ------------------ ---------- -------------------------
              12587           31163594   25944826                        83

nota

Os valores mostrados na resposta do comando para os seguintes parâmetros não são confiáveis e você não deve usar esses valores: Capacidade FreeSpace UsedSpace, UnoptimizedSize,, SavingsRate e.

Como gerenciar a eliminação de duplicação de dados

Você pode gerenciar a desduplicação de dados em seu sistema de arquivos usando a CLI do Amazon FSx para gerenciamento remoto ativado. PowerShell Para saber como usar essa CLI, consulte Introdução à CLI do Amazon FSx para gerenciamento remoto em PowerShell.

A seguir estão os comandos que você pode usar para eliminação de duplicação de dados.

Comando de eliminação de duplicação de dados	Descrição
Enable-FSxDedup	Permite a eliminação de duplicação de dados no compartilhamento de arquivos. A compactação de dados, após a eliminação de duplicação de dados, é habilitada por padrão quando você habilita a eliminação de duplicação de dados.
Disable-FSxDedup	Desativa a eliminação de duplicação de dados no compartilhamento de arquivos.
Get-FSxDedupConfiguration	Recupera informações de configuração de eliminação de duplicação de dados, incluindo tamanho mínimo do arquivo e idade para otimização, configurações de compactação e tipos de arquivos e pastas excluídos.
Set-FSxDedupConfiguration	Altera as configurações de eliminação de duplicação, incluindo tamanho e idade mínimos do arquivo para otimização, configurações de compactação e tipos de arquivos e pastas excluídos.
Get-FSxDedupStatus	Recupera o status da eliminação de duplicação e inclui propriedades somente para leitura que descrevem a economia e o status da otimização no sistema de arquivos, os horários e o status de conclusão dos últimos trabalhos no sistema de arquivos.
Get-FSxDedupMetadata	Recupera metadados de otimização de eliminação de duplicação.
Update-FSxDedupStatus	Calcula e recupera informações atualizadas sobre economia de eliminação de duplicação de dados.
Measure-FSxDedupFileMetadata	Mede e recupera o espaço de armazenamento potencial que você pode recuperar em seu sistema de arquivos, se excluir um grupo de pastas. Os arquivos geralmente têm partes que são compartilhadas em outras pastas, e o mecanismo de eliminação de duplicação calcula quais partes são exclusivas e que seriam excluídas.
Get-FSxDedupSchedule	Recupera as programações de eliminação de duplicação que estão definidas atualmente.
New-FSxDedupSchedule	Cria e personaliza uma programação de eliminação de duplicação de dados.
Set-FSxDedupSchedule	Altera as configurações das programações de eliminação de duplicação de dados existentes.
Remove-FSxDedupSchedule	Exclui uma programação de eliminação de duplicação.
Get-FSxDedupJob	Obtém o status e as informações de todos os trabalhos de eliminação de duplicação atualmente em execução ou em fila.
Stop-FSxDedupJob	Cancele um ou mais trabalhos de eliminação de duplicação de dados especificados.

A ajuda on-line de cada comando fornece uma referência de todas as opções de comando. Para acessar essa ajuda, execute o comando com -?, por exemplo Enable-FSxDedup -?.