Deduplicazione dei dati

I set di dati di grandi dimensioni spesso contengono dati ridondanti, il che aumenta i costi di archiviazione dei dati. Ad esempio, con le condivisioni di file utente, più utenti possono archiviare più copie o versioni dello stesso file. Con le condivisioni di sviluppo software, molti file binari rimangono invariati da una build all'altra.

È possibile ridurre i costi di archiviazione dei dati attivando la deduplicazione dei dati per il file system. La deduplicazione dei dati riduce o elimina i dati ridondanti archiviando parti duplicate del set di dati una sola volta. La compressione dei dati è abilitata per impostazione predefinita quando si utilizza la deduplicazione dei dati, riducendo ulteriormente la quantità di archiviazione dei dati comprimendo i dati dopo la deduplicazione. La deduplicazione dei dati viene eseguita come un processo in background che analizza e ottimizza continuamente e automaticamente il file system ed è trasparente per gli utenti e i client connessi.

I risparmi di storage che è possibile ottenere con la deduplicazione dei dati dipendono dalla natura del set di dati, inclusa la quantità di duplicazione esistente tra i file. I risparmi tipici sono in media del 50-60% per le condivisioni di file per uso generico. Nell'ambito delle azioni, i risparmi vanno dal 30 al 50 percento per i documenti degli utenti al 70-80 percento per i set di dati di sviluppo software. È possibile misurare i potenziali risparmi derivanti dalla deduplicazione utilizzando il comando descritto di seguito. Measure-FSxDedupFileMetadata

È inoltre possibile personalizzare la deduplicazione dei dati per soddisfare esigenze di storage specifiche. Ad esempio, è possibile configurare la deduplicazione in modo che venga eseguita solo su determinati tipi di file oppure è possibile creare una pianificazione dei processi personalizzata. Poiché i processi di deduplicazione possono consumare risorse del file server, si consiglia di monitorare lo stato dei processi di deduplicazione utilizzando il comando descritto di seguito. Get-FSxDedupStatus

Per ulteriori informazioni sulla deduplicazione dei dati, consulta la documentazione di Microsoft Understanding Data Deduplication.

Nota

Consulta le nostre best practice per. Utilizzo della deduplicazione dei dati Se riscontri problemi nel far funzionare correttamente i processi di deduplicazione dei dati, consulta. Risoluzione dei problemi di deduplicazione dei dati

avvertimento

Non è consigliabile eseguire determinati comandi Robocopy con deduplicazione dei dati perché questi comandi possono influire sull'integrità dei dati del Chunk Store. Per ulteriori informazioni, consulta la documentazione sull'interoperabilità di Microsoft Data Deduplication.

Abilitazione della deduplicazione dei dati

È possibile abilitare la deduplicazione dei dati su una condivisione di file Amazon FSx for Windows File Server utilizzando Enable-FSxDedup il comando seguente.

PS C:\Users\Admin> Invoke-Command -ComputerName amznfsxzzzzzzzz.corp.example.com -ConfigurationName FSxRemoteAdmin -ScriptBlock {Enable-FsxDedup }

Quando abiliti la deduplicazione dei dati, vengono create una pianificazione e una configurazione predefinite. È possibile creare, modificare e rimuovere pianificazioni e configurazioni utilizzando i comandi seguenti.

È possibile utilizzare il Disable-FSxDedup comando per disabilitare completamente la deduplicazione dei dati sul file system.

Creazione di una pianificazione per la deduplicazione dei dati

Anche se la pianificazione predefinita funziona bene nella maggior parte dei casi, è possibile creare una nuova pianificazione di deduplicazione utilizzando il New-FsxDedupSchedule comando, illustrato di seguito. Le pianificazioni di deduplicazione dei dati utilizzano l'ora UTC.

PS C:\Users\Admin> Invoke-Command -ComputerName amznfsxzzzzzzzz.corp.example.com -ConfigurationName FSxRemoteAdmin -ScriptBlock {   
New-FSxDedupSchedule -Name "CustomOptimization" -Type Optimization -Days Mon,Wed,Sat -Start 08:00 -DurationHours 7
}

Questo comando crea una pianificazione denominata CustomOptimization che viene eseguita nei giorni di lunedì, mercoledì e sabato, con inizio del processo alle 8:00 (UTC) di ogni giorno, con una durata massima di 7 ore, dopodiché il processo si interrompe se è ancora in esecuzione.

Si noti che la creazione di nuove pianificazioni dei processi di deduplicazione personalizzate non sostituisce né rimuove la pianificazione predefinita esistente. Prima di creare un processo di deduplicazione personalizzato, è possibile disabilitare il processo predefinito se non è necessario.

È possibile disabilitare la pianificazione di deduplicazione predefinita utilizzando il Set-FsxDedupSchedule comando, illustrato di seguito.

PS C:\Users\Admin> Invoke-Command -ComputerName amznfsxzzzzzzzz.corp.example.com -ConfigurationName FSxRemoteAdmin -ScriptBlock {Set-FSxDedupSchedule -Name “BackgroundOptimization” -Enabled $false}

È possibile rimuovere una pianificazione di deduplicazione utilizzando il comando. Remove-FSxDedupSchedule -Name "ScheduleName" Si noti che la pianificazione di BackgroundOptimization deduplicazione predefinita non può essere modificata o rimossa e dovrà invece essere disabilitata.

Modifica di una pianificazione di deduplicazione dei dati

È possibile modificare una pianificazione di deduplicazione esistente utilizzando il Set-FsxDedupSchedule comando, illustrato di seguito.

PS C:\Users\Admin> Invoke-Command -ComputerName amznfsxzzzzzzzz.corp.example.com -ConfigurationName FSxRemoteAdmin -ScriptBlock {   
Set-FSxDedupSchedule -Name "CustomOptimization" -Type Optimization -Days Mon,Tues,Wed,Sat -Start 09:00 -DurationHours 9
}

Questo comando modifica la CustomOptimization pianificazione esistente in modo che venga eseguita nei giorni dal lunedì al mercoledì e al sabato, avviando il processo alle 9:00 (UTC) di ogni giorno, con una durata massima di 9 ore, dopodiché il processo si interrompe se è ancora in esecuzione.

Per modificare l'età minima del file prima di ottimizzare l'impostazione, utilizzare il comando. Set-FSxDedupConfiguration

Visualizzazione della quantità di spazio risparmiato

Per visualizzare la quantità di spazio su disco risparmiata dall'esecuzione della deduplicazione dei dati, utilizzare il Get-FSxDedupStatus comando, come segue.

PS C:\Users\Admin> Invoke-Command -ComputerName amznfsxzzzzzzzz.corp.example.com -ConfigurationName FsxRemoteAdmin -ScriptBlock { 
Get-FSxDedupStatus } | select OptimizedFilesCount,OptimizedFilesSize,SavedSpace,OptimizedFilesSavingsRate

OptimizedFilesCount OptimizedFilesSize SavedSpace OptimizedFilesSavingsRate
------------------- ------------------ ---------- -------------------------
              12587           31163594   25944826                        83

Nota

I valori mostrati nella risposta al comando per i seguenti parametri non sono affidabili e non è necessario utilizzare questi valori: Capacity,, FreeSpace UsedSpace UnoptimizedSize, e. SavingsRate

Gestione della deduplicazione dei dati

Puoi gestire la deduplicazione dei dati sul tuo file system utilizzando l'interfaccia a riga di comando di Amazon FSx per la gestione remota su. PowerShell Per informazioni su come utilizzare questa CLI, consulta. Guida introduttiva a riga di comando di Amazon FSx per la gestione remota su PowerShell

Di seguito sono riportati i comandi che è possibile utilizzare per la deduplicazione dei dati.

Comando di deduplicazione dei dati	Descrizione
Enable-FSxDedup	Abilita la deduplicazione dei dati nella condivisione di file. La compressione dei dati dopo la deduplicazione è abilitata per impostazione predefinita quando si abilita la deduplicazione dei dati.
Disable-FSxDedup	Disattiva la deduplicazione dei dati nella condivisione di file.
Get-FSxDedupConfiguration	Recupera le informazioni sulla configurazione della deduplicazione, tra cui la dimensione e la data minime del file per l'ottimizzazione, le impostazioni di compressione e i tipi di file e le cartelle esclusi.
Set-FSxDedupConfiguration	Modifica le impostazioni di configurazione della deduplicazione, tra cui dimensione e età minime dei file per l'ottimizzazione, le impostazioni di compressione e i tipi di file e le cartelle esclusi.
Get-FSxDedupStatus	Recupera lo stato della deduplicazione e include proprietà di sola lettura che descrivono i risparmi e lo stato dell'ottimizzazione sul file system, i tempi e lo stato di completamento degli ultimi lavori sul file system.
Get-FSxDedupMetadata	Recupera i metadati di ottimizzazione della deduplicazione.
Update-FSxDedupStatus	Calcola e recupera informazioni aggiornate per risparmiare sulla deduplicazione dei dati.
Measure-FSxDedupFileMetadata	Misura e recupera lo spazio di archiviazione potenziale che è possibile recuperare sul file system se si elimina un gruppo di cartelle. Spesso i file hanno blocchi condivisi tra altre cartelle e il motore di deduplicazione calcola quali blocchi sono unici e quali verrebbero eliminati.
Get-FSxDedupSchedule	Recupera le pianificazioni di deduplicazione attualmente definite.
New-FSxDedupSchedule	Crea e personalizza una pianificazione di deduplicazione dei dati.
Set-FSxDedupSchedule	Modifica le impostazioni di configurazione per i piani di deduplicazione dei dati esistenti.
Remove-FSxDedupSchedule	Elimina una pianificazione di deduplicazione.
Get-FSxDedupJob	Ottiene lo stato e le informazioni per tutti i processi di deduplicazione attualmente in esecuzione o in coda.
Stop-FSxDedupJob	Annulla uno o più processi di deduplicazione dei dati specificati.

La guida in linea di ogni comando fornisce un riferimento a tutte le opzioni di comando. Per accedere a questa guida, esegui il comando con-?, ad esempioEnable-FSxDedup -?.