Activer la déduplication des données sur Amazon FSx

Présentation

La déduplication des données est une fonctionnalité qui vous permet de stocker vos données de manière plus efficace tout en réduisant les besoins en capacité. Cela implique de détecter et de supprimer les doublons dans les données sans compromettre leur fidélité ou leur intégrité. La déduplication des données utilise le découpage et la compression de sous-fichiers à taille variable, ce qui permet d'obtenir des ratios d'optimisation de 2:1 pour les serveurs de fichiers généraux et jusqu'à 20:1 pour les données de virtualisation. La déduplication des données est bien plus efficace que la NTFS compression. La résilience en cas de défaillance matérielle est inhérente à l'architecture de déduplication, avec une validation complète des données et des métadonnées, y compris la redondance des métadonnées et des segments de données les plus consultés.

FSxpour Windows File Server prend entièrement en charge la déduplication des données. Son utilisation peut permettre de réaliser des économies moyennes de 50 à 60 % sur les partages de fichiers à usage général. En ce qui concerne les actions, les économies varient de 30 à 50 % pour les documents utilisateur et jusqu'à 70 à 80 % pour les ensembles de données de développement logiciel. Il est important de comprendre que les économies de stockage que vous pouvez réaliser grâce à la déduplication des données dépendent de la nature de votre ensemble de données, notamment du niveau de duplication existant entre les fichiers. La déduplication n'est pas une bonne option si les données stockées sont de nature dynamique.

Impact sur les coûts

Pour faire face à la croissance du stockage de données dans l'entreprise, les administrateurs consolident les serveurs et fixent des objectifs clés en matière de mise à l'échelle des capacités et d'optimisation des données. Les paramètres par défaut de la déduplication des données peuvent permettre de réaliser des économies immédiates, ou les administrateurs peuvent affiner les paramètres pour obtenir des gains supplémentaires. Par exemple, vous pouvez configurer la déduplication pour qu'elle s'exécute uniquement sur certains types de fichiers, ou vous pouvez créer un calendrier de travail personnalisé.

À un niveau élevé, la déduplication comporte trois types de tâches : optimisation, collecte des déchets et nettoyage. Sachez que l'espace ne sera pas libéré tant que vous n'aurez pas exécuté une tâche de collecte des déchets après l'optimisation. Vous pouvez planifier le travail ou l'exécuter manuellement. Tous les paramètres disponibles lorsque vous planifiez une tâche de déduplication de données sont également disponibles lorsque vous démarrez une tâche manuellement (à l'exception de ceux qui sont spécifiques à la planification).

Même avec seulement 25 % d'économies effectives grâce à la déduplication, Windows File Server peut réaliser FSx des économies considérables. Ces économies prévues sont basées sur une estimation figurant dans le AWS Pricing Calculator.

Recommandations d'optimisation des coûts

La déduplication activée FSx pour les systèmes de fichiers Windows File Server n'est pas activée par défaut. Pour activer la déduplication en utilisant la gestion à distance activée PowerShell, vous devez exécuter la Enable-FSxDedup commande, puis utiliser la Set-FSxDedupConfiguration commande pour définir la configuration. Pour plus d'informations, consultez la section Administration des systèmes de fichiers dans la documentation relative FSx aux serveurs de fichiers Windows.

Pour activer la déduplication, exécutez la commande suivante :

PS C:\Users\Admin> Invoke-Command -ComputerName amznfsxzzzzzzzz.corp.example.com -ConfigurationName FSxRemoteAdmin -ScriptBlock {Enable-FsxDedup }

Pour vérifier votre configuration de déduplication, exécutez la commande suivante :

Invoke-Command -ComputerName amznfsxzzzzzzzz.corp.example.com -ConfigurationName FSxRemoteAdmin -ScriptBlock {
Set-FSxDedupSchedule -Name "CustomOptimization" -Type Optimization -Days Mon,Tues,Wed,Sat -Start 09:00 -DurationHours 7
}

En exécutant l' PowerShell Measure-DedupFileMetadataapplet de commande, vous pouvez déterminer l'espace disque potentiel pouvant être récupéré sur un volume si vous supprimez un groupe de dossiers, un seul dossier ou un seul fichier, puis si vous exécutez une tâche de collecte des déchets. Plus précisément, la DedupDistinctSize valeur vous indique l'espace que vous pouvez récupérer si vous supprimez ces fichiers. Les fichiers contiennent souvent des fragments partagés entre d'autres dossiers. Le moteur de déduplication calcule donc quels fragments sont uniques et seront supprimés après le travail de collecte des déchets.

Les programmes de déduplication des données par défaut sont conçus pour fonctionner correctement pour les charges de travail recommandées et être aussi peu intrusifs que possible (à l'exception de la tâche d'optimisation prioritaire activée pour le type d'utilisation de sauvegarde). Si les charges de travail nécessitent des ressources importantes, nous vous recommandons de planifier l'exécution des tâches uniquement pendant les heures d'inactivité, ou de réduire ou d'augmenter la quantité de ressources système qu'une tâche de déduplication de données est autorisée à consommer.

Par défaut, la déduplication des données utilise 25 % de la mémoire disponible. Cependant, cela peut être augmenté en utilisant-memory switch. Pour les tâches d'optimisation, nous vous recommandons de définir une plage comprise entre 15 et 50. Pour les tâches planifiées, vous pouvez utiliser une consommation de mémoire plus élevée. Par exemple, pour les tâches de collecte des déchets et de nettoyage (que vous planifiez généralement pour être exécutées en dehors des heures de bureau), vous pouvez définir une consommation de mémoire plus élevée (50 par exemple).

Pour plus d'informations sur les paramètres de déduplication des données, consultez la section Réduction des coûts de stockage grâce à la déduplication des données dans la documentation relative FSx aux serveurs de fichiers Windows.

Ressources supplémentaires

• Comprendre la déduplication des données (documentation Microsoft)

• Réduction des coûts de stockage grâce à la déduplication des données (FSxpour la documentation du serveur de fichiers Windows)