Exportez automatiquement les mises à jour vers votre compartiment S3

Vous pouvez configurer votre système de fichiers FSx for Lustre pour mettre à jour automatiquement le contenu d'un compartiment S3 lié à mesure que des fichiers sont ajoutés, modifiés ou supprimés dans le système de fichiers. FSx for Lustre crée, met à jour ou supprime l'objet dans S3, en fonction de la modification du système de fichiers.

Note

L'exportation automatique n'est pas disponible sur les systèmes de fichiers Scratch 1 ou les systèmes de fichiers FSx for Lustre 2.10.

Vous pouvez exporter vers un référentiel de données qui se trouve dans le même système de fichiers Région AWS que le système de fichiers ou dans un autre Région AWS.

Vous pouvez configurer l'exportation automatique lorsque vous créez l'association au référentiel de données et que vous mettez à jour les paramètres d'exportation automatique à tout moment à l'aide de la console de gestion FSx AWS CLI, du et de l' AWS API.

Note

Vous pouvez configurer à la fois l'exportation automatique et l'importation automatique sur la même association de référentiels de données. Cette rubrique décrit uniquement la fonctionnalité d'exportation automatique.

Important

• Si un fichier est modifié dans le système de fichiers alors que toutes les politiques d'exportation automatique sont activées et que l'importation automatique est désactivée, le contenu de ce fichier est toujours exporté vers un objet correspondant dans S3. Si un objet existe déjà à l'emplacement cible, il est remplacé.

• Si un fichier est modifié à la fois dans le système de fichiers et dans S3, alors que toutes les politiques d'importation et d'exportation automatiques sont activées, le fichier du système de fichiers ou l'objet de S3 peuvent être remplacés par l'autre. Il n'est pas garanti qu'une modification ultérieure à un endroit remplacera une modification antérieure à un autre emplacement. Si vous modifiez le même fichier à la fois dans le système de fichiers et dans le compartiment S3, vous devez garantir la coordination au niveau de l'application afin d'éviter de tels conflits. FSx for Lustre n'empêche pas les écritures conflictuelles à plusieurs emplacements.

La politique d'exportation indique comment vous souhaitez que FSx for Lustre mette à jour votre compartiment S3 lié à mesure que le contenu change dans le système de fichiers. Une association de référentiels de données peut avoir l'une des politiques d'exportation automatique suivantes :

• Nouveau — FSx for Lustre met automatiquement à jour le référentiel de données S3 uniquement lorsqu'un nouveau fichier, répertoire ou lien symbolique est créé sur le système de fichiers.

• Modifié — FSx for Lustre met automatiquement à jour le référentiel de données S3 uniquement lorsqu'un fichier existant dans le système de fichiers est modifié. Pour les modifications du contenu du fichier, le fichier doit être fermé avant d'être propagé dans le référentiel S3. Les modifications des métadonnées (changement de nom, propriété, autorisations et horodatages) sont propagées lorsque l'opération est terminée. Pour renommer les modifications (y compris les déplacements), l'objet S3 existant (prérenommé) est supprimé et un nouvel objet S3 est créé avec le nouveau nom.

• Supprimé — FSx for Lustre met automatiquement à jour le référentiel de données S3 uniquement lorsqu'un fichier, un répertoire ou un lien symbolique est supprimé dans le système de fichiers.

• Toute combinaison de Nouveau, Modifié et Supprimé : FSx for Lustre met automatiquement à jour le référentiel de données S3 lorsque l'une des actions spécifiées se produit dans le système de fichiers. Par exemple, vous pouvez spécifier que le référentiel S3 est mis à jour lorsqu'un fichier est ajouté au système de fichiers (Nouveau) ou supprimé de (Supprimé), mais pas lorsqu'un fichier est modifié.

• Aucune politique configurée : FSx for Lustre ne met pas automatiquement à jour le référentiel de données S3 lorsque des fichiers sont ajoutés, modifiés ou supprimés du système de fichiers. Si vous ne configurez pas de politique d'exportation, l'exportation automatique est désactivée. Vous pouvez toujours exporter manuellement les modifications à l'aide d'une tâche de référentiel de données d'exportation, comme décrit dansUtilisation des tâches du référentiel de données pour exporter les modifications.

Dans la plupart des cas d'utilisation, nous vous recommandons de configurer une politique d'exportation comprenant les valeurs Nouveau, Modifié et Supprimé. Cette politique garantit que toutes les mises à jour effectuées sur votre système de fichiers sont automatiquement exportées vers votre référentiel de données S3 lié.

Nous vous recommandons d'activer la journalisation dans CloudWatch Logs pour consigner les informations relatives aux fichiers ou répertoires qui n'ont pas pu être exportés automatiquement. Les avertissements et les erreurs figurant dans le journal contiennent des informations sur la raison de l'échec. Pour plus d’informations, consultez Journaux d'événements du référentiel de données.

Mise à jour des paramètres d'exportation

Vous pouvez définir les paramètres d'exportation d'un système de fichiers vers un compartiment S3 lié lorsque vous créez l'association du référentiel de données. Pour plus d’informations, consultez Création d'un lien vers un compartiment S3.

Vous pouvez également mettre à jour les paramètres d'exportation à tout moment, y compris la politique d'exportation. Pour plus d’informations, consultez Mise à jour des paramètres d'association du référentiel de données.

Surveillance de l'exportation automatique

Vous pouvez surveiller les associations de référentiels de données activées pour l'exportation automatique à l'aide d'un ensemble de statistiques publiées sur Amazon CloudWatch. La AgeOfOldestQueuedMessage métrique représente l'âge de la plus ancienne mise à jour apportée au système de fichiers qui n'a pas encore été exportée vers S3. Si le nombre AgeOfOldestQueuedMessage est supérieur à zéro pendant une période prolongée, nous recommandons de réduire temporairement le nombre de modifications (renommage de répertoire en particulier) qui sont activement apportées au système de fichiers jusqu'à ce que la file de messages soit réduite. Pour plus d’informations, consultez AutoImport et AutoExport métriques.

Important

Lorsque vous supprimez une association de référentiel de données ou un système de fichiers avec l'exportation automatique activée, vous devez d'abord vous assurer que ce chiffre AgeOfOldestQueuedMessage est égal à zéro, ce qui signifie qu'aucune modification n'a encore été exportée. S'il AgeOfOldestQueuedMessage est supérieur à zéro lorsque vous supprimez votre association de référentiel de données ou votre système de fichiers, les modifications qui n'ont pas encore été exportées n'atteindront pas votre compartiment S3 lié. Pour éviter cela, attendez d'AgeOfOldestQueuedMessageatteindre zéro avant de supprimer votre association de référentiel de données ou votre système de fichiers.