Importez automatiquement des mises à jour depuis votre compartiment S3

Vous pouvez configurer Lustre FSx pour qu'il mette automatiquement à jour les métadonnées du système de fichiers lorsque des objets sont ajoutés, modifiés ou supprimés de votre compartiment S3. FSxfor Lustre crée, met à jour ou supprime la liste des fichiers et des répertoires, correspondant à la modification apportée dans S3. Si l'objet modifié dans le compartiment S3 ne contient plus ses métadonnées, FSx for Lustre conserve les valeurs de métadonnées actuelles du fichier, y compris les autorisations actuelles.

Note

Le système de fichiers FSx for Lustre et le compartiment S3 lié doivent se trouver dans le même emplacement Région AWS pour importer automatiquement les mises à jour.

Vous pouvez configurer l'importation automatique lorsque vous créez l'association du référentiel de données, et vous pouvez mettre à jour les paramètres d'importation automatique à tout moment à l'aide de la console de FSx gestion, du AWS CLI, ou du AWS API.

Note

Vous pouvez configurer à la fois l'importation automatique et l'exportation automatique sur la même association de référentiels de données. Cette rubrique décrit uniquement la fonctionnalité d'importation automatique.

Important

• Si un objet est modifié dans S3 alors que toutes les politiques d'importation automatique sont activées et que l'exportation automatique est désactivée, le contenu de cet objet est toujours importé dans un fichier correspondant du système de fichiers. Si un fichier existe déjà dans l'emplacement cible, il est remplacé.

• Si un fichier est modifié à la fois dans le système de fichiers et dans S3, alors que toutes les politiques d'importation et d'exportation automatiques sont activées, le fichier du système de fichiers ou l'objet de S3 peuvent être remplacés par l'autre. Il n'est pas garanti qu'une modification ultérieure à un endroit remplacera une modification antérieure à un autre emplacement. Si vous modifiez le même fichier à la fois dans le système de fichiers et dans le compartiment S3, vous devez garantir la coordination au niveau de l'application afin d'éviter de tels conflits. FSxfor Lustre n'empêche pas les écritures conflictuelles à plusieurs endroits.

La politique d'importation indique comment vous souhaitez que FSx Lustre mette à jour votre système de fichiers lorsque le contenu change dans le compartiment S3 lié. Une association de référentiels de données peut avoir l'une des politiques d'importation suivantes :

• Nouveau : FSx pour Lustre met automatiquement à jour les métadonnées des fichiers et des répertoires uniquement lorsque de nouveaux objets sont ajoutés au référentiel de données S3 lié.

• Modifié : FSx pour Lustre met automatiquement à jour les métadonnées des fichiers et des répertoires uniquement lorsqu'un objet existant dans le référentiel de données est modifié.

• Supprimé : FSx pour Lustre met automatiquement à jour les métadonnées des fichiers et des répertoires uniquement lorsqu'un objet du référentiel de données est supprimé.

• Toute combinaison de Nouveau, Modifié et Supprimé — FSx for Lustre met automatiquement à jour les métadonnées du fichier et du répertoire lorsque l'une des actions spécifiées se produit dans le référentiel de données S3. Par exemple, vous pouvez spécifier que le système de fichiers est mis à jour lorsqu'un objet est ajouté à (Nouveau) ou supprimé du référentiel S3 (Supprimé), mais qu'il n'est pas mis à jour lorsqu'un objet est modifié.

• Aucune politique configurée : car FSx Lustre ne met pas à jour les métadonnées des fichiers et des répertoires sur le système de fichiers lorsque des objets sont ajoutés, modifiés ou supprimés du référentiel de données S3. Si vous ne configurez pas de politique d'importation, l'importation automatique est désactivée pour l'association du référentiel de données. Vous pouvez toujours importer manuellement les modifications des métadonnées à l'aide d'une tâche de référentiel de données d'importation, comme décrit dansUtilisation des tâches du référentiel de données pour importer des modifications.

Important

L'importation automatique ne synchronisera pas les actions S3 suivantes avec votre système de fichiers Linked FSx for Lustre :

• Supprimer un objet à l'aide des expirations du cycle de vie des objets S3

• Suppression définitive de la version actuelle de l'objet dans un compartiment activé pour la gestion des versions

• Annulation de la suppression d'un objet dans un compartiment activé pour la gestion des versions

Dans la plupart des cas d'utilisation, nous vous recommandons de configurer une politique d'importation comprenant les valeurs Nouveau, Modifié et Supprimé. Cette politique garantit que toutes les mises à jour effectuées dans votre référentiel de données S3 lié sont automatiquement importées dans votre système de fichiers.

Lorsque vous définissez une politique d'importation pour mettre à jour les métadonnées des fichiers et des répertoires de votre système de fichiers en fonction des modifications apportées au référentiel de données S3 lié, FSx for Lustre crée une configuration de notification d'événement sur le compartiment S3 lié. La configuration des notifications d'événements est nomméeFSx. Ne modifiez ni ne supprimez la configuration des notifications d'FSxévénements dans le compartiment S3. Cela empêchera l'importation automatique des métadonnées de fichiers et de répertoires mises à jour dans votre système de fichiers.

Lorsque FSx for Lustre met à jour une liste de fichiers qui a changé dans le référentiel de données S3 lié, il remplace le fichier local par la version mise à jour, même si le fichier est verrouillé en écriture.

FSxfor Lustre fait de son mieux pour mettre à jour votre système de fichiers. FSxfor Lustre ne peut pas mettre à jour le système de fichiers dans les situations suivantes :

• If FSx for Lustre n'est pas autorisé à ouvrir l'objet S3 modifié ou nouveau. Dans ce cas, FSx for Lustre ignore l'objet et continue. L'état DRA du cycle de vie n'est pas affecté.

• If FSx for Lustre ne dispose pas d'autorisations au niveau du bucket, comme pour. GetBucketAcl Cela entraînera une mauvaise configuration de l'état du cycle de vie du référentiel de données. Pour de plus amples informations, veuillez consulter État du cycle de vie des associations au référentiel de données.

• Si la configuration des notifications d'FSxévénements sur le compartiment S3 lié est supprimée ou modifiée. Cela entraînera une mauvaise configuration de l'état du cycle de vie du référentiel de données. Pour de plus amples informations, veuillez consulter État du cycle de vie des associations au référentiel de données.

Nous vous recommandons d'activer la journalisation dans CloudWatch Logs pour consigner les informations relatives aux fichiers ou répertoires qui n'ont pas pu être importés automatiquement. Les avertissements et les erreurs figurant dans le journal contiennent des informations sur la raison de l'échec. Pour de plus amples informations, veuillez consulter Journaux d'événements du référentiel de données.

Prérequis

Les conditions suivantes sont requises FSx pour que Lustre puisse importer automatiquement des fichiers nouveaux, modifiés ou supprimés à partir du compartiment S3 lié :

• Le système de fichiers et son compartiment S3 lié se trouvent dans le même emplacement Région AWS.

• L'état du cycle de vie du compartiment S3 n'est pas mal configuré. Pour de plus amples informations, veuillez consulter État du cycle de vie des associations au référentiel de données.

• Votre compte dispose des autorisations requises pour configurer et recevoir des notifications d'événements sur le compartiment S3 lié.

Types de modifications de fichiers pris en charge

FSxfor Lustre prend en charge l'importation des modifications suivantes apportées aux fichiers et aux répertoires qui se produisent dans le compartiment S3 lié :

• Modifications apportées au contenu des fichiers.

• Modifications apportées aux métadonnées d'un fichier ou d'un répertoire.

• Modifications apportées à la cible ou aux métadonnées du lien symbolique.

• Suppressions de fichiers et de répertoires. Si vous supprimez un objet dans le compartiment S3 lié qui correspond à un répertoire du système de fichiers (c'est-à-dire un objet dont le nom clé se termine par une barre oblique), FSx for Lustre supprime le répertoire correspondant dans le système de fichiers uniquement s'il est vide.

Mise à jour des paramètres d'importation

Vous pouvez définir les paramètres d'importation d'un système de fichiers pour un compartiment S3 lié lorsque vous créez l'association du référentiel de données. Pour de plus amples informations, veuillez consulter Création d'un lien vers un compartiment S3.

Vous pouvez également mettre à jour les paramètres d'importation à tout moment, y compris la politique d'importation. Pour de plus amples informations, veuillez consulter Mise à jour des paramètres d'association du référentiel de données.

Surveillance de l'importation automatique

Si le taux de modification de votre compartiment S3 dépasse le taux auquel l'importation automatique peut traiter ces modifications, les modifications de métadonnées correspondantes importées dans votre système de fichiers FSx for Lustre sont retardées. Dans ce cas, vous pouvez utiliser la AgeOfOldestQueuedMessage métrique pour surveiller l'âge de la modification la plus ancienne en attente de traitement par importation automatique. Pour plus d'informations sur cette métrique, consultezAutoImport et AutoExport métriques.

Si le délai d'importation des modifications des métadonnées dépasse 14 jours (tel que mesuré à l'aide de la AgeOfOldestQueuedMessage métrique), les modifications de votre compartiment S3 qui n'ont pas été traitées par importation automatique ne sont pas importées dans votre système de fichiers. En outre, le cycle de vie des associations de votre référentiel de données est marqué comme MISCONFIGUREDet l'importation automatique est arrêtée. Si l'exportation automatique est activée, l'exportation automatique continue de surveiller les modifications apportées FSx à votre système de fichiers pour Lustre. Cependant, les modifications supplémentaires ne sont pas synchronisées entre votre système de fichiers FSx for Lustre et S3.

Pour faire passer votre association de référentiel de données de l'état du MISCONFIGUREDcycle de vie à l'état AVAILABLEdu cycle de vie, vous devez mettre à jour votre association de référentiel de données. Vous pouvez mettre à jour l'association de votre référentiel de données à l'aide de la update-data-repository-associationCLIcommande (ou de l'UpdateDataRepositoryAssociationAPIopération correspondante). Le seul paramètre de demande dont vous avez besoin est celui AssociationID de l'association du référentiel de données que vous souhaitez mettre à jour.

Une fois que l'état du cycle de vie des associations du référentiel de données est AVAILABLEpassé à, l'importation automatique (et l'exportation automatique si elle est activée) redémarre. Au redémarrage, l'exportation automatique reprend la synchronisation des modifications du système de fichiers avec S3. Pour synchroniser les métadonnées des objets nouveaux et modifiés dans S3 avec votre système de fichiers FSx for Lustre qui n'ont pas été importés ou qui proviennent d'une association de référentiel de données mal configurée, exécutez une tâche d'importation de référentiel de données. Les tâches du référentiel de données d'importation ne synchronisent pas les suppressions de votre compartiment S3 avec votre système de fichiers FSx for Lustre. Si vous souhaitez synchroniser entièrement S3 avec votre système de fichiers (y compris les suppressions), vous devez recréer votre système de fichiers.

Pour garantir que les délais d'importation des modifications des métadonnées ne dépassent pas 14 jours, nous vous recommandons de définir une alarme sur la AgeOfOldestQueuedMessage métrique et de réduire l'activité dans votre compartiment S3 si la AgeOfOldestQueuedMessage métrique dépasse votre seuil d'alarme. Pour un système de fichiers FSx pour Lustre connecté à un compartiment S3 avec une seule partition envoyant en permanence le maximum de modifications possibles depuis S3, l'importation automatique étant uniquement exécutée sur le système de fichiers FSx pour Lustre, l'importation automatique peut traiter un arriéré de 7 heures de modifications S3 en 14 jours.

En outre, avec une seule action S3, vous pouvez générer plus de modifications que ce que l'importation automatique pourra traiter en 14 jours. Des exemples de ces types d'actions incluent, sans toutefois s'y limiter, les AWS Snowball téléchargements vers S3 et les suppressions à grande échelle. Si vous apportez une modification importante à votre compartiment S3 que vous souhaitez synchroniser avec votre système de fichiers FSx pour Lustre, afin d'éviter que les modifications d'importation automatiques ne dépassent 14 jours, vous devez supprimer votre système de fichiers et le recréer une fois la modification S3 terminée.

Si votre AgeOfOldestQueuedMessage métrique augmente, passez en revue votre compartiment S3GetRequests,, PutRequestsPostRequests, et DeleteRequests les métriques pour détecter les changements d'activité susceptibles d'entraîner une augmentation du taux et/ou du nombre de modifications envoyées à l'importation automatique. Pour plus d'informations sur les métriques S3 disponibles, consultez la section Surveillance d'Amazon S3 dans le guide de l'utilisateur Amazon S3.

Pour une liste de toutes les métriques disponibles FSx pour Lustre, voirSurveillance avec Amazon CloudWatch.