Utilisation des tâches du référentiel de données pour importer des modifications

La tâche d'importation du référentiel de données importe les métadonnées des objets nouveaux ou modifiés dans votre référentiel de données S3, créant ainsi une nouvelle liste de fichiers ou de répertoires pour tout nouvel objet dans le référentiel de données S3. Pour tout objet modifié dans le référentiel de données, la liste de fichiers ou de répertoires correspondante est mise à jour avec les nouvelles métadonnées. Aucune action n'est entreprise pour les objets qui ont été supprimés du référentiel de données.

Utilisez les procédures suivantes pour importer les modifications de métadonnées à l'aide de la console et de la CLI Amazon FSx. Notez que vous pouvez utiliser une tâche de référentiel de données pour plusieurs DRA.

Pour importer des modifications de métadonnées (console)

1. Ouvrez la console Amazon FSx à l'adresse https://console.aws.amazon.com/fsx/.

2. Dans le volet de navigation, choisissez Systèmes de fichiers, puis choisissez votre système de fichiers Lustre.

3. Choisissez l'onglet Référentiel de données.

4. Dans le volet Associations de référentiels de données, choisissez les associations de référentiels de données pour lesquelles vous souhaitez créer la tâche d'importation.

5. Dans le menu Actions, choisissez Importer une tâche. Ce choix n'est pas disponible si le système de fichiers n'est pas lié à un référentiel de données. La page de tâches Créer un référentiel de données d'importation apparaît.

6. (Facultatif) Spécifiez jusqu'à 32 répertoires ou fichiers à importer à partir de vos compartiments S3 liés en fournissant les chemins d'accès à ces répertoires ou fichiers dans Chemins du référentiel de données à importer.

   Note

   Si le chemin que vous fournissez n'est pas valide, la tâche échoue.

7. (Facultatif) Choisissez Activer sous Rapport d'achèvement pour générer un rapport d'achèvement de la tâche une fois la tâche terminée. Un rapport d'achèvement de tâche fournit des détails sur les fichiers traités par la tâche qui répondent à l'étendue indiquée dans la section Étendue du rapport. Pour spécifier l'emplacement où Amazon FSx doit fournir le rapport, entrez un chemin relatif dans un référentiel de données S3 lié pour le chemin du rapport.

8. Choisissez Créer.

   Une notification en haut de la page Systèmes de fichiers indique que la tâche que vous venez de créer est en cours.

Pour afficher le statut et les détails des tâches, faites défiler l'écran vers le bas jusqu'au volet Tâches du référentiel de données dans l'onglet Référentiel de données du système de fichiers. L'ordre de tri par défaut indique la tâche la plus récente en haut de la liste.

Pour afficher un résumé des tâches à partir de cette page, choisissez l'ID de tâche pour la tâche que vous venez de créer. La page Résumé de la tâche apparaît.

Pour importer des modifications de métadonnées (CLI)

• Utilisez la commande create-data-repository-taskCLI pour importer les modifications de métadonnées sur votre système de fichiers FSx for Lustre. L'opération d'API correspondante est CreateDataRepositoryTask.

  $ aws fsx create-data-repository-task \
      --file-system-id fs-0123456789abcdef0 \
      --type IMPORT_METADATA_FROM_REPOSITORY \
      --paths s3://bucketname1/dir1/path1 \
      --report Enabled=true,Path=s3://bucketname1/dir1/path1,Format=REPORT_CSV_20191124,Scope=FAILED_FILES_ONLY

  Une fois la tâche de référentiel de données créée avec succès, Amazon FSx renvoie la description de la tâche au format JSON.

Après avoir créé la tâche d'importation de métadonnées depuis le référentiel de données lié, vous pouvez vérifier le statut de la tâche d'importation du référentiel de données. Pour plus d'informations sur l'affichage des tâches du référentiel de données, consultezAccès aux tâches du référentiel de données.