Réplication d'objets existants via la réplication par lot S3 - Amazon Simple Storage Service

Réplication d'objets existants via la réplication par lot S3

S3 Batch Replication vous permet de répliquer des objets qui existaient avant la mise en place d'une configuration de réplication, des objets qui ont déjà été répliqués et des objets dont la réplication a échoué. Pour ce faire, utilisez une tâche d'opérations par lot. Elle diffère de la réplication en direct qui réplique de manière continue et automatique les nouveaux objets entre les compartiments Simple Storage Service (Amazon S3). Pour commencer avec la réplication par lot, vous pouvez :

  • Lancer la réplication par lot pour une nouvelle règle de réplication ou une nouvelle destination – Vous pouvez créer une tâche de réplication par lot unique lors de la création de la première règle dans une nouvelle configuration de réplication ou de l'ajout d'une nouvelle destination à une configuration existante via l'AWS Management Console.

  • Lancer la réplication par lot pour une configuration de réplication existante – Vous pouvez créer une nouvelle tâche de réplication par lot à l'aide des Opérations par lot S3 via les kits SDK AWS, AWS Command Line Interface (AWS CLI), ou la console Simple Storage Service (Amazon S3).

Lorsque la tâche de réplication par lot est terminée, vous recevez un rapport de fin d'opérations. Pour plus d'informations sur l'utilisation du rapport pour examiner la tâche, consultez Suivi de l'état de la tâche et des rapports de fin de tâche.

Considérations sur la réplication par lot S3

  • Votre compartiment source doit être associé à une configuration de réplication existante. Pour activer la réplication, consultez la section Configuration de la réplication et Procédures : exemples de configuration de la réplication.

  • Si le cycle de vie S3 est configuré pour votre compartiment, nous vous recommandons de désactiver vos règles du cycle de vie lorsque la tâche de réplication par lot est active. Cela permet d'assurer la parité entre les compartiments source et de destination. Sinon, ces compartiments peuvent diverger et le compartiment de destination ne sera pas une réplique exacte du compartiment source. Éléments à prendre en compte :

    • Votre compartiment source possède plusieurs versions d'un objet et d'un marqueur de suppression.

    • Vos compartiments source et de destination disposent d'une stratégie de cycle de vie pour retirer les marqueurs de suppression expirés.

    La réplication par lot peut répliquer le marqueur de suppression dans le compartiment de destination avant de répliquer les versions de l'objet. Le marqueur de suppression peut alors être marqué comme expiré et supprimé du compartiment de destination avant que les objets ne soient copiés.

  • Le rôle (IAM) AWS Identity and Access Management que vous spécifiez pour exécuter la tâche d'opération par lot doit disposer des autorisations nécessaires pour exécuter l'opération de réplication par lot sous-jacente. Pour plus d'informations sur la création de rôles IAM, consultez Configuration des politiques IAM pour la réplication par lot.

  • La réplication par lot nécessite un manifeste qui peut être généré par Simple Storage Service (Amazon S3). Le manifeste généré doit être stocké dans la même Région AWS que le compartiment source. Si vous choisissez de ne pas générer le manifeste, vous pouvez fournir un rapport d'inventaire Simple Storage Service (Amazon S3) ou un fichier CSV contenant les objets que vous souhaitez répliquer.

  • La réplication par lot ne prend pas en charge la réplication répétée d'objets qui ont été supprimés avec l'ID de version de l'objet dans le compartiment de destination. Pour répéter la réplication de ces objets, vous pouvez copier les objets source en place avec une tâche de copie par lot. La copie de ces objets en place crée de nouvelles versions de l'objet dans le compartiment source et lance automatiquement la réplication vers la destination.

    Pour de plus amples informations sur la copie par lot, veuillez consulter Exemples qui utilisent des opérations par lot pour copier des objets.

Spécification d'un manifeste pour une tâche de réplication par lot

Un manifeste est un objet Simple Storage Service (Amazon S3) qui contient les clés d'objet sur lesquelles Simple Storage Service (Amazon S3) doit agir. Pour créer une tâche de réplication par lot, vous devez fournir un manifeste généré par l'utilisateur ou demander à Simple Storage Service (Amazon S3) de générer un manifeste basé sur votre configuration de réplication.

Si vous fournissez un manifeste généré par l'utilisateur, il doit se présenter sous la forme d'un rapport d'inventaire Simple Storage Service (Amazon S3) ou d'un fichier CSV. Si les objets de votre manifeste sont dans un compartiment versionné, vous devez spécifier les ID de version des objets. Seul l'objet dont l'ID de version est spécifié dans l'attaque de l'homme du milieu (HDM) sera répliqué. Pour en savoir plus sur la spécification d'un manifeste, consultez Spécification d'un manifeste.

Si vous choisissez que Simple Storage Service (Amazon S3) génère un fichier manifeste en votre nom, les objets répertoriés utiliseront le même compartiment source, le même préfixe et les mêmes balises que votre configuration de réplication. Avec un manifeste généré, Simple Storage Service (Amazon S3) répliquera toutes les versions éligibles de vos objets.

Note

Si vous décidez de générer le manifeste, il doit être stocké dans la même Région AWS que le compartiment source.

Filtres pour une tâche de réplication par lot

Lors de la création de votre tâche de réplication par lot, vous pouvez éventuellement spécifier des filtres supplémentaires, tels que la date de création d'objet et le statut de la réplication afin de réduire la portée de la tâche.

Vous pouvez filtrer les objets à répliquer sur la base de la valeur ObjectReplicationStatuses, en fournissant une ou plusieurs des valeurs suivantes :

  • "NONE" – Indique qu'Simple Storage Service (Amazon S3) n'a jamais tenté de répliquer l'objet auparavant.

  • "FAILED" – Indique qu'Simple Storage Service (Amazon S3) a déjà tenté, mais n'a pas réussi à répliquer l'objet.

  • "COMPLETED" – Indique qu'Simple Storage Service (Amazon S3) a déjà répliqué l'objet avec succès.

  • "REPLICA" – Indique qu'il s'agit d'un objet réplica répliqué par Simple Storage Service (Amazon S3) à partir d'une autre source.

Pour plus d'informations sur les statuts de la réplication, consultez Obtention d'informations sur le statut de la réplication.

Si vous ne filtrez pas en fonction du statut de la réplication, les opérations par lot tenteront de répliquer tous les éléments éligibles. En fonction de votre objectif, vous pouvez définir ObjectReplicationStatuses sur l'une des valeurs suivantes :

  • Pour répliquer uniquement des objets existants qui n'ont jamais été répliqués, incluez uniquement "NONE".

  • Pour réessayer de répliquer uniquement les objets qui n'ont pas pu être répliqués auparavant, incluez uniquement "FAILED".

  • Pour à la fois répliquer des objets existants et réessayer de répliquer des objets qui n'ont pas pu être répliqués auparavant, incluez "NONE" et "FAILED".

  • Pour remplir un compartiment de destination avec des objets répliqués vers une autre destination, incluez "COMPLETED".

  • Si vous souhaitez répliquer des objets qui ont déjà été répliqués, incluez "REPLICA".