Réplication d'objets existants via la réplication par lot S3

S3 Batch Replication vous permet de répliquer des objets qui existaient avant la mise en place d'une configuration de réplication, des objets qui ont déjà été répliqués et des objets dont la réplication a échoué. Pour ce faire, utilisez une tâche d'opérations par lot. Elle diffère de la réplication en direct qui réplique de manière continue et automatique les nouveaux objets entre les compartiments Simple Storage Service (Amazon S3). Pour commencer avec la réplication par lot, vous pouvez :

• Lancer la réplication par lot pour une nouvelle règle de réplication ou une nouvelle destination – Vous pouvez créer une tâche de réplication par lot unique lors de la création de la première règle dans une nouvelle configuration de réplication ou de l'ajout d'une nouvelle destination à une configuration existante via l' AWS Management Console.

• Lancer la réplication par lots pour une configuration de réplication existante : vous pouvez créer une nouvelle tâche de réplication par lots à l'aide des opérations par lots S3 via AWS les SDK, AWS Command Line Interface (AWS CLI) ou la console Amazon S3.

Lorsque la tâche de réplication par lot est terminée, vous recevez un rapport de fin d'opérations. Pour plus d'informations sur l'utilisation du rapport pour examiner la tâche, consultez Suivi de l'état de la tâche et des rapports de fin de tâche.

Considérations sur la réplication par lot S3

• Votre compartiment source doit être associé à une configuration de réplication existante. Pour activer la réplication, consultez la section Configuration de la réplication et Procédures : exemples de configuration de la réplication.

• Si le cycle de vie S3 est configuré pour votre compartiment, nous vous recommandons de désactiver vos règles du cycle de vie lorsque la tâche de réplication par lot est active. Cela permet d'assurer la parité entre les compartiments source et de destination. Sinon, ces compartiments peuvent diverger et le compartiment de destination ne sera pas une réplique exacte du compartiment source. Éléments à prendre en compte :

  • Votre compartiment source possède plusieurs versions d'un objet et d'un marqueur de suppression.

  • Vos compartiments source et de destination disposent d'une configuration de cycle de vie pour retirer les marqueurs de suppression expirés.

  La réplication par lot peut répliquer le marqueur de suppression dans le compartiment de destination avant de répliquer les versions de l'objet. Le marqueur de suppression peut alors être marqué comme expiré et supprimé du compartiment de destination avant que les objets ne soient copiés.

• Le rôle AWS Identity and Access Management (IAM) que vous spécifiez pour exécuter la tâche Batch Operations doit disposer des autorisations nécessaires pour effectuer l'opération de réplication par lots sous-jacente. Pour plus d'informations sur la création de rôles IAM, consultez Configuration des politiques IAM pour la réplication par lot.

• La réplication par lot nécessite un manifeste qui peut être généré par Simple Storage Service (Amazon S3). Le manifeste généré doit être stocké dans le même emplacement Région AWS que le compartiment source. Si vous choisissez de ne pas générer le manifeste, vous pouvez fournir un rapport d'inventaire Amazon S3 ou un fichier CSV contenant les objets que vous souhaitez répliquer.

• La réplication par lot ne prend pas en charge la réplication répétée d'objets qui ont été supprimés avec l'ID de version de l'objet dans le compartiment de destination. Pour répéter la réplication de ces objets, vous pouvez copier les objets source en place avec une tâche de copie par lot. La copie de ces objets en place crée de nouvelles versions de l'objet dans le compartiment source et lance automatiquement la réplication vers la destination. La suppression et la recréation du compartiment de destination ne déclencheront pas la réplication.

  Pour plus d’informations sur la copie par lot, consultez Exemples qui utilisent des opérations par lot pour copier des objets.

• Si vous utilisez une règle de réplication sur le compartiment S3, veillez à mettre à jour votre configuration de réplication, en accordant au rôle IAM associé à la règle de réplication les autorisations appropriées pour répliquer des objets. Le rôle IAM doit disposer des autorisations nécessaires pour effectuer l'action S3 à la fois sur le compartiment source et le compartiment de destination.

• Si vous soumettez plusieurs tâches de réplication par lot pour le même compartiment dans un court laps de temps, S3 exécutera ces tâches simultanément.

• Si vous soumettez plusieurs tâches de réplication par lot pour deux compartiments différents, sachez que S3 risque de ne pas exécuter toutes les tâches simultanément. Si vous dépassez le nombre de tâches de réplication par lot pouvant être exécutées simultanément sur votre compte, S3 interrompra les tâches les moins prioritaires pour travailler sur les tâches les plus prioritaires. Une fois les tâches les plus prioritaires terminées, toutes les tâches suspendues redeviendront actives.

• La réplication par lot n'est pas prise en charge pour les objets stockés dans les classes de stockage S3 Glacier Flexible Retrieval et S3 Glacier Deep Archive.

• Pour répliquer par lot des objets S3 Intelligent-Tiering stockés dans les niveaux de stockage d'accès Archive ou Deep Archive, vous devez d'abord lancer une demande de restauration, puis attendre que les objets soient déplacés dans le niveau d'accès Fréquent.

Spécification d'un manifeste pour une tâche de réplication par lot

Un manifeste est un objet Simple Storage Service (Amazon S3) qui contient les clés d'objet sur lesquelles Simple Storage Service (Amazon S3) doit agir. Pour créer une tâche de réplication par lot, vous devez fournir un manifeste généré par l'utilisateur ou demander à Simple Storage Service (Amazon S3) de générer un manifeste basé sur votre configuration de réplication.

Si vous fournissez un manifeste généré par l'utilisateur, il doit se présenter sous la forme d'un rapport d'inventaire Simple Storage Service (Amazon S3) ou d'un fichier CSV. Si les objets de votre manifeste sont dans un compartiment versionné, vous devez spécifier les ID de version des objets. Seul l'objet dont l'ID de version est spécifié dans l'attaque de l'homme du milieu (HDM) sera répliqué. Pour en savoir plus sur la spécification d'un manifeste, consultez Spécification d'un manifeste.

Si vous choisissez que Simple Storage Service (Amazon S3) génère un fichier manifeste en votre nom, les objets répertoriés utiliseront le même compartiment source, le même préfixe et les mêmes balises que toutes vos configurations de réplication du compartiment source. Avec un manifeste généré, Simple Storage Service (Amazon S3) répliquera toutes les versions éligibles de vos objets.

Note

Si vous décidez de générer le manifeste, il doit être stocké dans la même Région AWS que le compartiment source.

Filtres pour une tâche de réplication par lot

Lors de la création de votre tâche de réplication par lot, vous pouvez éventuellement spécifier des filtres supplémentaires, tels que la date de création d'objet et le statut de la réplication afin de réduire la portée de la tâche.

Vous pouvez filtrer les objets à répliquer sur la base de la valeur ObjectReplicationStatuses, en fournissant une ou plusieurs des valeurs suivantes :

• "NONE" – Indique qu'Simple Storage Service (Amazon S3) n'a jamais tenté de répliquer l'objet auparavant.

• "FAILED" – Indique qu'Simple Storage Service (Amazon S3) a déjà tenté, mais n'a pas réussi à répliquer l'objet.

• "COMPLETED" – Indique qu'Simple Storage Service (Amazon S3) a déjà répliqué l'objet avec succès.

• "REPLICA" – Indique qu'il s'agit d'un objet réplica répliqué par Simple Storage Service (Amazon S3) à partir d'une autre source.

Pour plus d'informations sur les statuts de la réplication, consultez Obtention d'informations sur le statut de la réplication.

Si vous ne filtrez pas en fonction du statut de la réplication, les opérations par lot tenteront de répliquer tous les éléments éligibles. En fonction de votre objectif, vous pouvez définir ObjectReplicationStatuses sur l'une des valeurs suivantes :

• Pour répliquer uniquement des objets existants qui n'ont jamais été répliqués, incluez uniquement "NONE".

• Pour réessayer de répliquer uniquement les objets qui n'ont pas pu être répliqués auparavant, incluez uniquement "FAILED".

• Pour à la fois répliquer des objets existants et réessayer de répliquer des objets qui n'ont pas pu être répliqués auparavant, incluez "NONE" et "FAILED".

• Pour remplir un compartiment de destination avec des objets répliqués vers une autre destination, incluez "COMPLETED".

• Si vous souhaitez répliquer des objets qui ont déjà été répliqués, incluez "REPLICA".

Rapport de fin de la réplication par lot

Lorsque vous créez une tâche de réplication par lot, vous pouvez demander un rapport de fin CSV. Ce rapport présente les objets, les codes de réussite ou d'échec de la réplication, les résultats et les descriptions. Pour plus d'informations sur le suivi des tâches et les rapports de fin, consultez Rapports de fin de tâche.

Pour une liste des codes d'échec de réplication et des descriptions, consultez Raisons de l'échec de la réplication Amazon S3.

Démarrer avec la réplication par lot

Pour en savoir plus sur l'utilisation de la réplication par lot, consultez Tutoriel : Réplication d'objets existants dans vos compartiments Amazon S3 avec la réplication par lot S3.