Replicación de objetos existentes con replicación por lotes de S3

La replicación por lotes de S3 proporciona una forma de replicar objetos que existían antes de que se estableciera una configuración de replicación, objetos que se han replicado anteriormente y objetos cuya replicación falló. Esto se realiza mediante un trabajo de operaciones por lotes. Esto difiere de la replicación en directo que replica de forma continua y automática los objetos nuevos en buckets de Amazon S3. Para comenzar a utilizar la replicación por lotes, puede hacer lo siguiente:

• Iniciar la replicación por lotes para una nueva regla de replicación o destino: puede crear un trabajo de replicación por lotes único cuando cree la primera regla de una nueva configuración de replicación o agregue un nuevo destino a una configuración existente a través de la AWS Management Console.

• Iniciar la replicación por lotes para una configuración de replicación existente: puede crear un nuevo trabajo de replicación por lotes mediante las operaciones por lotes de S3 a través de los AWS SDK, la AWS Command Line Interface (AWS CLI) o la consola de Amazon S3.

Cuando termina el trabajo de replicación por lotes, recibe un reporte de finalización. Para obtener más información sobre cómo utilizar el reporte para examinar el trabajo, consulte Seguimiento del estado del trabajo e informes de finalización.

Consideraciones sobre la replicación por lotes de S3

• Su bucket de origen debe tener una configuración de replicación existente. Para habilitar la replicación, consulte Configuración de la replicación y Tutoriales: ejemplos para configurar la replicación.

• Si tiene configurado el ciclo de vida de S3 para su bucket, le recomendamos desactivar las reglas del ciclo de vida mientras el trabajo de replicación por lotes está activo. Esto garantizará la paridad entre los buckets de origen y de destino. De lo contrario, estos buckets podrían divergir y el bucket de destino no será una réplica exacta del bucket de origen. Considere lo siguiente:

  • El bucket de origen tiene varias versiones de un objeto y un marcador de eliminación.

  • Los buckets de origen y destino tienen una configuración de ciclo de vida para eliminar los marcadores de eliminación vencidos.

  La replicación por lotes puede replicar el marcador de eliminación en el bucket de destino antes de replicar las versiones del objeto. Esto podría provocar que el marcador de eliminación se marcara como caducado y se eliminara del bucket de destino antes de copiar los objetos.

• El rol de AWS Identity and Access Management (IAM) que especifique para ejecutar el trabajo de la herramienta de operaciones por lotes debe tener permisos para realizar la operación subyacente de replicación por lotes. Para obtener más información sobre cómo crear un rol de IAM, consulte Configuración de políticas de IAM para replicación por lotes.

• La replicación por lotes requiere un manifiesto que Amazon S3 puede generar. El manifiesto generado debe almacenarse en la misma Región de AWS que el bucket de origen. Si elige no generar el manifiesto, puede proporcionar un informe de inventario de Amazon S3 o un archivo CSV que contenga los objetos que desea replicar.

• La replicación por lotes no admite volver a replicar objetos que se eliminaron con el ID de versión del objeto del bucket de destino. Para volver a replicar estos objetos, puede copiar los objetos de origen en su lugar con un trabajo de copia por lotes. Al copiar esos objetos en su lugar, se crearán nuevas versiones del objeto en el bucket de origen e iniciará la replicación automáticamente en el destino. Al eliminar y volver a crear el bucket de destino no se iniciará la replicación.

  Para obtener más información acerca de la copia por lotes, consulte Ejemplos donde se utilizan las operaciones por lotes para copiar objetos.

• Si utiliza una regla de replicación en el bucket de S3, asegúrese de actualizar la configuración de replicación y conceder al rol de IAM adjunto a la regla de replicación los permisos adecuados para replicar objetos. El rol de IAM debe tener permisos para realizar la acción de S3 tanto en el bucket de origen como en el de destino.

• Si envía varios trabajos de replicación por lotes para el mismo bucket en un período breve, S3 ejecutará esos trabajos simultáneamente.

• Si envía varios trabajos de replicación por lotes para dos buckets diferentes, tenga en cuenta que es posible que S3 no ejecute todos los trabajos simultáneamente. Si supera el número de trabajos de replicación por lotes que se pueden ejecutar a la vez en su cuenta, S3 detendrá los trabajos de menor prioridad para trabajar en los de mayor prioridad. Cuando se hayan completado los elementos de mayor prioridad, todos los trabajos en pausa volverán a estar activos.

• La replicación por lotes no es compatible con los objetos almacenados en las clases de almacenamiento S3 Glacier Flexible Retrieval y S3 Glacier Deep Archive.

• Para replicar por lotes objetos S3 Intelligent-Tiering almacenados en el nivel de almacenamiento Archive Access o Deep Archive Access, primero debe iniciar una solicitud de restauración y esperar a que los objetos se muevan al nivel Frequent Access.

Especificación de un manifiesto para un trabajo de replicación por lotes

Un manifiesto es un objeto de Amazon S3 que contiene las claves de objeto sobre las que desea que actúe Amazon S3. Si desea crear un trabajo de replicación por lotes, debe proporcionar un manifiesto generado por el usuario o hacer que Amazon S3 genere un manifiesto en función de la configuración de replicación.

Si proporciona un manifiesto generado por el usuario, debe ser en forma de reporte de inventario de Amazon S3 o archivo CSV. Si los objetos del manifiesto están en un bucket con control de versiones, debe especificar los ID de versión de los objetos. Solo se replicará el objeto con el ID de versión especificado en el manifiesto. Para obtener más información sobre cómo especificar un manifiesto, consulte Especificar un manifiesto.

Si elige que Amazon S3 genere un archivo de manifiesto en su nombre, los objetos enumerados utilizarán el mismo bucket de origen, el mismo prefijo y las mismas etiquetas que todas las configuraciones de replicación del bucket de origen. Con un manifiesto generado, Amazon S3 replicará todas las versiones aptas de sus objetos.

nota

Si elige generar el manifiesto, este debe almacenarse en la misma Región de AWS que el bucket de origen.

Filtros para un trabajo de replicación por lotes

Al momento de crear el trabajo de replicación por lotes, tiene la opción de especificar filtros adicionales, como la fecha de creación de los objetos y el estado de replicación para reducir el alcance del trabajo.

Puede filtrar los objetos para replicar en función del valor ObjectReplicationStatuses, proporcionando uno o varios de los siguientes valores:

• "NONE": indica que Amazon S3 nunca intentó replicar el objeto antes.

• "FAILED": indica que Amazon S3 intentó replicar el objeto antes, pero no pudo.

• "COMPLETED": indica que Amazon S3 replicó el objeto correctamente antes.

• "REPLICA": indica que se trata de un objeto de réplica que Amazon S3 replicó desde otro origen.

Para obtener más información sobre los estados de replicación, consulte Obtención de información del estado de replicación.

Si usted no filtra en función del estado de replicación, las operaciones por lotes intentarán replicar todo lo que sea elegible. Dependiendo de su objetivo, puede establecer ObjectReplicationStatuses en uno de los siguientes valores:

• Si desea replicar solo los objetos existentes que nunca se han replicado, incluya únicamente "NONE".

• Si desea volver a intentar replicar solo los objetos que no se habían podido replicar anteriormente, incluya solo "FAILED".

• Si desea replicar objetos existentes y volver a intentar replicar objetos que no se pudieron replicar anteriormente, incluya tanto "NONE" como "FAILED".

• Si desea reponer un bucket de destino con objetos que se han replicado en otro destino, incluya "COMPLETED".

• Si desea replicar objetos previamente replicados, incluya "REPLICA".

Informe de finalización de replicación por lotes

Al crear un trabajo de replicación por lotes, puede solicitar un informe de finalización CSV. Este informe muestra los objetos, los códigos de éxito o error de la replicación, las salidas y las descripciones. Para más información sobre el seguimiento del trabajo y los informes de finalización, consulte, Informes de finalización.

Para obtener una lista de códigos y descripciones de errores de replicación, consulte Motivos de errores de replicación de Amazon S3.

Introducción a la replicación por lotes

Para obtener más información sobre cómo utilizar la replicación por lotes, consulte el Tutorial: Replicación de objetos existentes en los buckets de Amazon S3 con la replicación por lotes de S3.