Realización de operaciones por lotes a gran escala en objetos de Amazon S3
Puede utilizar Operaciones por lotes de S3 para realizar operaciones por lotes a gran escala en objetos de Amazon S3. Operaciones por lotes de S3 puede realizar una sola operación en las listas de objetos de Amazon S3 que especifique. Un solo trabajo puede realizar una operación especificada en miles de millones de objetos que contiene exabytes de datos. Amazon S3 realiza un seguimiento del avance, envía notificaciones y guarda un informe de finalización de todas las acciones, por lo que proporciona una experiencia sin servidor, auditable y completamente administrada. Puede emplear la herramienta de operaciones por lotes de S3 a través de la AWS Management Console, la AWS CLI, los SDK de Amazon o la API REST.
Utilice Operaciones por lotes de S3 para copiar objetos y establecer etiquetas de objetos o listas de control de acceso (ACL). También puede iniciar restauraciones de objetos desde S3 Glacier Flexible Retrieval o invocar una función de AWS Lambda que realice acciones personalizadas con los objetos. Puede realizar estas operaciones en una lista personalizada de objetos o puede utilizar un informe de Amazon S3 Inventory para generar listas de objetos fácilmente. Las operaciones por lotes de Amazon S3 utilizan las mismas API de Amazon S3 que ya utiliza con Amazon S3, por lo que la interfaz le resultará familiar.
nota
Para obtener más información sobre el uso de la clase de almacenamiento Amazon S3 Express One Zone con buckets de directorio, consulte ¿Qué es S3 Express One Zone? y Buckets de directorio. Para obtener más información sobre el uso de Operaciones por lotes con S3 Express One Zone y buckets de directorio, consulte Uso de operaciones por lotes con S3 Express One Zone.
Conceptos básicos de Operaciones por lotes de S3
Puede utilizar Operaciones por lotes de S3 para realizar operaciones por lotes a gran escala en objetos de Amazon S3. Las operaciones por lotes de S3 pueden ejecutar una sola operación en las listas de objetos de Amazon S3 que especifique.
Terminología
En esta sección, se utilizan los términos trabajo, operación y tarea, cuyas definiciones son las siguientes:
- Trabajo
-
Un trabajo es la unidad básica de trabajo para las operaciones por lotes de S3. Un trabajo contiene toda la información necesaria para ejecutar la operación especificada en los objetos enumerados en el manifiesto. Una vez que se proporciona esta información y se solicita que el trabajo comience, el trabajo realiza la operación en cada objeto del manifiesto.
- Operation
-
La operación es el tipo de acción de API, como copiar objetos, que desea que ejecute el trabajo de Operaciones por lotes. Cada trabajo realiza un único tipo de operación en todos los objetos especificados en el manifiesto.
- Tarea
-
Una tarea es la unidad de ejecución de un trabajo. Una tarea representa una llamada única a una operación de API de Amazon S3 o AWS Lambda para realizar la operación del trabajo en un único objeto. En el transcurso de la vida útil de un trabajo, Operaciones por lotes de S3 crea una tarea para cada objeto especificado en el manifiesto.
Cómo funciona un trabajo de operaciones por lotes de S3
Un trabajo es la unidad básica de trabajo para las operaciones por lotes de S3. Un trabajo contiene toda la información necesaria para ejecutar la operación especificada en una lista de objetos. Para crear un trabajo, debe proporcionar a las operaciones por lotes de S3 una lista de objetos y especificar la acción que se debe realizar con dichos objetos.
Para obtener información acerca de las operaciones que admiten las operaciones por lotes de S3, consulte Operaciones compatibles con las operaciones por lotes de S3.
Los trabajos por lotes realizan la operación especificada en cada uno de los objetos incluidos en su manifiesto. Un manifiesto enumera los objetos que desea que procese un trabajo por lotes y se almacena como un objeto en un bucket. Puede utilizar un informe de Inventario de Amazon S3 con formato CSV (valores separados por comas) como manifiesto, lo que facilita la creación de grandes listas de objetos ubicados en un bucket. También puede especificar un manifiesto en un formato CSV sencillo que le permite realizar operaciones por lotes en una lista personalizada de objetos incluidos en un solo bucket.
Después de crear un trabajo, Amazon S3 procesa la lista de objetos del manifiesto y ejecuta la operación especificada en cada objeto. Mientras el trabajo se ejecuta, puede monitorear su avance desde un programa o a través de la consola de Amazon S3. También puede configurar un trabajo para generar un informe de finalización cuando haya terminado. En el informe de finalización, se describen los resultados de cada una de las tareas realizadas por el trabajo. Para obtener más información sobre el monitoreo de trabajos, consulte Administración de trabajos de operaciones por lotes de S3.
Tutorial operaciones por lotes de S3
En el siguiente tutorial se presentan procedimientos integrales completos para algunas tareas de operaciones por lotes.
