Exécution des opérations par lot à grande échelle sur des objets Amazon S3 - Amazon Simple Storage Service

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Exécution des opérations par lot à grande échelle sur des objets Amazon S3

Vous pouvez utiliser les opérations Batch S3 pour effectuer des opérations par lot à grande échelle sur des objets Amazon S3. Les opérations par lot S3 peuvent effectuer une seule opération sur les listes d'objets Amazon S3 que vous spécifiez. Une seule tâche peut effectuer une opération spécifiée sur des milliards d’objets contenant des exaoctets de données. Amazon S3 suit la progression, envoie des notifications et stocke un rapport de fin d’opérations détaillé sur toutes les actions, offrant ainsi une expérience sans serveur entièrement gérée et contrôlable.. Vous pouvez utiliser les opérations par lot S3 via la AWS Management Console, la AWS CLI, les kits SDK Amazon ou l'API REST.

Utilisez les opérations par lot S3 pour copier des objets et définir des étiquettes d'objet ou des listes de contrôle d'accès (ACL). Vous pouvez également lancer des restaurations d'objets à partir de S3 Glacier Flexible Retrieval ou appeler une fonction AWS Lambda pour effectuer des actions personnalisées à l'aide de vos objets. Vous pouvez effectuer ces opérations sur une liste d'objets personnalisée ou utiliser un rapport Amazon S3 Inventory pour faciliter la génération de listes d'objets. Les opérations par lot Amazon S3 utilisent les mêmes API Amazon S3 que vous utilisez déjà avec Amazon S3, de sorte que vous trouverez l'interface familière.

Note

Pour plus d’informations sur l’utilisation de la classe de stockage Amazon S3 Express One Zone avec des compartiments de répertoires, consultez Qu’est-ce que S3 Express One Zone ? et Compartiments de répertoire. Pour plus d’informations sur l’utilisation des opérations par lots avec S3 Express One Zone et les compartiments de répertoires, consultez Utilisation des opérations par lots avec S3 Express One Zone.

Principes de base des opérations par lot S3

Vous pouvez utiliser les opérations par lot S3 pour effectuer des opérations par lot à grande échelle sur des objets Amazon S3. Les opérations par lot S3 peuvent exécuter une seule opération ou action sur des listes d'objets Amazon S3 que vous spécifiez.

Terminologie

Cette section utilise les termes tâche, opérations et sous-tâche, dont la définition est la suivante :

Tâche

Une tâche est l'unité de travail de base des opérations par lot S3. Une tâche contient toutes les informations nécessaires à l'exécution de l'opération spécifiée pour les objets répertoriés dans le manifeste. Une fois que vous avez fourni ces informations et que vous demandez le lancement de la tâche, celle-ci effectue l'opération pour chaque objet présent dans le manifeste.

Opération

L'opération est le type d'action d'API, telle que la copie d'objets, que vous souhaitez faire exécuter par la tâche d'opérations par lot Chaque tâche effectue un seul type d'opération sur tous les objets spécifiés dans le manifeste.

Sous-tâche

Une sous-tâche est l'unité d'exécution d'une tâche. Une sous-tâche représente un appel unique à une opération d'Amazon S3 ou d'API AWS Lambda en vue d'effectuer l'opération de la tâche sur un objet unique. Pendant toute la durée de vie d'une tâche, les opérations par lot S3 créent une seule tâche pour chaque objet spécifié dans le manifeste.

Fonctionnement d'une tâche d'opérations par lot S3

Une tâche est l'unité de travail de base des opérations par lot S3. Une tâche contient toutes les informations nécessaires à l'exécution de l'opération spécifiée pour une liste d'objets. Pour créer une tâche, vous fournissez aux opérations par lot S3 une liste d'objets et vous spécifiez l'action à exécuter sur ces objets.

Pour plus d'informations sur les opérations prises en charge par les opérations par lot S3, consultez Opérations prises en charge par les opérations par lot S3.

Une tâche par lot exécute une opération spécifiée sur chaque objet inclus dans son manifeste. Un manifeste répertorie les objets que vous souhaitez traiter par le biais d’une tâche par lot et il est stocké sous forme d’objet dans un compartiment. Vous pouvez utiliser un rapport Inventaire Simple Storage Service (Amazon S3) au format comma-separated values (CSV) comme manifeste, ce qui facilite la création de grandes listes d'objets situés dans un compartiment. Vous pouvez également spécifier un manifeste dans un format CSV simple qui vous permet d'effectuer des opérations par lots sur une liste personnalisée d'objets stockés dans un compartiment unique.

Une fois que vous avez créé une tâche, Amazon S3 traite la liste d'objets du manifeste et exécute l'opération spécifiée sur chaque objet. Pendant qu'une tâche est en cours, vous pouvez surveiller sa progression par programme ou via la console Amazon S3. Vous pouvez également configurer une tâche pour générer un rapport de fin lorsque celle-ci se termine. Le rapport de fin décrit les résultats de chaque sous-tâche. Pour plus d’informations sur la surveillance des tâches, consultez Gestion des tâches d'opérations par lot S3.

Tutoriel des opérations par lots S3

Le didacticiel suivant présente end-to-end des procédures complètes pour certaines tâches d'opérations par lots.