Calculer les checksums

Vous pouvez utiliser S3 Batch Operations avec l'opération Compute checksum pour effectuer des calculs de somme de contrôle pour les objets stockés dans Amazon S3 au repos. L'opération Compute checksum calcule les checksums d'objets que vous pouvez utiliser pour valider l'intégrité des données sans télécharger ni restaurer d'objets pour les données stockées. Vous pouvez utiliser l'opération Calculer la somme de contrôle pour calculer les sommes de contrôle pour les types de somme de contrôle composites et d'objets complets, pour tous les algorithmes de somme de contrôle pris en charge.

Avec l'opération Compute checksum, vous pouvez traiter des milliards d'objets par le biais d'une seule demande de tâche. Cette opération par lots est compatible avec toutes les classes de stockage S3, quelle que soit la taille de l'objet. Pour créer une tâche Compute checksum, utilisez la console Amazon S3, l'API REST AWS Command Line Interface (AWS CLI) AWS SDKs, ou l'API REST Amazon S3.

Lorsque vous activez la journalisation des accès au serveur, vous pouvez également recevoir des entrées de journal concernant votre tâche Compute checksum. L'opération Compute checksum émet des événements distincts dans le journal d'accès au serveur une fois les calculs de somme de contrôle terminés. Ces entrées de journal suivent le format standard de journalisation des accès au serveur S3 et incluent des champs tels que le type d'opération, l'horodatage, les codes d'erreur et l'ID de tâche Compute checksum associé. Cet enregistrement fournit une piste d'audit des activités de vérification par somme de contrôle effectuées sur vos objets, vous aidant ainsi à suivre et à vérifier les opérations d'intégrité des données.

Note

L'opération Compute checksum ne prend pas en charge le chiffrement côté serveur avec des objets chiffrés avec des clés de chiffrement fournies par le client (SSE-C). Toutefois, vous pouvez utiliser l'opération Compute checksum avec des objets chiffrés à l'aide du chiffrement côté serveur avec des clés gérées S3 (SSE-S3) ou du chiffrement côté serveur avec (DSSE-KMS). AWS Key Management Service Assurez-vous d'avoir accordé les AWS KMS autorisations appropriées pour effectuer l'opération Compute checksum.

Pour démarrer l'opération Compute checksum à l'aide de Batch Operations, vous pouvez :

• Créez manuellement un nouveau fichier manifeste.

• Utilisez un manifeste existant.

• Direct Batch Operations permet de générer automatiquement un manifeste en fonction des critères de filtre d'objets que vous spécifiez lors de la création de votre tâche.

Soumettez ensuite votre demande de travail Compute checksum et surveillez son statut. Une fois la tâche Compute checksum terminée, vous recevez automatiquement un rapport d'achèvement dans le compartiment de destination spécifié. Ce rapport d'achèvement contient des informations de somme de contrôle pour chaque objet du compartiment, ce qui vous permet de vérifier la cohérence des données. Pour plus d'informations sur l'utilisation de ce rapport pour examiner la tâche, consultez la section Suivi de l'état de la tâche et rapports d'achèvement.

Pour plus d'informations sur les fonctionnalités de Compute checksum et sur la façon d'utiliser Compute checksum dans la console, consultez. Vérification de l'intégrité des objets pour les données au repos dans Amazon S3 Pour plus d'informations sur la façon d'envoyer des requêtes REST à Compute checksum, consultez DescribeJobet CreateJobdans le manuel Amazon S3 API Reference.

Les sections suivantes expliquent comment commencer à utiliser l'opération Compute checksum avec S3 Batch Operations.

Considérations relatives au calcul de la somme de contrôle par S3 Batch Operations

Avant d'utiliser l'opération Compute checksum, consultez la liste de considérations suivante :

• Si votre manifeste comprend un champ d’identification de version, vous devez fournir un identifiant de version pour tous les objets du manifeste. Si l'ID de version n'est pas spécifié, la demande Compute checksum exécute l'opération sur la dernière version de l'objet.

• Pour recevoir les détails de l'opération Compute checksum dans vos journaux d'accès au serveur, vous devez d'abord activer la journalisation des accès au serveur sur le compartiment source et spécifier un compartiment de destination pour stocker les journaux. Le compartiment de destination doit également exister au même Région AWS endroit Compte AWS que le compartiment source. Après avoir configuré la journalisation des accès au serveur, l'opération Compute checksum génère des enregistrements de journal qui incluent des champs standard tels que le type d'opération, le code d'état HTTP, les codes d'erreur S3, les horodatages et l'ID de tâche Compute checksum associé. L'opération Compute checksum s'exécute de manière asynchrone. Par conséquent, les entrées du journal utilisent un identifiant de tâche Compute checksum, plutôt qu'un identifiant de demande, dans leurs entrées de journal.

• La génération du rapport peut prendre jusqu'à quelques heures pour les objets stockés.

• Pour les classes de stockage S3 Glacier suivantes, la tâche Compute checksum peut prendre jusqu'à une semaine :

  • S3 Glacier Flexible Retrieval

  • S3 Glacier Deep Archive

• Pour les buckets dans lesquels le rapport d'achèvement sera rédigé, vous devez utiliser la condition du propriétaire du bucket lors de l'exécution de l'opération Compute checksum. Si le propriétaire réel du compartiment ne correspond pas au propriétaire du compartiment attendu pour la demande de tâche soumise, la tâche échoue. Pour obtenir la liste des opérations S3 qui ne sont pas compatibles avec la condition du propriétaire du compartiment, consultez la section Restrictions et limitations.

Rapport d'achèvement des opérations par lots S3

Lorsque vous créez une tâche Compute checksum, vous pouvez demander un rapport d'achèvement des opérations S3 Batch. Ce fichier CSV affiche les objets, les codes de réussite ou d'échec, les sorties et les descriptions. Pour plus d'informations sur le suivi des tâches et les rapports d'achèvement, consultez la section Rapports d'achèvement.