Vérification de l'intégrité des objets pour les données au repos dans Amazon S3

Si vous devez vérifier le contenu des ensembles de données stockés dans Amazon S3, l'opération S3 Batch Operations Compute checksum calcule à la fois les sommes de contrôle complètes ou composites pour les objets au repos. L'opération Compute checksum utilise Batch Operations pour calculer de manière asynchrone les valeurs de contrôle d'un groupe d'objets et génère automatiquement un rapport d'intégrité consolidé, sans créer de nouvelles copies de vos données, ni restaurer ou télécharger de données.

Avec l'opération Compute checksum, vous pouvez vérifier efficacement des milliards d'objets avec une seule demande de travail. Pour chaque demande de tâche Compute checksum, S3 calcule les valeurs de checksum et les inclut dans un rapport d'intégrité généré automatiquement (également appelé rapport d'achèvement). Vous pouvez ensuite utiliser le rapport d'achèvement pour valider l'intégrité de votre ensemble de données.

L'opération Compute checksum fonctionne avec n'importe quel objet stocké dans S3, quelle que soit sa classe de stockage ou sa taille. Que vous ayez besoin de vérifier vos objets dans le cadre des meilleures pratiques de conservation des données ou de respecter les exigences de conformité, l'opération Compute checksum réduit les coûts, le temps et les efforts nécessaires à la validation des données en effectuant des calculs de somme de contrôle au repos. Pour plus d'informations sur la tarification de Compute Checksum, consultez la tarification d'Amazon S3.

Vous pouvez ensuite utiliser le résultat du rapport d'achèvement généré pour comparer les valeurs de contrôle que vous avez stockées dans vos bases de données afin de vérifier que vos ensembles de données restent intacts au fil du temps. Cette approche vous aide à préserver l'intégrité end-to-end des données pour répondre aux besoins commerciaux et de conformité. Par exemple, vous pouvez utiliser l'opération Compute checksum pour soumettre une liste d'objets stockés dans les classes de stockage S3 Glacier pour des audits de sécurité annuels. En outre, la gamme d'algorithmes de somme de contrôle pris en charge vous permet de maintenir la continuité avec les algorithmes utilisés dans vos applications.

Utilisation des algorithmes de total de contrôle pris en charge

Pour les données au repos, vous pouvez calculer à la fois le type d'objet complet et le type de somme de contrôle composite dans Amazon S3, en utilisant l'un des algorithmes de somme de contrôle pris en charge :

• CRC-64/NVME () CRC64NVME

• CRC-32 () CRC32

• CRC-32C () CRC32C

• SHA-1 () SHA1

• SHA-256 () SHA256

• MD5 (MD5)

Types de sommes de contrôle d’objet entier et composites

Amazon S3 prend en charge les types de sommes de contrôle d’objet entier et les types de sommes de contrôle composites suivants :

• CRC-64/NVME (CRC64NVME) : Supporte uniquement le type de somme de contrôle complète de l'objet.

• CRC-32 (CRC32) : Supporte à la fois les types d'objet complet et de somme de contrôle composite.

• CRC-32C (CRC32C) : prend en charge les types d'objet complet et de somme de contrôle composite.

• SHA-1 (SHA1) : prend en charge les types d'objet complet et de somme de contrôle composite.

• SHA-256 (SHA256) : prend en charge les types d'objet complet et de somme de contrôle composite.

• MD5 (MD5) : Supporte à la fois les types d'objet complet et de somme de contrôle composite.

Utilisation de Compute checksum

Pour les objets stockés dans Amazon S3, vous pouvez utiliser l'opération Compute checksum avec S3 Batch Operations pour vérifier le contenu des données stockées au repos. Vous pouvez créer une tâche Compute checksum Batch Operations à l'aide de la console Amazon S3, AWS Command Line Interface (AWS CLI), de l'API REST ou du AWS SDK. Lorsque la tâche Compute checksum est terminée, vous recevez un rapport d'achèvement. Pour plus d'informations sur l'utilisation du rapport d'achèvement, voir Suivi de l'état des tâches et rapports d'achèvement.

Avant de créer votre tâche Compute checksum, vous devez créer un rôle S3 Batch Operations AWS Identity and Access Management (IAM) pour autoriser Amazon S3 à effectuer des actions en votre nom. Vous devez accorder des autorisations pour lire le fichier manifeste et écrire un rapport d'achèvement dans le compartiment S3. Pour de plus amples informations, veuillez consulter Calculer les checksums.

Utilisation de la console S3

Pour utiliser l'opération Compute checksum

1. Connectez-vous à la console Amazon S3 AWS Management Console et ouvrez-la à l'adresse https://console.aws.amazon.com/s3/.

2. Dans la barre de navigation en haut de la page, choisissez le nom du fichier actuellement affiché Région AWS. Choisissez la région dans laquelle vous souhaitez créer la tâche.

   Note

   Pour les opérations de copie, vous devez créer la tâche dans la même région que le compartiment de destination. Pour toutes les autres opérations, vous devez créer la tâche dans la même région que les objets figurant dans le manifeste.

3. Choisissez Opérations par lot dans le volet de navigation de gauche de la console Amazon S3.

4. Choisissez Créer une tâche.

5. Consultez l' Région AWS endroit où vous souhaitez créer votre emploi.

   Note

   Pour les opérations de copie, vous devez créer la tâche dans la même région que le compartiment de destination. Pour toutes les autres opérations, vous devez créer la tâche dans la même région que les objets figurant dans le manifeste.

6. Sous Format du manifeste, choisissez le type d’objet manifeste à utiliser.

   • Si vous choisissez le rapport d'inventaire S3 (manifest.json), entrez le chemin d'accès à l'manifest.jsonobjet et (éventuellement) l'ID de version de l'objet du manifeste si vous souhaitez utiliser une version d'objet spécifique. Vous pouvez également choisir Browse S3 et choisir le fichier manifeste JSON, qui renseigne automatiquement toutes les entrées de champ de l'objet manifeste.

   • Si vous choisissez CSV, choisissez le type d'emplacement du manifeste, puis entrez le chemin d'accès à un objet manifeste au format CSV ou choisissez Parcourir S3 pour sélectionner un objet manifeste. L’objet manifeste doit respecter le format décrit dans la console. Si vous souhaitez utiliser une version spécifique de l'objet manifeste, vous pouvez également spécifier l'ID de version de l'objet.

   • Si vous choisissez Créer un manifeste à l'aide de la configuration de réplication S3, une liste d'objets sera générée à l'aide de la configuration de réplication et éventuellement enregistrée sur la destination de votre choix. Lorsque vous utilisez une configuration de réplication pour générer le manifeste, la seule opération disponible est Replicate.

7. Choisissez Suivant.

8. Sous Opération, choisissez l'opération Calculer la somme de contrôle pour calculer les sommes de contrôle sur tous les objets répertoriés dans le manifeste. Choisissez le type Checksum et la fonction Checksum adaptés à votre tâche. Ensuite, choisissez Suivant.

9. Renseignez les informations pour Configurer les options supplémentaires, puis choisissez Next.

10. Sur la page Configurer les options supplémentaires, renseignez les informations relatives à votre tâche Compute checksum.

    Note

    Sous Rapport d'achèvement, assurez-vous de confirmer l'accusé de réception. Cet accusé de réception confirme que vous comprenez que le rapport d'achèvement contient des valeurs de checksum, qui sont utilisées pour vérifier l'intégrité des données stockées dans Amazon S3. Par conséquent, le rapport d'achèvement doit être partagé avec prudence. Sachez également que si vous créez une demande Compute checksum et que vous spécifiez l'emplacement du bucket d'un propriétaire de compte externe pour stocker votre rapport d'achèvement, assurez-vous de spécifier l' Compte AWS ID du propriétaire du bucket externe.

11. Choisissez Suivant.

12. Sur la page Révision, vérifiez et confirmez vos paramètres.

13. (Facultatif) Si vous devez apporter des modifications, choisissez Précédent pour revenir à la page précédente, ou choisissez Modifier pour mettre à jour une étape spécifique.

14. Après avoir confirmé vos modifications, choisissez Create job.

Pour répertorier et suivre la progression de toutes les demandes de somme de contrôle Compute

1. Connectez-vous à la console Amazon S3 AWS Management Console et ouvrez-la à l'adresse https://console.aws.amazon.com/s3/.

2. Dans le volet de navigation de gauche, choisissez Opérations par lot.

3. Sur la page Batch Operations, vous pouvez consulter les détails de la tâche, tels que la priorité de la tâche, le taux d'achèvement des tâches et le nombre total d'objets.

4. Si vous souhaitez gérer ou cloner une tâche Compute checksum spécifique, cliquez sur l'ID de la tâche pour consulter des informations supplémentaires sur la tâche.

5. Sur la page de la tâche Compute checksum spécifique, passez en revue les détails de la tâche.

Chaque tâche d'opérations par lots progresse selon différents statuts de tâche. Vous pouvez également activer les AWS CloudTrail événements dans la console S3 pour recevoir des alertes en cas de modification de l'état des tâches. Pour les jobs actifs, vous pouvez consulter le job en cours d'exécution et le taux d'achèvement sur la page des détails du job.

À l'aide du AWS SDKs

Java

Exemple : création d'une tâche Compute checksum

L'exemple suivant vous montre comment créer une tâche Compute checksum (dans le cadre d'une demande de tâche Create) et comment spécifier un manifeste :

// Required parameters
String accountId = "111122223333";
String roleArn = "arn:aws:iam::111122223333:role/BatchOperations";
String manifestArn = "arn:aws:s3:::my_manifests/manifest.csv";
String manifestEtag = "60e460c9d1046e73f7dde5043ac3ae85";
String reportBucketArn = "arn:aws:s3:::amzn-s3-demo-completion-report-bucket";
String reportExpectedBucketOwner = "111122223333";
String reportPrefix = "demo-report";

// Job Operation
S3ComputeObjectChecksumOperation s3ComputeObjectChecksum = S3ComputeObjectChecksumOperation.builder()
    .checksumAlgorithm(ComputeObjectChecksumAlgorithm.CRC64)
    .checksumType(ComputeObjectChecksumType.COMPOSITE)
    .build();

JobOperation operation = JobOperation.builder()
    .s3ComputeObjectChecksum(s3ComputeObjectChecksum)
    .build();

// Job Manifest
JobManifestLocation location = JobManifestLocation.builder()
    .eTag(manifestEtag)
    .objectArn(manifestArn)
    .build();

JobManifestSpec spec = JobManifestSpec.builder()
    .format(JobManifestFormat.S3_BATCH_OPERATIONS_CSV_20180820)
    .fields(Arrays.asList(JobManifestFieldName.BUCKET, JobManifestFieldName.KEY))
    .build();

JobManifest manifest = JobManifest.builder()
    .location(location)
    .spec(spec)
    .build();

// Completion Report
JobReport report = JobReport.builder()
    .bucket(reportBucketArn)
    .enabled(true) // Must be true
    .expectedBucketOwner(reportExpectedBucketOwner)
    .format(JobReportFormat.REPORT_CSV_20180820)
    .prefix(reportPrefix)
    .reportScope(JobReportScope.ALL_TASKS)
    .build();

// Create Job Request
CreateJobRequest request = CreateJobRequest.builder()
    .accountId(accountId)
    .confirmationRequired(false)
    .manifest(manifest)
    .operation(operation)
    .priority(10)
    .report(report)
    .roleArn(roleArn);

// Create the client
S3ControlClient client = S3ControlClient.builder()
    .credentialsProvider(new ProfileCredentialsProvider())
    .region(Region.US_EAST_1)
    .build();

// Send the request
try {
    CreateJobResponse response = client.createJob(request);
    System.out.println(response);    
} catch (AwsServiceException e) {
    System.out.println("AwsServiceException: " + e.getMessage());
    throw new RuntimeException(e);
} catch (SdkClientException e) {
    System.out.println("SdkClientException: " + e.getMessage());
    throw new RuntimeException(e);
}

Exemple : affichage des détails d'une tâche Compute checksum

L'exemple suivant montre comment vous pouvez spécifier un identifiant de tâche pour afficher les détails de la tâche (tels que le taux d'achèvement de la tâche) pour une demande de tâche Compute checksum :

DescribeJobRequest request = DescribeJobRequest.builder()
        .accountId("1234567890")
        .jobId("a16217a1-e082-48e5-b04f-31fac3a66b13")
        .build();

À l'aide du AWS CLI

Vous pouvez utiliser la create-jobcommande pour créer une nouvelle tâche d'opérations par lots et pour fournir la liste des objets. Spécifiez ensuite l'algorithme de somme de contrôle et le type de somme de contrôle, ainsi que le compartiment de destination dans lequel vous souhaitez enregistrer le rapport de somme de contrôle Compute. L'exemple suivant crée une tâche de calcul de somme de contrôle S3 Batch Operations Compute en utilisant un manifeste généré par S3 pour le Compte AWS 111122223333.

Pour utiliser cette commande, remplacez le user input placeholders par vos propres informations :

aws s3control create-job \
    --account-id 111122223333 \
    --manifest '{"Spec":{"Format":"S3BatchOperations_CSV_20180820","Fields":["Bucket","Key"]},"Location":{"ObjectArn":"arn:aws:s3:::my-manifest-bucket/manifest.csv","ETag":"e0e8bfc50e0f0c5d5a1a5f0e0e8bfc50"}}' \
    --manifest-generator '{
        "S3JobManifestGenerator": {
          "ExpectedBucketOwner": "111122223333",
          "SourceBucket": "arn:aws:s3:::amzn-s3-demo-source-bucket",
          "EnableManifestOutput": true,
          "ManifestOutputLocation": {
            "ExpectedManifestBucketOwner": "111122223333",
            "Bucket": "arn:aws:s3:::amzn-s3-demo-manifest-bucket",
            "ManifestPrefix": "prefix",
            "ManifestFormat": "S3InventoryReport_CSV_20211130"
          },
          "Filter": {
            "CreatedAfter": "2023-09-01",
            "CreatedBefore": "2023-10-01",
            "KeyNameConstraint": {
              "MatchAnyPrefix": [
                "prefix"
              ],
              "MatchAnySuffix": [
                "suffix"
              ]
            },
            "ObjectSizeGreaterThanBytes": 100,
            "ObjectSizeLessThanBytes": 200,
            "MatchAnyStorageClass": [
              "STANDARD",
              "STANDARD_IA"
            ]
          }
        }
      }' \
    --operation '{"S3ComputeObjectChecksum":{"ChecksumAlgorithm":"CRC64NVME","ChecksumType":"FULL_OBJECT"}}' \
    --report '{"Bucket":"arn:aws:s3:::my-report-bucket","Format":"Report_CSV_20180820","Enabled":true,"Prefix":"batch-op-reports/","ReportScope":"AllTasks","ExpectedBucketOwner":"111122223333"}' \
    --priority 10 \
    --role-arn arn:aws:iam::123456789012:role/S3BatchJobRole \
    --client-request-token 6e023a7e-4820-4654-8c81-7247361aeb73 \
    --description "Compute object checksums" \
    --region us-west-2

Après avoir soumis la tâche Compute checksum, vous recevez l'identifiant de la tâche en réponse et celui-ci apparaît sur la page de liste des opérations par lots S3. Amazon S3 traite la liste des objets et calcule les checksums pour chaque objet. Une fois le travail terminé, S3 fournit un rapport Compute checksum consolidé à la destination spécifiée.

Pour suivre la progression de votre tâche Compute checksum, utilisez la describe-jobcommande. Cette commande vérifie l'état de la tâche d'opérations par lots spécifiée. Pour utiliser cette commande, remplacez user input placeholders par vos propres informations.

Par exemple :

aws s3control describe-job --account-id 111122223333 --job-id 1234567890abcdef0

Pour obtenir la liste de toutes les tâches d'opérations par lots actives et terminées, consultez la section Liste des tâches ou list-jobs dans la référence des AWS CLI commandes.

Utilisation de l'API REST

Vous pouvez envoyer des requêtes REST pour vérifier l'intégrité des objets avec Compute checksum en utilisant CreateJob. Vous pouvez suivre la progression des demandes Compute checksum en envoyant des requêtes REST à l'opération DescribeJobAPI. Chaque tâche d'opérations par lots progresse selon les statuts suivants :

• NOUVEAU

• PRÉPARATION

• PRÊT

• ACTIF

• EN PAUSE

• EN PAUSE

• COMPLET

• ANNULATION

• ÉCHEC

La réponse de l'API vous informe de l'état actuel de la tâche.