Verifica dell'integrità degli oggetti per i dati inattivi in Amazon S3

Se devi verificare il contenuto dei set di dati archiviati in Amazon S3, l'operazione di checksum di S3 Batch Operations Compute calcola i checksum completi o compositi per gli oggetti inattivi. L'operazione di checksum Compute utilizza Batch Operations per calcolare in modo asincrono i valori di checksum per un gruppo di oggetti e genera automaticamente un rapporto di integrità consolidato, senza creare nuove copie dei dati o ripristinare o scaricare alcun dato.

Con l'operazione Compute checksum, puoi verificare in modo efficiente miliardi di oggetti con una singola richiesta di lavoro. Per ogni richiesta di lavoro con checksum di Compute, S3 calcola i valori del checksum e li include in un rapporto di integrità generato automaticamente (noto anche come rapporto di completamento). Puoi quindi utilizzare il rapporto di completamento per convalidare l'integrità del tuo set di dati.

L'operazione Compute checksum funziona con qualsiasi oggetto archiviato in S3, indipendentemente dalla classe di archiviazione o dalla dimensione dell'oggetto. Che sia necessario verificare gli oggetti come best practice di conservazione dei dati o soddisfare i requisiti di conformità, l'operazione di checksum di Compute riduce i costi, i tempi e gli sforzi necessari per la convalida dei dati eseguendo calcoli di checksum a riposo. Per informazioni sui prezzi di Compute checksum, consulta i prezzi di Amazon S3.

Quindi, puoi utilizzare l'output del report di completamento generato per confrontarlo con i valori di checksum che hai archiviato nei tuoi database per verificare che i set di dati rimangano intatti nel tempo. Questo approccio consente di mantenere l'integrità end-to-end dei dati per le esigenze aziendali e di conformità. Ad esempio, puoi utilizzare l'operazione di checksum Compute per inviare un elenco di oggetti archiviati nelle classi di storage S3 Glacier per i controlli di sicurezza annuali. Inoltre, la gamma di algoritmi di checksum supportati consente di mantenere la continuità con gli algoritmi utilizzati nelle applicazioni.

Utilizzo di algoritmi di checksum supportati

Per i dati inattivi, puoi calcolare sia i tipi di checksum completi che quelli compositi in Amazon S3, utilizzando uno qualsiasi degli algoritmi di checksum supportati:

• CRC-64/NVME () CRC64NVME

• CRC-32 () CRC32

• CRC-32C () CRC32C

• SHA-1 () SHA1

• SHA256 () SHA256

• MD5 (MD5)

Tipi di checksum di oggetti completi e compositi

Amazon S3 supporta i seguenti tipi di algoritmi di checksum completi e compositi:

• CRC-64/NVME (CRC64NVME): supporta solo il tipo di checksum completo dell'oggetto.

• CRC-32 (CRC32): supporta sia i tipi di checksum completi che quelli compositi.

• CRC-32C (CRC32C): supporta sia i tipi di checksum completi che quelli compositi.

• SHA-1 (SHA1): supporta sia i tipi di checksum a oggetti completi che quelli compositi.

• SHA-256 (SHA256): supporta sia i tipi di checksum completi che quelli compositi.

• MD5 (MD5): Supporta sia i tipi di checksum a oggetti completi che quelli compositi.

Utilizzo del checksum Compute

Per gli oggetti archiviati in Amazon S3, puoi utilizzare l'operazione di checksum Compute con S3 Batch Operations per controllare il contenuto dei dati archiviati a riposo. Puoi creare un processo Compute checksum Batch Operations utilizzando la console Amazon S3, AWS Command Line Interface (AWS CLI), l'API REST o AWS l'SDK. Al termine del processo di checksum di Compute, riceverai un rapporto di completamento. Per ulteriori informazioni su come utilizzare il rapporto di completamento, consulta Monitoraggio dello stato del lavoro e dei rapporti di completamento.

Prima di creare il processo di checksum di Compute, devi creare un ruolo S3 Batch AWS Identity and Access Management Operations (IAM) per concedere ad Amazon S3 le autorizzazioni per eseguire azioni per tuo conto. Dovrai concedere le autorizzazioni per leggere il file manifest e scrivere un rapporto di completamento nel bucket S3. Per ulteriori informazioni, consulta Calcola i checksum.

Utilizzo della console S3

Per utilizzare l'operazione Compute checksum

1. Accedi a AWS Management Console e apri la console Amazon S3 all'indirizzo. https://console.aws.amazon.com/s3/

2. Nella barra di navigazione nella parte superiore della pagina, scegli il nome del file attualmente visualizzato Regione AWS. Scegli la Regione in cui creare il processo.

   Nota

   Per le operazioni di copia, è necessario creare il processo nella stessa Regione del bucket di destinazione. Per tutte le altre operazioni, è necessario creare il processo nella stessa Regione degli oggetti del manifesto.

3. Scegli Operazioni in batch nel pannello di navigazione sinistro della console Amazon S3.

4. Scegli Crea processo.

5. Visualizza Regione AWS dove vuoi creare il tuo lavoro.

   Nota

   Per le operazioni di copia, è necessario creare il processo nella stessa Regione del bucket di destinazione. Per tutte le altre operazioni, è necessario creare il processo nella stessa Regione degli oggetti del manifesto.

6. In Formato manifest scegliere il tipo di oggetto manifest da usare.

   • Se scegli il rapporto sull'inventario S3 (manifest.json), inserisci il percorso dell'manifest.jsonoggetto e (facoltativamente) l'ID della versione dell'oggetto Manifest se desideri utilizzare una versione dell'oggetto specifica. In alternativa, puoi scegliere Browse S3 e scegliere il file JSON manifest, che popola automaticamente tutte le voci del campo dell'oggetto manifesto.

   • Se scegli CSV, scegli il tipo di posizione del manifesto, quindi inserisci il percorso di un oggetto manifesto in formato CSV o scegli Browse S3 per selezionare un oggetto manifesto. L'oggetto manifest deve avere il formato descritto nella console. Se desideri utilizzare una versione specifica dell'oggetto manifesto, puoi anche specificare l'ID della versione dell'oggetto.

   • Se scegli Crea manifesto utilizzando la configurazione di replica S3, verrà generato un elenco di oggetti utilizzando la configurazione di replica e facoltativamente salvato nella destinazione scelta. Quando si utilizza una configurazione di replica per generare il manifesto, l'unica operazione disponibile è Replicate.

7. Scegli Next (Successivo).

8. In Operazione, scegliete l'operazione Compute checksum per calcolare i checksum su tutti gli oggetti elencati nel manifesto. Scegliete il tipo di checksum e la funzione Checksum per il vostro lavoro. Quindi, seleziona Next (Successivo).

9. Compila le informazioni per Configura opzioni aggiuntive, quindi scegli Avanti.

10. Nella pagina Configura opzioni aggiuntive, inserisci le informazioni per il processo di checksum di Compute.

    Nota

    Nella sezione Rapporto di completamento, assicurati di confermare la dichiarazione di riconoscimento. Questa dichiarazione di riconoscimento conferma che hai compreso che il report di completamento contiene valori di checksum, che vengono utilizzati per verificare l'integrità dei dati archiviati in Amazon S3. Pertanto, il report di completamento deve essere condiviso con cautela. Inoltre, tieni presente che se stai creando una richiesta di checksum di Compute e specifichi la posizione del bucket del proprietario dell'account esterno per archiviare il rapporto di completamento, assicurati di specificare l' Account AWS ID del proprietario del bucket esterno.

11. Scegli Next (Successivo).

12. Nella pagina Revisione, rivedi e conferma le tue impostazioni.

13. (Facoltativo) Se devi apportare modifiche, scegli Indietro per tornare alla pagina precedente oppure scegli Modifica per aggiornare un passaggio specifico.

14. Dopo aver confermato le modifiche, scegli Crea lavoro.

Per elencare e monitorare l'avanzamento di tutte le richieste di checksum di Compute

1. Accedi a AWS Management Console e apri la console Amazon S3 all'indirizzo. https://console.aws.amazon.com/s3/

2. Nel pannello di navigazione a sinistra, scegli Operazioni in batch.

3. Nella pagina Operazioni in batch, è possibile esaminare i dettagli del lavoro come la priorità del lavoro, la percentuale di completamento del lavoro e gli oggetti totali.

4. Se desideri gestire o clonare uno specifico job con checksum di Compute, fai clic sul Job ID per visualizzare ulteriori informazioni sul lavoro.

5. Nella pagina specifica del lavoro con checksum di Compute, rivedi i dettagli del lavoro.

Ogni processo operativo in batch passa attraverso diversi stati di lavoro. Puoi anche abilitare AWS CloudTrail gli eventi nella console S3 per ricevere avvisi su qualsiasi modifica dello stato del lavoro. Per i job attivi, puoi controllare il job in esecuzione e la percentuale di completamento nella pagina dei dettagli del job.

Utilizzando il AWS SDKs

Java

Esempio: creazione di un processo di checksum di calcolo

L'esempio seguente mostra come creare un processo di checksum di Compute (come parte di una richiesta Create Job) e come specificare un manifest:

// Required parameters
String accountId = "111122223333";
String roleArn = "arn:aws:iam::111122223333:role/BatchOperations";
String manifestArn = "arn:aws:s3:::my_manifests/manifest.csv";
String manifestEtag = "60e460c9d1046e73f7dde5043ac3ae85";
String reportBucketArn = "arn:aws:s3:::amzn-s3-demo-completion-report-bucket";
String reportExpectedBucketOwner = "111122223333";
String reportPrefix = "demo-report";

// Job Operation
S3ComputeObjectChecksumOperation s3ComputeObjectChecksum = S3ComputeObjectChecksumOperation.builder()
    .checksumAlgorithm(ComputeObjectChecksumAlgorithm.CRC64)
    .checksumType(ComputeObjectChecksumType.COMPOSITE)
    .build();

JobOperation operation = JobOperation.builder()
    .s3ComputeObjectChecksum(s3ComputeObjectChecksum)
    .build();

// Job Manifest
JobManifestLocation location = JobManifestLocation.builder()
    .eTag(manifestEtag)
    .objectArn(manifestArn)
    .build();

JobManifestSpec spec = JobManifestSpec.builder()
    .format(JobManifestFormat.S3_BATCH_OPERATIONS_CSV_20180820)
    .fields(Arrays.asList(JobManifestFieldName.BUCKET, JobManifestFieldName.KEY))
    .build();

JobManifest manifest = JobManifest.builder()
    .location(location)
    .spec(spec)
    .build();

// Completion Report
JobReport report = JobReport.builder()
    .bucket(reportBucketArn)
    .enabled(true) // Must be true
    .expectedBucketOwner(reportExpectedBucketOwner)
    .format(JobReportFormat.REPORT_CSV_20180820)
    .prefix(reportPrefix)
    .reportScope(JobReportScope.ALL_TASKS)
    .build();

// Create Job Request
CreateJobRequest request = CreateJobRequest.builder()
    .accountId(accountId)
    .confirmationRequired(false)
    .manifest(manifest)
    .operation(operation)
    .priority(10)
    .report(report)
    .roleArn(roleArn);

// Create the client
S3ControlClient client = S3ControlClient.builder()
    .credentialsProvider(new ProfileCredentialsProvider())
    .region(Region.US_EAST_1)
    .build();

// Send the request
try {
    CreateJobResponse response = client.createJob(request);
    System.out.println(response);    
} catch (AwsServiceException e) {
    System.out.println("AwsServiceException: " + e.getMessage());
    throw new RuntimeException(e);
} catch (SdkClientException e) {
    System.out.println("SdkClientException: " + e.getMessage());
    throw new RuntimeException(e);
}

Esempio: visualizzazione dei dettagli del processo di checksum di Compute

L'esempio seguente mostra come specificare un ID di lavoro per visualizzare i dettagli del lavoro (come la percentuale di completamento del lavoro) per una richiesta di lavoro con checksum di Compute:

DescribeJobRequest request = DescribeJobRequest.builder()
        .accountId("1234567890")
        .jobId("a16217a1-e082-48e5-b04f-31fac3a66b13")
        .build();

Usando il AWS CLI

È possibile utilizzare il create-jobcomando per creare un nuovo processo di operazioni batch e per fornire l'elenco degli oggetti. Quindi, specifica l'algoritmo di checksum e il tipo di checksum e il bucket di destinazione in cui desideri salvare il rapporto di checksum di Compute. L'esempio seguente crea un processo di checksum di S3 Batch Operations Compute utilizzando un manifesto generato da S3 per. Account AWS 111122223333

Per utilizzare questo comando, sostituiscilo user input placeholders con le tue informazioni:

aws s3control create-job \
    --account-id 111122223333 \
    --manifest '{"Spec":{"Format":"S3BatchOperations_CSV_20180820","Fields":["Bucket","Key"]},"Location":{"ObjectArn":"arn:aws:s3:::my-manifest-bucket/manifest.csv","ETag":"e0e8bfc50e0f0c5d5a1a5f0e0e8bfc50"}}' \
    --manifest-generator '{
        "S3JobManifestGenerator": {
          "ExpectedBucketOwner": "111122223333",
          "SourceBucket": "arn:aws:s3:::amzn-s3-demo-source-bucket",
          "EnableManifestOutput": true,
          "ManifestOutputLocation": {
            "ExpectedManifestBucketOwner": "111122223333",
            "Bucket": "arn:aws:s3:::amzn-s3-demo-manifest-bucket",
            "ManifestPrefix": "prefix",
            "ManifestFormat": "S3InventoryReport_CSV_20211130"
          },
          "Filter": {
            "CreatedAfter": "2023-09-01",
            "CreatedBefore": "2023-10-01",
            "KeyNameConstraint": {
              "MatchAnyPrefix": [
                "prefix"
              ],
              "MatchAnySuffix": [
                "suffix"
              ]
            },
            "ObjectSizeGreaterThanBytes": 100,
            "ObjectSizeLessThanBytes": 200,
            "MatchAnyStorageClass": [
              "STANDARD",
              "STANDARD_IA"
            ]
          }
        }
      }' \
    --operation '{"S3ComputeObjectChecksum":{"ChecksumAlgorithm":"CRC64NVME","ChecksumType":"FULL_OBJECT"}}' \
    --report '{"Bucket":"arn:aws:s3:::my-report-bucket","Format":"Report_CSV_20180820","Enabled":true,"Prefix":"batch-op-reports/","ReportScope":"AllTasks","ExpectedBucketOwner":"111122223333"}' \
    --priority 10 \
    --role-arn arn:aws:iam::123456789012:role/S3BatchJobRole \
    --client-request-token 6e023a7e-4820-4654-8c81-7247361aeb73 \
    --description "Compute object checksums" \
    --region us-west-2

Dopo aver inviato il processo di checksum di Compute, ricevi l'ID del lavoro come risposta e viene visualizzato nella pagina di elenco S3 Batch Operations. Amazon S3 elabora l'elenco di oggetti e calcola i checksum per ogni oggetto. Al termine del lavoro, S3 fornisce un report di checksum di Compute consolidato nella destinazione specificata.

Per monitorare l'avanzamento del processo di checksum di Compute, usa il comando. describe-job Questo comando controlla lo stato del processo di operazioni batch specificato. Per utilizzare questo comando, sostituisci user input placeholders con le tue specifiche informazioni.

Per esempio:

aws s3control describe-job --account-id 111122223333 --job-id 1234567890abcdef0

Per ottenere un elenco di tutti i processi di operazioni batch attivi e completi, vedere Listing jobs o list-jobs nel AWS CLI Command Reference.

Utilizzo della REST API

È possibile inviare richieste REST per verificare l'integrità degli oggetti con Compute checksum utilizzando. CreateJob Puoi monitorare l'avanzamento delle richieste di checksum di Compute inviando richieste REST all'operazione API. DescribeJob Ogni processo di operazioni in batch passa attraverso i seguenti stati:

• NUOVO

• PREPARAZIONE

• PRONTO

• ACTIVE

• IN PAUSA

• IN PAUSA

• COMPLETO

• ANNULLAMENTO

• Non riuscito

La risposta dell'API ti avvisa dello stato attuale del lavoro.