Überprüfung der Objektintegrität auf ruhende Daten in Amazon S3

Wenn Sie den Inhalt von in Amazon S3 gespeicherten Datensätzen überprüfen müssen, berechnet die Prüfsummenoperation S3 Batch Operations Compute sowohl vollständige Objekt- als auch zusammengesetzte Prüfsummen für Objekte im Ruhezustand. Der Vorgang Prüfsumme berechnen verwendet Batch-Operationen, um die Prüfsummenwerte für eine Gruppe von Objekten asynchron zu berechnen, und generiert automatisch einen konsolidierten Integritätsbericht, ohne dass neue Kopien Ihrer Daten erstellt oder Daten wiederhergestellt oder heruntergeladen werden müssen.

Mit dem Vorgang „Prüfsumme berechnen“ können Sie Milliarden von Objekten mit einer einzigen Jobanforderung effizient verifizieren. Für jede Compute-Prüfsum-Auftragsanforderung berechnet S3 die Prüfsummenwerte und nimmt sie in einen automatisch generierten Integritätsbericht (auch Abschlussbericht genannt) auf. Anschließend können Sie den Abschlussbericht verwenden, um die Integrität Ihres Datensatzes zu überprüfen.

Der Vorgang „Prüfsumme berechnen“ funktioniert mit jedem in S3 gespeicherten Objekt, unabhängig von Speicherklasse oder Objektgröße. Ganz gleich, ob Sie Ihre Objekte als bewährte Methode zur Datenarchivierung verifizieren oder Compliance-Anforderungen erfüllen müssen, der Checksum-Vorgang Compute reduziert die Kosten, den Zeit- und Arbeitsaufwand für die Datenvalidierung, indem Prüfsummenberechnungen im Ruhezustand durchgeführt werden. Informationen zu den Preisen für Compute Checksum finden Sie unter Amazon S3 S3-Preise.

Anschließend können Sie anhand der Ausgabe des generierten Abschlussberichts einen Vergleich mit den Prüfsummenwerten durchführen, die Sie in Ihren Datenbanken gespeichert haben, um zu überprüfen, ob Ihre Datensätze im Laufe der Zeit intakt bleiben. Dieser Ansatz hilft Ihnen dabei, die end-to-end Datenintegrität für Geschäfts- und Compliance-Anforderungen aufrechtzuerhalten. Sie können beispielsweise den Vorgang „Prüfsumme berechnen“ verwenden, um eine Liste von gespeicherten Objekten in S3 Glacier-Speicherklassen für jährliche Sicherheitsaudits einzureichen. Darüber hinaus ermöglicht Ihnen die Palette der unterstützten Prüfsummenalgorithmen, die Kontinuität mit den in Ihren Anwendungen verwendeten Algorithmen aufrechtzuerhalten.

Verwenden unterstützter Prüfsummenalgorithmen

Für Daten im Ruhezustand können Sie in Amazon S3 sowohl den vollständigen Objekt- als auch den zusammengesetzten Prüfsummentyp berechnen, indem Sie einen der unterstützten Prüfsummenalgorithmen verwenden:

• CRC-64/NVME () CRC64NVME

• CRC-32 () CRC32

• CRC-32 C () CRC32C

• SHA-1 () SHA1

• SHA-256 () SHA256

• MD5 (MD5)

Vollständige Objekt- und zusammengesetzte Prüfsummentypen

Amazon S3 unterstützt die folgenden Typen von vollständigen Objekt- und zusammengesetzten Prüfsummenalgorithmen:

• CRC-64/NVME (CRC64NVME): Unterstützt nur den vollständigen Objektprüfsummentyp.

• CRC-32 (CRC32): Unterstützt sowohl vollständige Objektprüfsummen als auch zusammengesetzte Prüfsummen.

• CRC-32C (CRC32C): Unterstützt sowohl vollständige Objekt- als auch zusammengesetzte Prüfsummentypen.

• SHA-1 (SHA1): Unterstützt sowohl vollständige Objekt- als auch zusammengesetzte Prüfsummentypen.

• SHA-256 (SHA256): Unterstützt sowohl vollständige Objekt- als auch zusammengesetzte Prüfsummentypen.

• MD5 (MD5): Unterstützt sowohl vollständige Objekt- als auch zusammengesetzte Prüfsummentypen.

Verwenden Sie Checksum berechnen

Für in Amazon S3 gespeicherte Objekte können Sie den Vorgang Prüfsumme berechnen mit S3 Batch Operations verwenden, um den Inhalt der gespeicherten Daten im Ruhezustand zu überprüfen. Sie können einen Compute checksum Batch Operations-Job mithilfe der Amazon S3 S3-Konsole, AWS Command Line Interface (AWS CLI), der REST-API oder des AWS SDK erstellen. Wenn der Compute-Prüfsummen-Job abgeschlossen ist, erhalten Sie einen Abschlussbericht. Weitere Informationen zur Verwendung des Abschlussberichts finden Sie unter Auftragsstatus und Abschlussberichte verfolgen.

Bevor Sie Ihren Compute-Prüfsummenjob erstellen, müssen Sie eine S3 Batch Operations AWS Identity and Access Management (IAM) -Rolle erstellen, um Amazon S3 Berechtigungen zur Ausführung von Aktionen in Ihrem Namen zu erteilen. Sie müssen Berechtigungen zum Lesen der Manifestdatei und zum Schreiben eines Abschlussberichts in den S3-Bucket erteilen. Weitere Informationen finden Sie unter Prüfsummen berechnen.

Verwenden der S3-Konsole

Um die Operation Checksum berechnen zu verwenden

1. Melden Sie sich bei der an AWS Management Console und öffnen Sie die Amazon S3 S3-Konsole unter https://console.aws.amazon.com/s3/.

2. Wählen Sie in der Navigationsleiste oben auf der Seite den Namen der aktuell angezeigten Datei aus AWS-Region. Wählen Sie als Nächstes die Region aus, in der Sie Ihren Auftrag erstellen möchten.

   Anmerkung

   Für Kopiervorgänge müssen Sie den Auftrag in derselben Region wie jener des Ziel-Buckets erstellen. Für alle anderen Vorgänge müssen Sie den Auftrag in derselben Region wie jener der Objekte im Manifest erstellen.

3. Klicken Sie im linken Navigationsbereich der Amazon-S3-Konsole auf Batch Operations.

4. Wählen Sie Job erstellen aus.

5. Sehen Sie sich AWS-Region an, wo Sie Ihren Job erstellen möchten.

   Anmerkung

   Für Kopiervorgänge müssen Sie den Auftrag in derselben Region wie jener des Ziel-Buckets erstellen. Für alle anderen Vorgänge müssen Sie den Auftrag in derselben Region wie jener der Objekte im Manifest erstellen.

6. Wählen Sie unter Manifest format (Manifestformat) das zu verwendende Manifestobjekt aus.

   • Wenn Sie den S3-Inventarbericht (manifest.json) wählen, geben Sie den Pfad zum manifest.json Objekt und (optional) die Versions-ID des Manifest-Objekts ein, wenn Sie eine bestimmte Objektversion verwenden möchten. Alternativ können Sie Browse S3 und die Manifest-JSON-Datei wählen, die auto alle Manifestobjektfeldeinträge auffüllt.

   • Wenn Sie CSV wählen, wählen Sie den Speicherortyp Manifest. Geben Sie dann entweder den Pfad zu einem Manifest-Objekt im CSV-Format ein oder wählen Sie Browse S3, um ein Manifest-Objekt auszuwählen. Das Manifestobjekt muss das in der Konsole beschriebene Format befolgen. Wenn Sie eine bestimmte Version des Manifest-Objekts verwenden möchten, können Sie auch die Versions-ID des Objekts angeben.

   • Wenn Sie „Manifest mithilfe der S3-Replikationskonfiguration erstellen“ wählen, wird mithilfe der Replikationskonfiguration eine Liste von Objekten generiert und optional an dem von Ihnen ausgewählten Ziel gespeichert. Wenn Sie eine Replikationskonfiguration verwenden, um das Manifest zu generieren, ist der einzige verfügbare Vorgang Replicate.

7. Wählen Sie Weiter aus.

8. Wählen Sie unter Vorgang den Vorgang Prüfsumme berechnen aus, um die Prüfsummen für alle im Manifest aufgelisteten Objekte zu berechnen. Wählen Sie den Prüfsummentyp und die Prüfsummenfunktion für Ihren Job aus. Wählen Sie anschließend Weiter.

9. Geben Sie die Informationen für Zusätzliche Optionen konfigurieren ein und wählen Sie dann Weiter.

10. Geben Sie auf der Seite Zusätzliche Optionen konfigurieren die Informationen für Ihren Compute-Prüfsummenjob ein.

    Anmerkung

    Stellen Sie sicher, dass Sie unter Abschlussbericht die Bestätigungserklärung bestätigen. Diese Bestätigungserklärung bestätigt, dass Sie verstehen, dass der Abschlussbericht Prüfsummenwerte enthält, die zur Überprüfung der Integrität der in Amazon S3 gespeicherten Daten verwendet werden. Daher sollte der Abschlussbericht mit Vorsicht weitergegeben werden. Beachten Sie außerdem, dass Sie, wenn Sie eine Compute-Prüfsummenanforderung erstellen und den Bucket-Standort eines externen Kontoinhabers angeben, an dem Ihr Abschlussbericht gespeichert werden soll, unbedingt die AWS-Konto ID des externen Bucket-Besitzers angeben.

11. Wählen Sie Weiter aus.

12. Überprüfe und bestätige deine Einstellungen auf der Seite „Überprüfen“.

13. (Optional) Wenn Sie Änderungen vornehmen müssen, wählen Sie Zurück, um zur vorherigen Seite zurückzukehren, oder wählen Sie Bearbeiten, um einen bestimmten Schritt zu aktualisieren.

14. Nachdem Sie Ihre Änderungen bestätigt haben, wählen Sie Job erstellen.

Um den Fortschritt aller Compute-Prüfsummenanfragen aufzulisten und zu überwachen

1. Melden Sie sich bei der an AWS Management Console und öffnen Sie die Amazon S3 S3-Konsole unter https://console.aws.amazon.com/s3/.

2. Klicken Sie im linken Navigationsbereich auf Batchvorgänge.

3. Auf der Seite Batch-Operationen können Sie Auftragsdetails wie die Auftragspriorität, die Auftragsabschlussrate und die Gesamtzahl der Objekte überprüfen.

4. Wenn Sie einen bestimmten Compute-Prüfsummenjob verwalten oder klonen möchten, klicken Sie auf die Job-ID, um weitere Jobinformationen zu überprüfen.

5. Überprüfen Sie auf der jeweiligen Compute-Prüfsum-Jobseite die Jobdetails.

Jeder Auftrag für Batch-Operationen durchläuft unterschiedliche Auftragsstatus. Sie können auch AWS CloudTrail Ereignisse in der S3-Konsole aktivieren, um Benachrichtigungen bei Änderungen des Auftragsstatus zu erhalten. Bei aktiven Jobs können Sie den laufenden Job und die Abschlussrate auf der Seite mit den Jobdetails überprüfen.

Verwenden Sie den AWS SDKs

Java

Beispiel: Erstellen eines Compute-Prüfsummen-Jobs

Das folgende Beispiel zeigt, wie Sie einen Compute-Prüfsummenjob erstellen (als Teil einer Create-Job-Anfrage) und wie Sie ein Manifest angeben:

// Required parameters
String accountId = "111122223333";
String roleArn = "arn:aws:iam::111122223333:role/BatchOperations";
String manifestArn = "arn:aws:s3:::my_manifests/manifest.csv";
String manifestEtag = "60e460c9d1046e73f7dde5043ac3ae85";
String reportBucketArn = "arn:aws:s3:::amzn-s3-demo-completion-report-bucket";
String reportExpectedBucketOwner = "111122223333";
String reportPrefix = "demo-report";

// Job Operation
S3ComputeObjectChecksumOperation s3ComputeObjectChecksum = S3ComputeObjectChecksumOperation.builder()
    .checksumAlgorithm(ComputeObjectChecksumAlgorithm.CRC64)
    .checksumType(ComputeObjectChecksumType.COMPOSITE)
    .build();

JobOperation operation = JobOperation.builder()
    .s3ComputeObjectChecksum(s3ComputeObjectChecksum)
    .build();

// Job Manifest
JobManifestLocation location = JobManifestLocation.builder()
    .eTag(manifestEtag)
    .objectArn(manifestArn)
    .build();

JobManifestSpec spec = JobManifestSpec.builder()
    .format(JobManifestFormat.S3_BATCH_OPERATIONS_CSV_20180820)
    .fields(Arrays.asList(JobManifestFieldName.BUCKET, JobManifestFieldName.KEY))
    .build();

JobManifest manifest = JobManifest.builder()
    .location(location)
    .spec(spec)
    .build();

// Completion Report
JobReport report = JobReport.builder()
    .bucket(reportBucketArn)
    .enabled(true) // Must be true
    .expectedBucketOwner(reportExpectedBucketOwner)
    .format(JobReportFormat.REPORT_CSV_20180820)
    .prefix(reportPrefix)
    .reportScope(JobReportScope.ALL_TASKS)
    .build();

// Create Job Request
CreateJobRequest request = CreateJobRequest.builder()
    .accountId(accountId)
    .confirmationRequired(false)
    .manifest(manifest)
    .operation(operation)
    .priority(10)
    .report(report)
    .roleArn(roleArn);

// Create the client
S3ControlClient client = S3ControlClient.builder()
    .credentialsProvider(new ProfileCredentialsProvider())
    .region(Region.US_EAST_1)
    .build();

// Send the request
try {
    CreateJobResponse response = client.createJob(request);
    System.out.println(response);    
} catch (AwsServiceException e) {
    System.out.println("AwsServiceException: " + e.getMessage());
    throw new RuntimeException(e);
} catch (SdkClientException e) {
    System.out.println("SdkClientException: " + e.getMessage());
    throw new RuntimeException(e);
}

Beispiel: Details zum Compute-Prüfsummen-Job anzeigen

Das folgende Beispiel zeigt, wie Sie eine Job-ID angeben können, um die Jobdetails (z. B. die Jobabschlussrate) für eine Compute-Prüfsummen-Jobanfrage anzuzeigen:

DescribeJobRequest request = DescribeJobRequest.builder()
        .accountId("1234567890")
        .jobId("a16217a1-e082-48e5-b04f-31fac3a66b13")
        .build();

Unter Verwendung der AWS CLI

Sie können den create-jobBefehl verwenden, um einen neuen Auftrag für Batch-Operationen zu erstellen und die Liste der Objekte bereitzustellen. Geben Sie dann den Prüfsummenalgorithmus und den Prüfsummentyp sowie den Ziel-Bucket an, in dem Sie den Compute-Prüfsummenbericht speichern möchten. Im folgenden Beispiel wird ein S3 Batch Operations Compute-Prüfsummenjob erstellt, indem ein von S3 generiertes Manifest für die AWS-Konto 111122223333 verwendet wird.

Um diesen Befehl zu verwenden, ersetzen Sie den user input placeholders durch Ihre eigenen Informationen:

aws s3control create-job \
    --account-id 111122223333 \
    --manifest '{"Spec":{"Format":"S3BatchOperations_CSV_20180820","Fields":["Bucket","Key"]},"Location":{"ObjectArn":"arn:aws:s3:::my-manifest-bucket/manifest.csv","ETag":"e0e8bfc50e0f0c5d5a1a5f0e0e8bfc50"}}' \
    --manifest-generator '{
        "S3JobManifestGenerator": {
          "ExpectedBucketOwner": "111122223333",
          "SourceBucket": "arn:aws:s3:::amzn-s3-demo-source-bucket",
          "EnableManifestOutput": true,
          "ManifestOutputLocation": {
            "ExpectedManifestBucketOwner": "111122223333",
            "Bucket": "arn:aws:s3:::amzn-s3-demo-manifest-bucket",
            "ManifestPrefix": "prefix",
            "ManifestFormat": "S3InventoryReport_CSV_20211130"
          },
          "Filter": {
            "CreatedAfter": "2023-09-01",
            "CreatedBefore": "2023-10-01",
            "KeyNameConstraint": {
              "MatchAnyPrefix": [
                "prefix"
              ],
              "MatchAnySuffix": [
                "suffix"
              ]
            },
            "ObjectSizeGreaterThanBytes": 100,
            "ObjectSizeLessThanBytes": 200,
            "MatchAnyStorageClass": [
              "STANDARD",
              "STANDARD_IA"
            ]
          }
        }
      }' \
    --operation '{"S3ComputeObjectChecksum":{"ChecksumAlgorithm":"CRC64NVME","ChecksumType":"FULL_OBJECT"}}' \
    --report '{"Bucket":"arn:aws:s3:::my-report-bucket","Format":"Report_CSV_20180820","Enabled":true,"Prefix":"batch-op-reports/","ReportScope":"AllTasks","ExpectedBucketOwner":"111122223333"}' \
    --priority 10 \
    --role-arn arn:aws:iam::123456789012:role/S3BatchJobRole \
    --client-request-token 6e023a7e-4820-4654-8c81-7247361aeb73 \
    --description "Compute object checksums" \
    --region us-west-2

Nachdem Sie den Compute-Prüfsummenjob eingereicht haben, erhalten Sie die Job-ID als Antwort und sie wird auf der Listenseite für S3-Batch-Operationen angezeigt. Amazon S3 verarbeitet die Objektliste und berechnet Prüfsummen für jedes Objekt. Nach Abschluss des Jobs stellt S3 einen konsolidierten Compute-Prüfsummenbericht am angegebenen Ziel bereit.

Verwenden Sie den Befehl, um den Fortschritt Ihres Compute-Prüfsum-Jobs zu überwachen. describe-job Dieser Befehl überprüft den Status des angegebenen Batch-Operationsjobs. Zur Verwendung dieses Befehls ersetzen Sie user input placeholders durch eigene Informationen.

Zum Beispiel:

aws s3control describe-job --account-id 111122223333 --job-id 1234567890abcdef0

Eine Liste aller aktiven und abgeschlossenen Batchvorgangsaufträge finden Sie in der AWS CLI Befehlsreferenz unter Auflisten von Aufträgen oder Auflisten von Aufträgen.

Verwenden der REST-API

Mithilfe von Compute checksum können Sie REST-Anfragen zur Überprüfung der Objektintegrität senden. CreateJob Sie können den Fortschritt von Compute-Prüfsummenanfragen überwachen, indem Sie REST-Anfragen an den DescribeJobAPI-Vorgang senden. Jeder Batch-Operationsauftrag durchläuft die folgenden Status:

• NEU

• VORBEREITEN

• BEREIT

• ACTIVE

• PAUSIEREN

• PAUSIERT

• ABGESCHLOSSEN

• STORNIEREN

• FEHLGESCHLAGEN

Die API-Antwort informiert Sie über den aktuellen Jobstatus.