Comprobación de la integridad de objetos para datos en reposo en Amazon S3

Si necesita verificar el contenido de los conjuntos de datos almacenados en Amazon S3, la operación Calcular la suma de comprobación de operaciones por lotes de S3 calcula las sumas de comprobación de objetos completas o compuestas de los objetos en reposo. La operación Calcular la suma de comprobación utiliza operaciones por lotes para calcular de forma asíncrona los valores de la suma de comprobación de un grupo de objetos y genera automáticamente un informe de integridad consolidado, sin crear nuevas copias de los datos ni restaurar ni descargar ningún dato.

Con la operación Calcular la suma de comprobación puede verificar de manera eficiente miles de millones de objetos con una sola solicitud de trabajo. Para cada solicitud de trabajo de Calcular la suma de comprobación, S3 calcula los valores de la suma de comprobación y los incluye en un informe de integridad generado automáticamente (también conocido como informe de finalización). Luego, puede usar el informe de finalización para validar la integridad del conjunto de datos.

La operación Calcular la suma de comprobación funciona con cualquier objeto almacenado en S3, independientemente de la clase de almacenamiento o el tamaño del objeto. Si necesita verificar los objetos como una práctica recomendada de conservación de datos o cumplir con los requisitos de conformidad, la operación Calcular la suma de comprobación reduce el costo, el tiempo y el esfuerzo necesarios para la validación de los datos al realizar cálculos de suma de comprobación en reposo. Para obtener más información acerca de los precios de Calcular la suma de comprobación, consulte Precios de Amazon S3.

A continuación, puede utilizar el resultado del informe de finalización generado para compararlo con los valores de la suma de comprobación que ha almacenado en las bases de datos para comprobar que los conjuntos de datos permanecen intactos a lo largo del tiempo. Este enfoque le ayuda a mantener la integridad de los datos de principio a fin para satisfacer las necesidades empresariales y de conformidad. Por ejemplo, puede utilizar la operación Calcular la suma de comprobación para enviar una lista de los objetos almacenados en las clases de almacenamiento de S3 Glacier para realizar auditorías de seguridad anuales. Además, la gama de algoritmos de suma de comprobación compatibles le permite mantener la continuidad con los algoritmos que se utilizan en las aplicaciones.

Uso de algoritmos de suma de comprobación admitidos

Para los datos en reposo, puede calcular los tipos de suma de comprobación de objetos completos y compuestos en Amazon S3 mediante cualquiera de los algoritmos de suma de comprobación compatibles:

• CRC-64/NVME (CRC64NVME)

• CRC-32 (CRC32)

• CRC-32C (CRC32C)

• SHA-1 (SHA1)

• SHA-256 (SHA256)

• MD5 (MD5)

Tipos de suma de comprobación de objeto completo y compuesto

Amazon S3 admite los siguientes tipos de algoritmos de suma de comprobación compuesta y de objeto completo:

• CRC-64/NVME (CRC64NVME): solo admite el tipo de suma de comprobación de objeto completo.

• CRC-32 (CRC32): admite tipos de suma de comprobación compuestos y de objeto completo.

• CRC-32C (CRC32C): admite tipos de suma de comprobación compuestos y de objeto completo.

• SHA-1 (SHA1): admite tipos de suma de comprobación compuestos y de objeto completo.

• SHA-256 (SHA256): admite tipos de suma de comprobación compuestos y de objeto completo.

• MD5 (MD5): admite tipos de suma de comprobación compuestos y de objeto completo.

Uso de Calcular la suma de comprobación

Para los objetos almacenados en Amazon S3, puede utilizar la operación Calcular la suma de comprobación con operaciones por lotes de S3 para comprobar el contenido de los datos en reposo almacenados. Puede crear un trabajo de operaciones por lotes de Compute checksum mediante la consola de Amazon S3, AWS Command Line Interface (AWS CLI), la API de REST o el SDK de AWS. Cuando termina el trabajo Calcular la suma de comprobación, recibe un informe de finalización. Para obtener más información acerca de cómo usar el informe de finalización, consulte Seguimiento del estado del trabajo e informes de finalización.

Antes de crear el trabajo Calcular la suma de comprobación, debe crear un rol de (IAM) de AWS Identity and Access Management de operaciones por lotes de S3 para conceder permisos de Amazon S3 para realizar acciones en su nombre. Deberá conceder permisos para leer el archivo de manifiesto y escribir un informe de finalización en el bucket de S3. Para obtener más información, consulte Calcular las sumas de comprobación.

Uso de la consola de S3

Uso de la operación Calcular la suma de comprobación

1. Inicie sesión en la AWS Management Console y abra la consola de Amazon S3 en https://console.aws.amazon.com/s3/.

2. En la barra de navegación de la parte superior de la página, elija el nombre de la Región de AWS que aparece. A continuación, en Región, elija la región en la que desea crear el trabajo.

   nota

   Para las operaciones de copia, debe crear el trabajo en la misma región que el bucket de destino. Para las demás operaciones, debe crear el trabajo en la misma región que los objetos en el manifiesto.

3. Seleccione Batch Operations (Operaciones por lotes) en el panel de navegación izquierdo de la consola de Amazon S3.

4. Seleccione Crear tarea.

5. Vea la Región de AWS en la que desea crear el trabajo.

   nota

   Para las operaciones de copia, debe crear el trabajo en la misma región que el bucket de destino. Para las demás operaciones, debe crear el trabajo en la misma región que los objetos en el manifiesto.

6. En Manifest format (Formato del manifiesto), seleccione el tipo de objeto del manifiesto que desee usar.

   • Si elige el informe de inventario de S3 (manifest.json), ingrese la ruta al objeto manifest.json y (opcionalmente) el ID de la versión del objeto del manifiesto si quiere usar una versión del objeto específica. Como alternativa, puede elegir Examinar S3 y elegir el archivo JSON del manifiesto, que rellena automáticamente todas las entradas de los campos del objeto del manifiesto.

   • Si elige CSV, elija el tipo de ubicación del manifiesto y, a continuación, ingrese la ruta a un objeto de manifiesto con formato CSV o elija Examinar S3 para seleccionar un objeto de manifiesto. El objeto del manifiesto debe tener el mismo formato que se ha especificado en la consola. Si desea utilizar una versión específica del objeto de manifiesto, también puede especificar el ID de la versión del objeto.

   • Si elige Crear un manifiesto con la configuración de replicación de S3, se generará una lista de objetos con la configuración de replicación y, si lo desea, se guardará en el destino que elija. Cuando utiliza una configuración de replicación para generar el manifiesto, la única operación que estará disponible es la de replicar.

7. Elija Siguiente.

8. En Operación, elija la operación Calcular la suma de comprobación para calcular las sumas de comprobación de todos los objetos mostrados en el manifiesto. Elija el tipo de suma de comprobación y la función de suma de comprobación para su trabajo. A continuación, elija Siguiente.

9. Rellene los datos de Configurar otras opciones y, a continuación, elija Siguiente.

10. En la página Configurar opciones adicionales, rellene la información de su trabajo Calcular la suma de comprobación.

    nota

    En el Informe de finalización, asegúrese de confirmar la declaración de confirmación. Esta declaración de confirmación confirma que entiende que el informe de finalización contiene valores de suma de comprobación, que se utilizan para verificar la integridad de los datos almacenados en Amazon S3. Por lo tanto, el informe de finalización se debe compartir con cautela. Además, tenga en cuenta que si va a crear una solicitud de Calcular la suma de comprobación y especifica la ubicación del bucket de un propietario de cuenta externo para almacenar el informe de finalización, asegúrese de especificar el ID de la Cuenta de AWS del propietario del bucket externo.

11. Elija Siguiente.

12. En la página Revisar, revise y confirme la configuración.

13. (Opcional) Si necesita hacer cambios, elija Anterior para volver a la página anterior o elija Editar para actualizar un paso específico.

14. Cuando haya confirmado los cambios, elija Crear trabajo.

Muestra y supervisión del progreso de todas las solicitudes de Calcular la suma de comprobación

1. Inicie sesión en la AWS Management Console y abra la consola de Amazon S3 en https://console.aws.amazon.com/s3/.

2. En el panel de navegación izquierdo, elija Operaciones por lotes.

3. En la página Operaciones por lotes, puede revisar los detalles del trabajo, como la prioridad del trabajo, la tasa de finalización del trabajo y el total de objetos.

4. Si quiere administrar o clonar un trabajo Calcular la suma de comprobación específico, haga clic en el ID del trabajo para revisar la información adicional del trabajo.

5. En la página específica del trabajo Calcular la suma de comprobación, revise los detalles del trabajo.

Cada trabajo de operaciones por lotes progresa a través de diferentes estados de trabajo. También puede habilitar eventos de AWS CloudTrail en la consola de S3 para recibir alertas sobre cualquier cambio en el estado del trabajo. Para los trabajos activos, puede revisar el trabajo en ejecución y la tasa de finalización en la página Detalles del trabajo.

Uso de los AWS SDK

Java

ejemplo Ejemplo: Creación de un trabajo Calcular la suma de comprobación

En el ejemplo siguiente, se muestra cómo crear un trabajo Calcular suma de comprobación (como parte de una solicitud de Crear trabajo) y cómo especificar un manifiesto:

// Required parameters
String accountId = "111122223333";
String roleArn = "arn:aws:iam::111122223333:role/BatchOperations";
String manifestArn = "arn:aws:s3:::my_manifests/manifest.csv";
String manifestEtag = "60e460c9d1046e73f7dde5043ac3ae85";
String reportBucketArn = "arn:aws:s3:::amzn-s3-demo-completion-report-bucket";
String reportExpectedBucketOwner = "111122223333";
String reportPrefix = "demo-report";

// Job Operation
S3ComputeObjectChecksumOperation s3ComputeObjectChecksum = S3ComputeObjectChecksumOperation.builder()
    .checksumAlgorithm(ComputeObjectChecksumAlgorithm.CRC64)
    .checksumType(ComputeObjectChecksumType.COMPOSITE)
    .build();

JobOperation operation = JobOperation.builder()
    .s3ComputeObjectChecksum(s3ComputeObjectChecksum)
    .build();

// Job Manifest
JobManifestLocation location = JobManifestLocation.builder()
    .eTag(manifestEtag)
    .objectArn(manifestArn)
    .build();

JobManifestSpec spec = JobManifestSpec.builder()
    .format(JobManifestFormat.S3_BATCH_OPERATIONS_CSV_20180820)
    .fields(Arrays.asList(JobManifestFieldName.BUCKET, JobManifestFieldName.KEY))
    .build();

JobManifest manifest = JobManifest.builder()
    .location(location)
    .spec(spec)
    .build();

// Completion Report
JobReport report = JobReport.builder()
    .bucket(reportBucketArn)
    .enabled(true) // Must be true
    .expectedBucketOwner(reportExpectedBucketOwner)
    .format(JobReportFormat.REPORT_CSV_20180820)
    .prefix(reportPrefix)
    .reportScope(JobReportScope.ALL_TASKS)
    .build();

// Create Job Request
CreateJobRequest request = CreateJobRequest.builder()
    .accountId(accountId)
    .confirmationRequired(false)
    .manifest(manifest)
    .operation(operation)
    .priority(10)
    .report(report)
    .roleArn(roleArn);

// Create the client
S3ControlClient client = S3ControlClient.builder()
    .credentialsProvider(new ProfileCredentialsProvider())
    .region(Region.US_EAST_1)
    .build();

// Send the request
try {
    CreateJobResponse response = client.createJob(request);
    System.out.println(response);    
} catch (AwsServiceException e) {
    System.out.println("AwsServiceException: " + e.getMessage());
    throw new RuntimeException(e);
} catch (SdkClientException e) {
    System.out.println("SdkClientException: " + e.getMessage());
    throw new RuntimeException(e);
}

ejemplo Ejemplo: Visualización de los detalles del trabajo Calcular suma de comprobación

En el ejemplo siguiente, se muestra cómo se puede especificar un ID de trabajo para ver los detalles del trabajo (como la tasa de finalización del trabajo) de una solicitud de trabajo Calcular suma de comprobación:

DescribeJobRequest request = DescribeJobRequest.builder()
        .accountId("1234567890")
        .jobId("a16217a1-e082-48e5-b04f-31fac3a66b13")
        .build();

Uso de AWS CLI

Puede usar el comando create-job para crear un nuevo trabajo de operaciones por lotes y para proporcionar la lista de objetos. A continuación, especifique el algoritmo y el tipo de suma de comprobación, así como el bucket de destino en el que desea guardar el informe de Calcular suma de comprobación. En el ejemplo siguiente, se crea un trabajo Calcular la suma de comprobación de operaciones por lotes de S3 mediante un manifiesto generado por S3 para la Cuenta de AWS 111122223333.

Para usar este comando, sustituya los marcadores de posición de entrada del usuario con su propia información:

aws s3control create-job \
    --account-id 111122223333 \
    --manifest '{"Spec":{"Format":"S3BatchOperations_CSV_20180820","Fields":["Bucket","Key"]},"Location":{"ObjectArn":"arn:aws:s3:::my-manifest-bucket/manifest.csv","ETag":"e0e8bfc50e0f0c5d5a1a5f0e0e8bfc50"}}' \
    --manifest-generator '{
        "S3JobManifestGenerator": {
          "ExpectedBucketOwner": "111122223333",
          "SourceBucket": "arn:aws:s3:::amzn-s3-demo-source-bucket",
          "EnableManifestOutput": true,
          "ManifestOutputLocation": {
            "ExpectedManifestBucketOwner": "111122223333",
            "Bucket": "arn:aws:s3:::amzn-s3-demo-manifest-bucket",
            "ManifestPrefix": "prefix",
            "ManifestFormat": "S3InventoryReport_CSV_20211130"
          },
          "Filter": {
            "CreatedAfter": "2023-09-01",
            "CreatedBefore": "2023-10-01",
            "KeyNameConstraint": {
              "MatchAnyPrefix": [
                "prefix"
              ],
              "MatchAnySuffix": [
                "suffix"
              ]
            },
            "ObjectSizeGreaterThanBytes": 100,
            "ObjectSizeLessThanBytes": 200,
            "MatchAnyStorageClass": [
              "STANDARD",
              "STANDARD_IA"
            ]
          }
        }
      }' \
    --operation '{"S3ComputeObjectChecksum":{"ChecksumAlgorithm":"CRC64NVME","ChecksumType":"FULL_OBJECT"}}' \
    --report '{"Bucket":"arn:aws:s3:::my-report-bucket","Format":"Report_CSV_20180820","Enabled":true,"Prefix":"batch-op-reports/","ReportScope":"AllTasks","ExpectedBucketOwner":"111122223333"}' \
    --priority 10 \
    --role-arn arn:aws:iam::123456789012:role/S3BatchJobRole \
    --client-request-token 6e023a7e-4820-4654-8c81-7247361aeb73 \
    --description "Compute object checksums" \
    --region us-west-2

Después de enviar el trabajo Calcular la suma de comprobación, recibirá el ID del trabajo como respuesta y aparecerá en la página de la lista de operaciones por lotes de S3. Amazon S3 procesa la lista de objetos y calcula las sumas de comprobación para cada objeto. Una vez finalizado el trabajo, S3 proporciona un informe de Calcular suma de comprobación consolidado en el destino especificado.

Para supervisar el progreso del trabajo Calcular suma de comprobación, use el comando describe-job. Este comando comprueba el estado del trabajo de operaciones por lotes especificado. Para usar este comando, sustituya los marcadores de posición de entradas del usuario con su propia información.

Por ejemplo:

aws s3control describe-job --account-id 111122223333 --job-id 1234567890abcdef0

Para obtener una lista de todos los trabajos de operaciones por lotes Activos y Completos, consulte Mostrar trabajos o list-jobs en la Referencia de comandos de la AWS CLI.

Uso de la API de REST

Puede enviar solicitudes REST para verificar la integridad del objeto con Calcular la suma de comprobación mediante CreateJob. Puede supervisar el progreso de las solicitudes de Calcular la suma de comprobación enviando solicitudes REST a la operación de la API DescribeJob. Cada trabajo de operaciones por lotes progresa a través de los siguientes estados:

• NUEVO

• EN PREPARACIÓN

• PREPARADO

• ACTIVE

• EN PAUSA

• EN PAUSA

• COMPLETO

• CANCELADO

• FAILED

La respuesta de la API le notifica el estado actual del trabajo.