Verificar a integridade do objeto para dados em repouso no Amazon S3

Se você precisar verificar o conteúdo dos conjuntos de dados armazenados no Amazon S3, a operação Calcular soma de verificação do recurso Operações em Lote do S3 calcula somas de verificação de objeto completo ou compostas para objetos em repouso. A operação Calcular soma de verificação usa o recurso Operações em Lote para calcular de forma assíncrona os valores de soma de verificação para um grupo de objetos e gera automaticamente um relatório de integridade consolidado, sem criar cópias de seus dados nem restaurar ou baixar nenhum dado.

Com a operação Calcular soma de verificação, você pode verificar com eficiência bilhões de objetos em uma única solicitação de trabalho. Para cada solicitação de trabalho de cálculo de soma de verificação, o S3 calcula os valores da soma de verificação e os inclui em um relatório de integridade gerado automaticamente (também conhecido como relatório de conclusão). Em seguida, você pode usar o relatório de conclusão para validar a integridade do conjunto de dados.

A operação Calcular soma de verificação funciona com qualquer objeto armazenado no S3, independentemente da classe de armazenamento ou do tamanho do objeto. Se você precisar verificar seus objetos como uma prática recomendada de preservação de dados ou atender aos requisitos de conformidade, a operação Calcular soma de verificação pode reduzir o custo, o tempo e o esforço necessários para validação de dados realizando cálculos de soma de verificação em repouso. Para ter informações sobre o preço da operação Calcular soma de verificação, consulte Definição de preço do Amazon S3.

Em seguida, você pode usar a saída do relatório de conclusão gerado para comparar com os valores da soma de verificação que você armazenou em seus bancos de dados e verificar se seus conjuntos de dados permanecem intactos ao longo do tempo. Essa abordagem ajuda você a manter a integridade completa dos dados para atender a necessidades comerciais e de conformidade. Por exemplo, você pode usar a operação Calcular soma de verificação para enviar uma lista de objetos armazenados nas classes de armazenamento S3 Glacier para auditorias anuais de segurança. Além disso, a variedade de algoritmos de soma de verificação compatíveis permite que você continue utilizando os algoritmos usados em suas aplicações.

Usar algoritmos de soma de verificação compatíveis

Para dados em repouso, você pode calcular os tipos de soma de verificação de objeto completo e composta no Amazon S3 usando qualquer um dos algoritmos de soma de verificação compatíveis:

• CRC-64/NVME (CRC64NVME)

• CRC-32 (CRC32)

• CRC-32C (CRC32C)

• SHA-1 (SHA1)

• SHA-256 (SHA256)

• MD5 (MD5)

Tipos de soma de verificação de objeto inteiro e composta

O Amazon S3 oferece suporte aos seguintes tipos de algoritmo de soma de verificação de objeto inteiro e composta:

• CRC-64/NVME (CRC64NVME): compatível somente com o tipo de soma de verificação de objeto completo.

• CRC-32 (CRC32): compatível com os tipos de soma de verificação de objeto completo e composta.

• CRC-32C (CRC32C): compatível com os tipos de soma de verificação de objeto completo e composta.

• SHA-1 (SHA1): compatível com os tipos de soma de verificação de objeto completo e composta.

• SHA-256 (SHA256): compatível com os tipos de soma de verificação de objeto completo e composta.

• MD5 (MD5): compatível com os tipos de soma de verificação de objeto completo e composta.

Usar a operação Calcular soma de verificação

Para objetos armazenados no Amazon S3, você pode usar a operação Calcular soma de verificação com o recurso Operações em Lote do S3 para verificar o conteúdo dos dados armazenados em repouso. Você pode criar um trabalho Compute checksum no recurso Operações em Lote usando o console do Amazon S3, a AWS Command Line Interface (AWS CLI), a API REST ou o SDK da AWS. Quando o trabalho de cálculo de soma de verificação termina, você recebe um relatório de conclusão. Para ter mais informações sobre como usar o relatório de conclusão, consulte Monitoramento de relatórios de status e conclusão.

Antes de criar seu trabalho de cálculo de soma de verificação, você deve criar um perfil do AWS Identity and Access Management (IAM) para o recurso Operações em Lote do S3 a fim de conceder permissões ao Amazon S3 para realizar ações em seu nome. Você precisará conceder permissões para ler o arquivo de manifesto e gravar um relatório de conclusão no bucket do S3. Para ter mais informações, consulte Calcular somas de verificação.

Usar o console do S3

Como usar a operação Calcular soma de verificação

1. Faça login no AWS Management Console e abra o console do Amazon S3 em https://console.aws.amazon.com/s3/.

2. Na barra de navegação na parte superior da página, escolha o nome da Região da AWS exibida no momento. Em seguida, escolha a região onde você deseja criar o trabalho.

   nota

   Para operações de cópia, você deve criar o trabalho na mesma região que o bucket de destino. Para todas as outras operações, você deve criar o trabalho na mesma região que os objetos arquivados no manifesto.

3. Selecione Operações em lotes no painel de navegação do console do Amazon S3.

4. Escolha Criar trabalho.

5. Visualize a Região da AWS onde você deseja criar o trabalho.

   nota

   Para operações de cópia, você deve criar o trabalho na mesma região que o bucket de destino. Para todas as outras operações, você deve criar o trabalho na mesma região que os objetos arquivados no manifesto.

6. Em Formato do manifesto, escolha o tipo de objeto do manifesto a ser usado.

   • Se você escolher Relatório de inventário do S3 (manifest.json), insira o caminho para o objeto manifest.json e (opcionalmente) o ID da versão do objeto de manifesto se quiser usar uma versão específica do objeto. Ou você pode escolher Procurar no S3 e escolher o arquivo JSON do manifesto, que preenche automaticamente todas as entradas do campo de objeto do manifesto.

   • Se você escolher CSV, selecione o tipo de localização do manifesto e, em seguida, insira o caminho para um objeto do manifesto formatado em CSV ou escolha Procurar no S3 para selecionar um objeto de manifesto. O objeto do manifesto deve seguir o formato descrito no console. Se você quiser usar uma versão específica de objeto de manifesto, também poderá especificar o ID da versão do objeto.

   • Se você escolher Criar manifesto usando a configuração da Replicação do S3, uma lista de objetos será gerada usando a configuração de replicação e, opcionalmente, salva no destino escolhido. Ao usar uma configuração de replicação para gerar o manifesto, a única operação disponível é Replicar.

7. Escolha Próximo.

8. Em Operação, escolha a operação Calcular soma de verificação para calcular as somas de verificação em todos os objetos listados no manifesto. Escolha o tipo de soma de verificação e a função de soma de verificação para seu trabalho. Em seguida, escolha Próximo.

9. Preencha as informações em Configurar opções adicionais e selecione Próximo.

10. Na página Configurar opções adicionais, preencha as informações do seu trabalho de cálculo de soma de verificação.

    nota

    Em Relatório de conclusão, confirme a declaração de reconhecimento. Essa declaração de reconhecimento confirma que você entende que o relatório de conclusão contém valores de soma de verificação, os quais são usados para verificar a integridade dos dados armazenados no Amazon S3. Portanto, o relatório de conclusão deve ser compartilhado com cautela. Além disso, lembre-se de que, se você estiver criando uma solicitação de cálculo de soma de verificação e especificar uma localização de bucket de um proprietário de conta externa para armazenar seu relatório de conclusão, especifique o ID da Conta da AWS do proprietário do bucket externo.

11. Escolha Próximo.

12. Na página Revisar, analise e confirme suas configurações.

13. (Opcional) Se você precisar fazer alterações, escolha Anterior para voltar à página anterior ou selecione Editar para atualizar uma etapa específica.

14. Depois de confirmar suas alterações, escolha Criar trabalho.

Como listar e monitorar o andamento de todas as solicitações de cálculo de soma de verificação

1. Faça login no AWS Management Console e abra o console do Amazon S3 em https://console.aws.amazon.com/s3/.

2. No painel de navegação esquerdo, escolha Batch Operations (Operações em lote).

3. Na página Operações em lotes, você pode analisar os detalhes do trabalho, como prioridade, taxa de conclusão e total de objetos.

4. Se você quiser gerenciar ou clonar um trabalho específico de cálculo de soma de verificação, clique em ID do trabalho para analisar informações adicionais do trabalho.

5. Na página específica do trabalho de cálculo de soma de verificação, analise os respectivos detalhes.

Cada trabalho de operações em lote passa por diferentes status de trabalho. Você também pode habilitar eventos do AWS CloudTrail no console do S3 para receber alertas sobre qualquer alteração no estado do trabalho. Para trabalhos ativos, você pode analisar o trabalho em execução e a taxa de conclusão na página Detalhes do trabalho.

Usar SDKs da AWS

Java

exemplo Exemplo: criar um trabalho de cálculo de soma de verificação

O seguinte exemplo mostra como criar um trabalho de cálculo de soma de verificação (como parte de uma solicitação Create job) e como especificar um manifesto:

// Required parameters
String accountId = "111122223333";
String roleArn = "arn:aws:iam::111122223333:role/BatchOperations";
String manifestArn = "arn:aws:s3:::my_manifests/manifest.csv";
String manifestEtag = "60e460c9d1046e73f7dde5043ac3ae85";
String reportBucketArn = "arn:aws:s3:::amzn-s3-demo-completion-report-bucket";
String reportExpectedBucketOwner = "111122223333";
String reportPrefix = "demo-report";

// Job Operation
S3ComputeObjectChecksumOperation s3ComputeObjectChecksum = S3ComputeObjectChecksumOperation.builder()
    .checksumAlgorithm(ComputeObjectChecksumAlgorithm.CRC64)
    .checksumType(ComputeObjectChecksumType.COMPOSITE)
    .build();

JobOperation operation = JobOperation.builder()
    .s3ComputeObjectChecksum(s3ComputeObjectChecksum)
    .build();

// Job Manifest
JobManifestLocation location = JobManifestLocation.builder()
    .eTag(manifestEtag)
    .objectArn(manifestArn)
    .build();

JobManifestSpec spec = JobManifestSpec.builder()
    .format(JobManifestFormat.S3_BATCH_OPERATIONS_CSV_20180820)
    .fields(Arrays.asList(JobManifestFieldName.BUCKET, JobManifestFieldName.KEY))
    .build();

JobManifest manifest = JobManifest.builder()
    .location(location)
    .spec(spec)
    .build();

// Completion Report
JobReport report = JobReport.builder()
    .bucket(reportBucketArn)
    .enabled(true) // Must be true
    .expectedBucketOwner(reportExpectedBucketOwner)
    .format(JobReportFormat.REPORT_CSV_20180820)
    .prefix(reportPrefix)
    .reportScope(JobReportScope.ALL_TASKS)
    .build();

// Create Job Request
CreateJobRequest request = CreateJobRequest.builder()
    .accountId(accountId)
    .confirmationRequired(false)
    .manifest(manifest)
    .operation(operation)
    .priority(10)
    .report(report)
    .roleArn(roleArn);

// Create the client
S3ControlClient client = S3ControlClient.builder()
    .credentialsProvider(new ProfileCredentialsProvider())
    .region(Region.US_EAST_1)
    .build();

// Send the request
try {
    CreateJobResponse response = client.createJob(request);
    System.out.println(response);    
} catch (AwsServiceException e) {
    System.out.println("AwsServiceException: " + e.getMessage());
    throw new RuntimeException(e);
} catch (SdkClientException e) {
    System.out.println("SdkClientException: " + e.getMessage());
    throw new RuntimeException(e);
}

exemplo Exemplo: visualizar detalhes do trabalho de cálculo de soma de verificação

O seguinte exemplo mostra como você pode especificar um ID de trabalho para visualizar os detalhes do trabalho (como a taxa de conclusão) de uma solicitação de trabalho de cálculo de soma de verificação:

DescribeJobRequest request = DescribeJobRequest.builder()
        .accountId("1234567890")
        .jobId("a16217a1-e082-48e5-b04f-31fac3a66b13")
        .build();

Como usar a AWS CLI

Você pode usar o comando create-job para criar um trabalho de operações em lote e fornecer a lista de objetos. Em seguida, especifique o algoritmo e o tipo de soma de verificação, bem como o bucket de destino em que você deseja salvar o relatório de cálculo de soma de verificação. O exemplo a seguir cria um trabalho de cálculo de soma de verificação do recurso Operações em Lote do S3 usando um manifesto gerado pelo S3 para a Conta da AWS 111122223333.

Para usar esse comando, substitua os espaços reservados para entrada do usuário por suas próprias informações:

aws s3control create-job \
    --account-id 111122223333 \
    --manifest '{"Spec":{"Format":"S3BatchOperations_CSV_20180820","Fields":["Bucket","Key"]},"Location":{"ObjectArn":"arn:aws:s3:::my-manifest-bucket/manifest.csv","ETag":"e0e8bfc50e0f0c5d5a1a5f0e0e8bfc50"}}' \
    --manifest-generator '{
        "S3JobManifestGenerator": {
          "ExpectedBucketOwner": "111122223333",
          "SourceBucket": "arn:aws:s3:::amzn-s3-demo-source-bucket",
          "EnableManifestOutput": true,
          "ManifestOutputLocation": {
            "ExpectedManifestBucketOwner": "111122223333",
            "Bucket": "arn:aws:s3:::amzn-s3-demo-manifest-bucket",
            "ManifestPrefix": "prefix",
            "ManifestFormat": "S3InventoryReport_CSV_20211130"
          },
          "Filter": {
            "CreatedAfter": "2023-09-01",
            "CreatedBefore": "2023-10-01",
            "KeyNameConstraint": {
              "MatchAnyPrefix": [
                "prefix"
              ],
              "MatchAnySuffix": [
                "suffix"
              ]
            },
            "ObjectSizeGreaterThanBytes": 100,
            "ObjectSizeLessThanBytes": 200,
            "MatchAnyStorageClass": [
              "STANDARD",
              "STANDARD_IA"
            ]
          }
        }
      }' \
    --operation '{"S3ComputeObjectChecksum":{"ChecksumAlgorithm":"CRC64NVME","ChecksumType":"FULL_OBJECT"}}' \
    --report '{"Bucket":"arn:aws:s3:::my-report-bucket","Format":"Report_CSV_20180820","Enabled":true,"Prefix":"batch-op-reports/","ReportScope":"AllTasks","ExpectedBucketOwner":"111122223333"}' \
    --priority 10 \
    --role-arn arn:aws:iam::123456789012:role/S3BatchJobRole \
    --client-request-token 6e023a7e-4820-4654-8c81-7247361aeb73 \
    --description "Compute object checksums" \
    --region us-west-2

Depois de enviar o trabalho de cálculo de soma de verificação, você recebe o ID do trabalho como resposta e ele aparece na página de listagem do recurso Operações em Lote do S3. O Amazon S3 processa a lista de objetos e calcula somas de verificação para cada objeto. Após a conclusão do trabalho, o S3 fornece um relatório consolidado de cálculo de soma de verificação no destino especificado.

Para monitorar o andamento do seu trabalho de cálculo de soma de verificação, use o comando describe-job. Esse comando verifica o status do trabalho de operações em lote especificado. Para usar esse comando, substitua os espaços reservados para entrada do usuário por suas próprias informações.

Por exemplo:

aws s3control describe-job --account-id 111122223333 --job-id 1234567890abcdef0

Para obter uma lista de todos os trabalhos de operações em lote ativos e concluídos, consulte Listing jobs ou list-jobs na Referência de comandos da AWS CLI.

Uso da API REST

Você pode enviar solicitações REST para verificar a integridade do objeto com o cálculo de soma de verificação usando CreateJob. Você pode monitorar o andamento das solicitações de cálculo de soma de verificação enviando solicitações REST à operação de API DescribeJob. Cada trabalho de operações em lote passa pelos seguintes status:

• NOVO

• PREPARANDO

• PRONTO

• ATIVO

• PAUSANDO

• PAUSADO

• CONCLUÍDO

• CANCELANDO

• COM FALHA

A resposta da API notifica você sobre o estado atual do trabalho.