Criar um trabalho de replicação em lote para regras de replicação existentes - Amazon Simple Storage Service

Criar um trabalho de replicação em lote para regras de replicação existentes

Você pode configurar o S3 Batch Replication para uma configuração de replicação existente usando os AWS SDKs, a AWS Command Line Interface (AWS CLI) ou o console do Simple Storage Service (Amazon S3). Para ter uma visão geral da replicação em lote, consulte Replicar objetos existentes com o S3 Batch Replication.

Como pré-requisito, você deve criar uma função do AWS Identity and Access Management (IAM) de operações em lote para conceder ao Simple Storage Service (Amazon S3) permissões para executar ações em seu nome, consulte Configurar políticas do IAM para replicação em lote.

Quando o trabalho de replicação em lote termina, você recebe um relatório de conclusão. Para obter mais informações sobre como usar o relatório para examinar o trabalho, consulte Rastreamento de relatórios de status e conclusão.

  1. Faça login no AWS Management Console e abra o console do Amazon S3 em https://console.aws.amazon.com/s3/.

  2. Selecione Batch Operations (Operações em lote) no painel de navegação do console do Amazon S3.

  3. Selecione Create job (Criar trabalho).

  4. Selecione a Region (região) onde você deseja criar o trabalho.

  5. Selecione o Manifest format (Formato do manifesto). Esse exemplo mostrará como criar um manifesto com base em uma configuração de replicação do S3 existente.

    nota

    O manifesto é uma lista de todos os objetos em que você deseja que a ação especificada seja executada. Para saber mais sobre os manifestos de operações em lote, consulte Especificar um manifesto. Se você tiver um manifesto preparado, escolha S3 inventory report (manifest.json) [Relatório de inventário do S3 (manifest.json)] ou CSV. Se os objetos no manifesto estiverem em um bucket com versão, você deverá especificar os IDs de versão dos objetos. Para obter mais informações sobre como criar um manifesto, consulte Especificar um manifesto.

  6. Para criar um manifesto com base na configuração de replicação, escolha Create manifest using S3 Replication configuration (Criar manifesto usando a configuração do S3 Replication). Depois, escolha o bucket de origem de sua configuração de replicação.

  7. (Opcional) Você pode incluir filtros adicionais, como data de criação e status de replicação do objeto. Para obter exemplos de como filtrar por status de replicação, consulte Especificando um manifesto para um trabalho de replicação em lote.

  8. Para salvar um manifesto, selecione Save Batch Operations manifest (Salvar manifesto de operações em lote).

    1. Se você optar por gerar e salvar um manifesto, deverá escolher Bucket nesta conta ou Bucket em outra Conta da AWS. Especifique o nome do bucket na caixa de texto.

      nota

      O manifesto gerado deve ser armazenado na mesma Região da AWS que o bucket de origem.

    2. Selecione Tipo de chave de criptografia.

  9. (Opcional) Forneça uma Description (Descrição).

  10. Ajuste a Priority (Prioridade) do trabalho, se necessário. Números mais altos indicam maior prioridade. O Simple Storage Service (Amazon S3) tenta executar trabalhos de prioridade mais alta antes dos trabalhos de prioridade mais baixa. Para obter mais informações sobre prioridade de trabalhos, consulte Atribuir prioridade aos trabalhos.

  11. (Opcional) Gere um relatório de conclusão. Para gerar o relatório, selecione Generate completion report (Gerar relatório de conclusão).

    Se escolher gerar um relatório de conclusão, você deverá escolher se o relatório informará Failed tasks only (Apenas as tarefas que falharam) ou All tasks (Todas as tarefas) e fornecer um bucket de destino para o relatório.

  12. Selecione uma função do IAM válida.

    nota

    Para obter mais informações sobre como criar uma função do IAM, consulte Configurar políticas do IAM para replicação em lote.

  13. (Opcional) Adicione etiquetas de trabalho à tarefa de replicação em lote.

  14. Escolha Próximo.

  15. Revise a configuração do trabalho e selecione Create job (Criar trabalho).

O exemplo a seguir cria um trabalho de Replicação em Lote do S3 usando um manifesto gerado pelo S3 para a Conta da AWS 111122223333. Este exemplo tentará replicar os objetos existentes e os objetos cuja replicação falhou anteriormente. Para obter informações sobre como filtrar por status de replicação, consulte Especificando um manifesto para um trabalho de replicação em lote.

aws s3control create-job --account-id 111122223333 --operation '{"S3ReplicateObject":{}}' --report '{"Bucket":"arn:aws:s3:::*** completion report bucket ****","Prefix":"batch-replication-report", "Format":"Report_CSV_20180820","Enabled":true,"ReportScope":"AllTasks"}' --manifest-generator '{"S3JobManifestGenerator": {"ExpectedBucketOwner": "111122223333", "SourceBucket": "arn:aws:s3:::*** replication source bucket ***", "EnableManifestOutput": false, "Filter": {"EligibleForReplication": true, "ObjectReplicationStatuses": ["NONE","FAILED"]}}}' --priority 1 --role-arn arn:aws:iam::111122223333:role/batch-Replication-IAM-policy --no-confirmation-required --region source-bucket-region
nota

O trabalho deve ser iniciado na mesma Região da AWS do bucket de origem da replicação. A função do IAM role/batch-Replication-IAM-policy foi criada anteriormente. Consulte Configurar políticas do IAM para replicação em lote.

Após iniciar com êxito um trabalho de replicação em lote, você receberá o ID do trabalho como resposta. Você pode monitorar o trabalho usando o comando a seguir.

aws s3control describe-job --account-id 111122223333 --job-id job-id --region source-bucket-region

O exemplo a seguir cria um trabalho do S3 Batch Replication usando um manifesto gerado pelo usuário para a Conta da AWS 111122223333. Se os objetos no manifesto estiverem em um bucket versionado, você deverá especificar os IDs de versão dos objetos. Somente o objeto com o ID de versão especificado no manifesto será replicado. Para obter mais informações sobre como criar um manifesto, consulte Especificar um manifesto.

aws s3control create-job --account-id 111122223333 --operation '{"S3ReplicateObject":{}}' --report '{"Bucket":"arn:aws:s3:::*** completion report bucket ****","Prefix":"batch-replication-report", "Format":"Report_CSV_20180820","Enabled":true,"ReportScope":"AllTasks"}' --manifest '{"Spec":{"Format":"S3BatchOperations_CSV_20180820","Fields":["Bucket","Key","VersionId"]},"Location":{"ObjectArn":"arn:aws:s3:::*** completion report bucket ****/manifest.csv","ETag":"Manifest Etag"}}' --priority 1 --role-arn arn:aws:iam::111122223333:role/batch-Replication-IAM-policy --no-confirmation-required --region source-bucket-region
nota

O trabalho deve ser iniciado na mesma Região da AWS do bucket de origem da replicação. A função do IAM role/batch-Replication-IAM-policy foi criada anteriormente. Consulte Configurar políticas do IAM para replicação em lote.

Após iniciar com êxito um trabalho de replicação em lote, você receberá o ID do trabalho como resposta. Você pode monitorar o trabalho usando o comando a seguir.

aws s3control describe-job --account-id 111122223333 --job-id job-id --region source-bucket-region