Replicar objetos existentes com o S3 Batch Replication

O recurso S3 Batch Replication oferece uma maneira de replicar objetos que existiam antes que uma configuração de replicação estivesse em vigor, objetos que foram replicados anteriormente e objetos cuja replicação falhou. Isso é feito por meio do uso de um trabalho de operações em lote. Isso é diferente da replicação em tempo real, que replica de modo contínuo e automático, os objetos novos entre buckets do Amazon S3. Para começar a usar a replicação em lote, você pode:

• Iniciar a replicação em lote para uma nova regra ou destino de replicação : você pode criar um único trabalho de replicação em lote ao criar a primeira regra em uma nova configuração de replicação ou ao adicionar um novo destino a uma configuração existente por meio do AWS Management Console.

• Iniciar a replicação em lote para uma configuração de replicação existente: você pode criar um novo trabalho de replicação em lote usando S3 Batch Operations por meio dos AWS SDKs, da AWS Command Line Interface (AWS CLI) ou o console do Simple Storage Service (Amazon S3).

Quando o trabalho de replicação em lote termina, você recebe um relatório de conclusão. Para obter mais informações sobre como usar o relatório para examinar o trabalho, consulte Rastreamento de relatórios de status e conclusão.

Considerações sobre o recurso S3 Batch Replication

• O bucket de origem deve ter uma configuração de replicação existente. Para habilitar a replicação, consulte Configuração da replicação e Demonstrações: exemplos para configurar a replicação.

• Se o ciclo de vida do S3 estiver configurado para seu bucket, recomendamos desabilitar as regras de ciclo de vida enquanto o trabalho de replicação em lote estiver ativo. Isso garantirá a paridade entre os buckets de origem e de destino. Caso contrário, esses buckets podem divergir e o bucket de destino não será uma réplica exata do bucket de origem. Considere o seguinte:

  • Seu bucket de origem tem várias versões em um objeto e um marcador de exclusão.

  • Seus buckets de origem e destino têm uma configuração de ciclo de vida para remover marcadores de exclusão expirados.

  A replicação em lote pode replicar o marcador de exclusão para o bucket de destino antes de replicar as versões do objeto. Isso pode fazer com que o marcador de exclusão seja marcado como expirado e seja removido do bucket de destino antes que os objetos sejam copiados.

• A função do AWS Identity and Access Management (IAM) que você especifica para executar o trabalho de operações em lote deve ter permissões para executar a operação de replicação de lote subjacente. Para obter mais informações sobre como criar funções do IAM, consulte Configurar políticas do IAM para replicação em lote.

• A replicação em lote requer um manifesto que pode ser gerado pelo Simple Storage Service (Amazon S3). O manifesto gerado deve ser armazenado na mesma Região da AWS que o bucket de origem. Se escolher não gerar o manifesto, você poderá fornecer um relatório do Amazon S3 Inventory ou um arquivo CSV que contenha os objetos que deseja replicar.

• A replicação em lote não é compatível com a nova replicação de objetos que foram excluídos com o ID de versão do objeto do bucket de destino. Para replicar esses objetos novamente, você pode copiar os objetos de origem no local com um trabalho de cópia em lote. Copiar esses objetos no local criará versões do objeto no bucket de origem e iniciará a replicação automaticamente para o destino. A exclusão e a recriação do bucket de destino não iniciarão a replicação.

  Para obter mais informações sobre cópia em lotes, consulte Exemplos que usam o Batch Operations para copiar objetos.

• Se você estiver usando uma regra de replicação no bucket do S3, atualize sua configuração de replicação, concedendo ao perfil do IAM anexado à regra de replicação as permissões adequadas para replicar objetos. O perfil do IAM deve ter permissões para executar a ação do S3 no bucket de origem e de destino.

• Se você enviar vários trabalhos de replicação em lote para o mesmo bucket em um curto espaço de tempo, o S3 executará esses trabalhos simultaneamente.

• Se você enviar vários trabalhos de replicação em lote para dois buckets diferentes, esteja ciente de que o S3 pode não executar todos os trabalhos simultaneamente. Se você exceder o número de trabalhos de replicação em lote que podem ser executados ao mesmo tempo em sua conta, o S3 pausará os trabalhos de menor prioridade para trabalhar nos de maior prioridade. Depois que os itens de maior prioridade forem concluídos, todos os trabalhos pausados se tornarão ativos novamente.

• A replicação em lote não é compatível para objetos armazenados nas classes de armazenamento S3 Glacier Flexible Retrieval e S3 Glacier Deep Archive.

• Para replicar em lote objetos do S3 Intelligent-Tiering armazenados no nível de armazenamento Archive Access ou Deep Archive Access, é necessário primeiro iniciar uma solicitação de restauração e aguardar até que os objetos sejam movidos para o nível Frequent Access.

Especificando um manifesto para um trabalho de replicação em lote

Um manifesto é um objeto do Amazon S3 que contém as chaves de objeto em que você deseja que o Simple Storage Service (Amazon S3) atue. Se desejar criar um trabalho de replicação em lote, você deverá fornecer um manifesto gerado pelo usuário ou fazer com que o Simple Storage Service (Amazon S3) gere um manifesto com base na configuração de replicação.

Se fornecer um manifesto gerado pelo usuário, ele deverá estar na forma de um relatório de inventário do Amazon S3 Inventory ou um arquivo CSV. Se os objetos no manifesto estiverem em um bucket versionado, você deverá especificar os IDs de versão dos objetos. Somente o objeto com o ID de versão especificado no manifesto será replicado. Para saber mais sobre como especificar um manifesto, consulte Especificar um manifesto.

Se você preferir que o Amazon S3 gere um arquivo de manifesto em seu nome, os objetos listados usarão o mesmo bucket de origem, prefixo e tags de todas as configurações do bucket de origem. Com um manifesto gerado, o Simple Storage Service (Amazon S3) replicará todas as versões elegíveis dos objetos.

nota

Se escolher que o manifesto seja gerado, ele deverá ser armazenado na mesma Região da AWS que o bucket de origem.

Filtros para um trabalho de replicação em lote

Ao criar o trabalho de replicação em lote, você pode especificar filtros adicionais, como data de criação e status de replicação do objeto para reduzir o escopo do trabalho.

É possível filtrar os objetos a serem replicados com base no valor de ObjectReplicationStatuses, fornecendo um ou mais dos seguintes valores:

• "NONE": indica que o Simple Storage Service (Amazon S3) nunca tentou replicar o objeto antes.

• "FAILED": indica que o Simple Storage Service (Amazon S3) tentou replicar o objeto, mas não teve êxito.

• "COMPLETED": indica que o Simple Storage Service (Amazon S3) já replicou com êxito o objeto anteriormente.

• "REPLICA": indica que esse é um objeto que foi replicado pelo Simple Storage Service (Amazon S3) de outra origem.

Para obter mais informações sobre a replicação, consulte Obtenção de informações sobre o status da replicação.

Se você não filtrar com base no status da replicação, as operações em lote tentarão replicar tudo o que for elegível. Dependendo do objetivo, você pode definir ObjectReplicationStatuses com um dos seguintes valores:

• Se desejar replicar somente objetos existentes que nunca foram replicados, inclua apenas "NONE".

• Se desejar repetir a replicação somente dos objetos cuja replicação falhou anteriormente, inclua apenas "FAILED".

• Se desejar replicar os objetos existentes e tentar novamente replicar os objetos cuja replicação falhou anteriormente, inclua "NONE" e "FAILED".

• Se desejar preencher um bucket de destino com os objetos que foram replicados para outro destino, inclua "COMPLETED".

• Se você desejar replicar objetos anteriormente replicados, inclua "REPLICA".

Relatório de conclusão da replicação em lote

Ao criar um trabalho de replicação em lote, solicite um relatório de conclusão CSV. Este relatório mostra objetos, códigos de sucesso ou falha na replicação, saídas e descrições. Para obter mais informações sobre monitoramento de trabalhos e relatórios de conclusão, consulte Relatórios de conclusão.

Para obter uma lista de códigos e descrições de falhas de replicação, consulte Motivos de falha da replicação do Amazon S3.

Introdução à replicação em lote

Para saber mais sobre como usar a replicação em lote, consulte o Tutorial: replicar objetos existentes nos buckets do Amazon S3 com o S3 Batch Replication.