Importação automática de atualizações do bucket do S3

É possível configurar o FSx para Lustre para atualizar automaticamente metadados no sistema de arquivos conforme os objetos são adicionados, alterados ou excluídos do bucket do S3. O FSx para Lustre cria, atualiza ou exclui a listagem de arquivos e diretórios, correspondendo à alteração no S3. Se o objeto alterado no bucket do S3 não contiver mais seus metadados, o FSx para Lustre manterá os valores atuais dos metadados do arquivo, incluindo as permissões atuais.

nota

O sistema de arquivos do FSx para Lustre e o bucket do S3 vinculado devem estar localizados na mesma Região da AWS para importar atualizações automaticamente.

Você pode configurar a importação automática ao criar a associação do repositório de dados e pode atualizar as configurações de importação automática a qualquer momento usando o console de gerenciamento FSx, AWS CLI o ou AWS a API.

nota

É possível configurar a importação e a exportação automáticas na mesma associação de repositório de dados. Este tópico descreve apenas o recurso de importação automática.

Importante

• Se um objeto for modificado no S3 com todas as políticas de importação automática habilitadas e a exportação automática desabilitada, o conteúdo desse objeto sempre será importado para um arquivo correspondente no sistema de arquivos. Se um arquivo já existir no local de destino, ele será sobrescrito.

• Se um arquivo for modificado no sistema de arquivos e no S3, com todas as políticas de importação e exportação automáticas habilitadas, o arquivo no sistema de arquivos ou o objeto no S3 poderá ser substituído pelo outro. Não é garantido que uma edição posterior em um local substitua uma edição anterior em outro local. Se você modificar o mesmo arquivo no sistema de arquivos e no bucket do S3, certifique-se da coordenação no nível da aplicação para evitar conflitos. O FSx para Lustre não evita gravações conflitantes em vários locais.

A política de importação especifica como você deseja que o FSx para Lustre atualize seu sistema de arquivos à medida que o conteúdo muda no bucket do S3 vinculado. Uma associação de repositório de dados pode ter uma das seguintes políticas de importação:

• Novo: o FSx para Lustre atualiza automaticamente os metadados de arquivos e diretórios somente quando novos objetos são adicionados ao repositório de dados do S3 vinculado.

• Alterado: o FSx para Lustre atualiza automaticamente os metadados de arquivos e diretórios somente quando um objeto existente no repositório de dados é alterado.

• Excluído: o FSx para Lustre atualiza automaticamente os metadados de arquivos e diretórios somente quando um objeto no repositório de dados é excluído.

• Qualquer combinação de novo, alterado e excluído: o FSx para Lustre atualiza automaticamente os metadados de arquivos e diretórios quando qualquer uma das ações especificadas ocorre no repositório de dados do S3. Por exemplo, você pode especificar para que o sistema de arquivos seja atualizado quando um objeto for adicionado (Novo) ou removido (Excluído) no repositório do S3, mas não seja atualizado quando um objeto for alterado.

• Nenhuma política configurada: o FSx para Lustre não atualiza os metadados de arquivos e diretórios no sistema de arquivos quando objetos são adicionados, alterados ou excluídos no repositório de dados do S3. Se você não configurar uma política de importação, a importação automática será desabilitada para a associação de repositório de dados. Você ainda pode importar manualmente as alterações de metadados usando uma tarefa de importação de repositório de dados, conforme descrito em Como usar tarefas do repositório de dados para importar alterações.

Importante

A importação automática não sincronizará as seguintes ações do S3 com o sistema de arquivos do FSx para Lustre vinculado:

• Exclusão de um objeto usando as expirações do ciclo de vida do objeto do S3

• Exclusão permanente da versão atual do objeto em um bucket habilitado para versionamento

• Cancelamento da exclusão de um objeto em um bucket com versionamento habilitado

Na maioria dos casos de uso, recomendamos que você configure uma política de importação de objeto Novo, Alterado e Excluído. Essa política garante que todas as atualizações feitas no repositório de dados vinculado do S3 sejam importadas automaticamente para o sistema de arquivos.

Quando você define uma política de importação para atualizar metadados de arquivos e diretórios do sistema de arquivos com base nas alterações ocorridas no repositório de dados do S3 vinculado, o FSx para Lustre cria uma configuração de notificação de evento no bucket do S3 vinculado. A configuração de notificação de evento é chamada de FSx. Não modifique nem exclua a configuração de notificação de evento FSx no bucket do S3. Isso evitará a importação automática de metadados de arquivos e diretórios atualizados para seu sistema de arquivos.

Quando o FSx para Lustre atualiza uma listagem de arquivos que foi alterada no repositório de dados do S3 vinculado, ele substitui o arquivo local pela versão atualizada, mesmo que o arquivo esteja bloqueado para gravação.

O FSx para Lustre faz de tudo para atualizar o sistema de arquivos. O FSx para Lustre não consegue atualizar o sistema de arquivos nas seguintes situações:

• Se FSx para Lustre não tiver permissão para abrir o objeto do S3 novo ou alterado. Nesse caso, o FSx para Lustre ignora o objeto e continua. O estado do ciclo de vida do DRA não é afetado.

• Se o FSx para Lustre não tiver permissões no nível do bucket, como para GetBucketAcl. Isso fará com que o estado do ciclo de vida do repositório de dados fique com uma Configuração incorreta. Para ter mais informações, consulte Estado do ciclo de vida da associação de repositório de dados.

• Se a configuração de notificação de evento FSx no bucket do S3 vinculado for excluída ou alterada. Isso fará com que o estado do ciclo de vida do repositório de dados fique com uma Configuração incorreta. Para ter mais informações, consulte Estado do ciclo de vida da associação de repositório de dados.

Recomendamos que você ative o registro em CloudWatch Registros para registrar informações sobre arquivos ou diretórios que não puderam ser importados automaticamente. Os avisos e erros no log contêm informações sobre o motivo da falha. Para ter mais informações, consulte Registros em log de eventos de repositório de dados.

Pré-requisitos

As seguintes condições são obrigatórias para que o FSx para Lustre importe automaticamente arquivos novos, alterados ou excluídos no bucket do S3 vinculado:

• O sistema de arquivos e o bucket do S3 vinculado estejam localizados na mesma Região da AWS.

• O bucket do S3 não tenha um estado de ciclo de vida configurado incorretamente. Para ter mais informações, consulte Estado do ciclo de vida da associação de repositório de dados.

• Sua conta tenha as permissões necessárias para configurar e receber notificações de evento no bucket do S3 vinculado.

Tipos de alterações de arquivo com suporte

O FSx para Lustre oferece suporte à importação das seguintes alterações em arquivos e diretórios que ocorrem no bucket do S3 vinculado:

• Alterações no conteúdo do arquivo

• Alterações nos metadados de arquivos ou diretórios.

• Alterações no destino ou nos metadados de links simbólicos.

• Exclusões de arquivos e diretórios. Se você excluir um objeto no bucket do S3 vinculado que corresponde a um diretório no sistema de arquivos (ou seja, um objeto com um nome de chave que termina com uma barra), o FSx para Lustre só excluirá o diretório correspondente no sistema de arquivos se ele estiver vazio.

Atualização das configurações de importação

Você pode definir as configurações de importação de um sistema de arquivos para um bucket do S3 vinculado ao criar a associação de repositório de dados. Para ter mais informações, consulte Como criar um link para um bucket do S3.

Você também pode atualizar as configurações de importação a qualquer momento, incluindo a política de importação. Para ter mais informações, consulte Atualização das configurações de associação de repositório de dados.

Monitoramento da importação automática

Se a taxa de alteração em seu bucket do S3 exceder a taxa na qual a importação automática consegue processar essas alterações, as correspondentes alterações de metadados sendo importadas para o sistema de arquivos do FSx para Lustre serão atrasadas. Se isso ocorrer, você poderá usar a métrica AgeOfOldestQueuedMessage para monitorar a idade da alteração mais antiga que está aguardando para ser processada pela importação automática. Para obter mais informações sobre essa métrica, consulte AutoImport e AutoExport métricas.

Se o atraso na importação de alterações de metadados exceder 14 dias (conforme medido usando a métrica AgeOfOldestQueuedMessage), as alterações no bucket do S3 que não foram processadas pela importação automática não serão importadas para o sistema de arquivos. Além disso, o ciclo de vida da associação de repositório de dados é marcado como CONFIGURAÇÃO INCORRETA e a importação automática é interrompida. Se você tiver a exportação automática habilitada, ela continuará monitorando seu sistema de arquivos do FSx para Lustre em busca de alterações. No entanto, alterações adicionais não são sincronizadas do sistema de arquivos do FSx para Lustre com o S3.

Para retornar a associação de repositório de dados do estado de ciclo de vida CONFIGURAÇÃO INCORRETA para o estado DISPONÍVEL, você deve atualizar a associação de repositório de dados. Você pode atualizar sua associação de repositório de dados usando o comando update-data-repository-associationCLI (ou a operação de API UpdateDataRepositoryAssociationcorrespondente). O único parâmetro de solicitação necessário é o AssociationID da associação de repositório de dados que você deseja atualizar.

Depois que o estado do ciclo de vida da associação de repositório de dados for alterado para DISPONÍVEL, a importação automática (e a exportação automática, se habilitada) será reiniciada. Na reinicialização, a exportação automática retoma a sincronização das alterações do sistema de arquivos com o S3. Para sincronizar os metadados de objetos novos e alterados no S3 com o sistema de arquivos do FSx para Lustre que não foram importados ou são de quando a associação de repositório de dados estava em um estado de configuração incorreta, execute uma tarefa de importação do repositório de dados. As tarefas de importação do repositório de dados não sincronizam as exclusões no bucket do S3 com o sistema de arquivos do FSx para Lustre. Se quiser sincronizar totalmente o S3 com seu sistema de arquivos (inclusive exclusões), você deve recriar seu sistema de arquivos.

Para garantir que os atrasos na importação de alterações de metadados não excedam 14 dias, recomendamos que você defina um alarme na métrica AgeOfOldestQueuedMessage e reduza a atividade no bucket do S3 se a métrica AgeOfOldestQueuedMessage ultrapassar o limite do alarme. Em um sistema de arquivos do FSx para Lustre conectado a um bucket do S3 com um único fragmento enviando continuamente o número máximo de alterações possíveis do S3, com apenas a importação automática em execução no sistema de arquivos do FSx para Lustre, a importação automática, em 14 dias, consegue processar um backlog de sete horas de alterações do S3.

Além disso, com uma única ação do S3, você pode gerar mais alterações do que a importação automática processará em 14 dias. Exemplos desses tipos de ações incluem, mas não estão limitados a, uploads AWS Snowball para o S3 e exclusões em grande escala. Se você fizer uma alteração em grande escala no bucket do S3 que deseja sincronizar com o sistema de arquivos do FSx para Lustre, para evitar que as alterações de importação automática excedam 14 dias, exclua o sistema de arquivos e recrie-o quando a alteração do S3 for concluída.

Se a métrica AgeOfOldestQueuedMessage estiver crescendo, revise as métricas GetRequests, PutRequests, PostRequests e DeleteRequests do bucket do S3 em busca de alterações de atividade que causariam um aumento na taxa e no número de alterações enviadas para importação automática. Para obter informações sobre as métricas disponíveis do S3, consulte Monitoramento do Amazon S3 no Guia do usuário do Amazon S3.

Para obter uma lista de todas as métricas disponíveis do FSx para Lustre, consulte Monitoramento com a Amazon CloudWatch.