Exportação automática de atualizações para o bucket do S3

Você pode configurar seu FSx sistema de arquivos for Lustre para atualizar automaticamente o conteúdo de um bucket S3 vinculado à medida que os arquivos são adicionados, alterados ou excluídos no sistema de arquivos. FSxfor Lustre cria, atualiza ou exclui o objeto no S3, correspondendo à alteração no sistema de arquivos.

nota

A exportação automática não está disponível FSx para sistemas de arquivos ou Scratch 1 sistemas de arquivos Lustre 2.10.

Você pode exportar para um repositório de dados que esteja no Região da AWS mesmo sistema de arquivos ou em um diferente Região da AWS.

Você pode configurar a exportação automática ao criar a associação do repositório de dados e atualizar as configurações de exportação automática a qualquer momento usando o console FSx de gerenciamento AWS CLI, o e o. AWS API

nota

É possível configurar a exportação e a importação automáticas na mesma associação de repositório de dados. Este tópico descreve apenas o recurso de exportação automática.

Importante

• Se um arquivo for modificado no sistema de arquivos com todas as políticas de exportação automática habilitadas e a importação automática desabilitada, o conteúdo desse objeto sempre será exportado para um objeto correspondente no S3. Se um objeto já existir no local de destino, ele será sobrescrito.

• Se um arquivo for modificado no sistema de arquivos e no S3, com todas as políticas de importação e exportação automáticas habilitadas, o arquivo no sistema de arquivos ou o objeto no S3 poderá ser substituído pelo outro. Não é garantido que uma edição posterior em um local substitua uma edição anterior em outro local. Se você modificar o mesmo arquivo no sistema de arquivos e no bucket do S3, certifique-se da coordenação no nível da aplicação para evitar conflitos. FSxfor Lustre não evita gravações conflitantes em vários locais.

A política de exportação especifica como você deseja FSx que o Lustre atualize seu bucket do S3 vinculado à medida que o conteúdo muda no sistema de arquivos. Uma associação de repositório de dados pode ter uma das seguintes políticas de exportação automática:

• Novo — FSx o Lustre atualiza automaticamente o repositório de dados do S3 somente quando um novo arquivo, diretório ou link simbólico é criado no sistema de arquivos.

• Alterado — FSx o Lustre atualiza automaticamente o repositório de dados do S3 somente quando um arquivo existente no sistema de arquivos é alterado. Para alterações no conteúdo do arquivo, o arquivo deve ser fechado antes de ser propagado para o repositório do S3. As alterações de metadados (renomeação, propriedade, permissões e timestamps) são propagadas quando a operação é concluída. Para renomear alterações (incluindo movimentações), o objeto do S3 existente (pré-renomeado) é excluído e um novo objeto do S3 é criado com o novo nome.

• Excluído — FSx o Lustre atualiza automaticamente o repositório de dados do S3 somente quando um arquivo, diretório ou link simbólico é excluído do sistema de arquivos.

• Qualquer combinação de Novo, Alterado e Excluído — FSx for Lustre atualiza automaticamente o repositório de dados do S3 quando qualquer uma das ações especificadas ocorre no sistema de arquivos. Por exemplo, você pode especificar para que o repositório do S3 seja atualizado quando um arquivo for adicionado (Novo) ou removido (Excluído) no sistema de arquivos, mas não quando um arquivo for alterado.

• Nenhuma política configurada — FSx pois o Lustre não atualiza automaticamente o repositório de dados do S3 quando os arquivos são adicionados, alterados ou excluídos do sistema de arquivos. Se você não configurar uma política de exportação, a exportação automática será desabilitada. Você ainda pode exportar manualmente as alterações usando uma tarefa de exportação de repositório de dados, conforme descrito em Como usar tarefas do repositório de dados para exportar alterações.

Na maioria dos casos de uso, recomendamos que você configure uma política de exportação de objeto Novo, Alterado e Excluído. Essa política garante que todas as atualizações feitas no sistema de arquivos sejam exportadas automaticamente para o repositório de dados do S3 vinculado.

Recomendamos que você ative o registro no CloudWatch Logs para registrar informações sobre quaisquer arquivos ou diretórios que não puderam ser exportados automaticamente. Os avisos e erros no log contêm informações sobre o motivo da falha. Para obter mais informações, consulte Registros em log de eventos de repositório de dados.

Atualização de configurações de exportação

Você pode definir as configurações de exportação de um sistema de arquivos para um bucket do S3 vinculado ao criar a associação de repositório de dados. Para obter mais informações, consulte Como criar um link para um bucket do S3.

Você também pode atualizar as configurações de exportação a qualquer momento, incluindo a política de exportação. Para obter mais informações, consulte Atualização das configurações de associação de repositório de dados.

Monitoramento da exportação automática

Você pode monitorar associações de repositórios de dados habilitadas para exportação automática usando um conjunto de métricas publicadas na Amazon CloudWatch. A métrica AgeOfOldestQueuedMessage representa a idade da atualização mais antiga feita no sistema de arquivos que ainda não foi exportada para o S3. Se a métrica AgeOfOldestQueuedMessage ficar acima de zero por um longo período de tempo, recomendamos reduzir temporariamente o número de alterações (especialmente as renomeações de diretórios) que estão sendo feitas ativamente no sistema de arquivos até que a fila de mensagens seja reduzida. Para obter mais informações, consulte AutoImport e AutoExport métricas.

Importante

Ao excluir uma associação de repositório de dados ou sistema de arquivos com a exportação automática habilitada, primeiro verifique se AgeOfOldestQueuedMessage é zero, o que significa que não há alterações que ainda não foram exportadas. Se AgeOfOldestQueuedMessage for maior que zero quando você excluir sua associação de repositório de dados ou sistema de arquivos, as alterações que ainda não foram exportadas não chegarão ao bucket do S3 vinculado. Para evitar isso, espere AgeOfOldestQueuedMessage chegar a zero antes de excluir sua associação de repositório de dados ou sistema de arquivos.