Como criar um link para um bucket do S3

Os procedimentos a seguir orientam você no processo de criação de uma associação de repositório de dados de um sistema de arquivos FSx for Lustre a um bucket S3 existente, usando o AWS Management Console e AWS Command Line Interface ().AWS CLI Para obter informações sobre como adicionar permissões a um bucket do S3 para vinculá-lo ao seu sistema de arquivos, consulteAdição de permissões para usar repositórios de dados no Amazon S3.

nota

Os repositórios de dados não podem ser vinculados a sistemas de arquivos que tenham backups de sistema de arquivos habilitados. Desative os backups antes da vinculação a um repositório de dados.

Para vincular um bucket do S3 ao criar um sistema de arquivos (console)

1. Abra o FSx console da Amazon em https://console.aws.amazon.com/fsx/.

2. Siga o procedimento para a criação de um novo sistema de arquivos descrito na Etapa 1: Crie seu sistema de arquivos FSx for Lustre na seção de Conceitos básicos.

3. Abra a seção Importação/exportação do repositório de dados: opcional. Por padrão, o recurso está desabilitado:

4. Escolha Importar e exportar dados no S3.

5. Na caixa de diálogo Informações de associação de repositório de dados, forneça informações para os campos a seguir.

   • Caminho do sistema de arquivos: insira o nome de um diretório de alto nível (como/ns1) ou subdiretório (como/ns1/subdir) dentro do sistema de FSx arquivos da Amazon que será associado ao repositório de dados do S3. A barra inicial no caminho é obrigatória. Duas associações de repositórios de dados não podem ter caminhos de sistema de arquivos sobrepostos. Por exemplo, se um repositório de dados estiver associado ao caminho do sistema de arquivos /ns1, você não poderá vincular outro repositório de dados ao caminho do sistema de arquivos /ns1/ns2. A configuração Caminho do sistema de arquivos deve ser exclusiva em todas as associações de repositório de dados do sistema de arquivos.

   • Caminho do repositório de dados: insira o caminho de um bucket ou prefixo do S3 existente a ser associado ao sistema de arquivos (por exemplo, s3://my-bucket/my-prefix/). Duas associações de repositório de dados não podem ter caminhos de repositório de dados sobrepostos. Por exemplo, se um repositório de dados com o caminho s3://myBucket/myPrefix/ estiver vinculado ao sistema de arquivos, você não poderá criar outra associação de repositório de dados com o caminho s3://myBucket/myPrefix/mySubPrefix do repositório de dados. A configuração Caminho do repositório de dados deve ser exclusiva em todas as associações de repositório de dados do sistema de arquivos.

   • Importar metadados do repositório: selecione essa propriedade para, opcionalmente, executar uma tarefa de importação do repositório de dados para importar metadados imediatamente após a criação do link.

6. Para Configurações de importação: opcional, defina uma Política de importação que determine como suas listagens de arquivos e diretórios são mantidas atualizadas à medida que você adiciona, altera ou exclui objetos em seu bucket do S3. Por exemplo, escolha Novo para importar metadados para seu sistema de arquivos de novos objetos criados no bucket do S3. Para obter mais informações sobre políticas de importação, consulte Importação automática de atualizações do bucket do S3.

7. Em Política de exportação, defina uma política de exportação que determine como seus arquivos são exportados para o bucket do S3 vinculado à medida que você adiciona, altera ou exclui objetos em seu sistema de arquivos. Por exemplo, escolha Alterado para exportar objetos cujo conteúdo ou metadados foram alterados em seu sistema de arquivos. Para obter mais informações sobre políticas de exportação, consulte Exportação automática de atualizações para o bucket do S3.

8. Prossiga para a próxima seção do assistente de criação do sistema de arquivos.

Para vincular um bucket do S3 a um sistema de arquivos existente (console)

1. Abra o FSx console da Amazon em https://console.aws.amazon.com/fsx/.

2. No painel, escolha Sistemas de arquivos e selecione o sistema de arquivos para o qual você deseja criar uma associação de repositório de dados.

3. Escolha a guia Repositório de dados.

4. No painel Associações de repositório de dados, escolha Criar associação de repositório de dados.

5. Na caixa de diálogo Informações de associação de repositório de dados, forneça informações para os campos a seguir.

   • Caminho do sistema de arquivos: insira o nome de um diretório de alto nível (como/ns1) ou subdiretório (como/ns1/subdir) dentro do sistema de FSx arquivos da Amazon que será associado ao repositório de dados do S3. A barra inicial no caminho é obrigatória. Duas associações de repositórios de dados não podem ter caminhos de sistema de arquivos sobrepostos. Por exemplo, se um repositório de dados estiver associado ao caminho do sistema de arquivos /ns1, você não poderá vincular outro repositório de dados ao caminho do sistema de arquivos /ns1/ns2. A configuração Caminho do sistema de arquivos deve ser exclusiva em todas as associações de repositório de dados do sistema de arquivos.

   • Caminho do repositório de dados: insira o caminho de um bucket ou prefixo do S3 existente a ser associado ao sistema de arquivos (por exemplo, s3://my-bucket/my-prefix/). Duas associações de repositório de dados não podem ter caminhos de repositório de dados sobrepostos. Por exemplo, se um repositório de dados com o caminho s3://myBucket/myPrefix/ estiver vinculado ao sistema de arquivos, você não poderá criar outra associação de repositório de dados com o caminho s3://myBucket/myPrefix/mySubPrefix do repositório de dados. A configuração Caminho do repositório de dados deve ser exclusiva em todas as associações de repositório de dados do sistema de arquivos.

   • Importar metadados do repositório: selecione essa propriedade para, opcionalmente, executar uma tarefa de importação do repositório de dados para importar metadados imediatamente após a criação do link.

6. Para Configurações de importação: opcional, defina uma Política de importação que determine como suas listagens de arquivos e diretórios são mantidas atualizadas à medida que você adiciona, altera ou exclui objetos em seu bucket do S3. Por exemplo, escolha Novo para importar metadados para seu sistema de arquivos de novos objetos criados no bucket do S3. Para obter mais informações sobre políticas de importação, consulte Importação automática de atualizações do bucket do S3.

7. Em Política de exportação, defina uma política de exportação que determine como seus arquivos são exportados para o bucket do S3 vinculado à medida que você adiciona, altera ou exclui objetos em seu sistema de arquivos. Por exemplo, escolha Alterado para exportar objetos cujo conteúdo ou metadados foram alterados em seu sistema de arquivos. Para obter mais informações sobre políticas de exportação, consulte Exportação automática de atualizações para o bucket do S3.

8. Escolha Criar.

Vincular um sistema de arquivos a um bucket do S3 (AWS CLI)

O exemplo a seguir cria uma associação de repositório de dados que vincula um sistema de FSx arquivos da Amazon a um bucket do S3, com uma política de importação que importa todos os arquivos novos ou alterados para o sistema de arquivos e uma política de exportação que exporta arquivos novos, alterados ou excluídos para o bucket do S3 vinculado.

• Para criar uma associação de repositório de dados, use o FSx CLI comando Amazoncreate-data-repository-association, conforme mostrado a seguir.

  $ aws fsx create-data-repository-association \
        --file-system-id fs-0123456789abcdef0 \
        --file-system-path /ns1/path1/ \
        --data-repository-path s3://mybucket/myprefix/ \
        --s3 "AutoImportPolicy={Events=[NEW,CHANGED,DELETED]},AutoExportPolicy={Events=[NEW,CHANGED,DELETED]}"

A Amazon FSx retorna a JSON descrição do DRA imediatamente. O DRA é criado de forma assíncrona.

Você pode usar esse comando para criar uma associação de repositório de dados mesmo antes da conclusão da criação do sistema de arquivos. A solicitação será colocada na fila e a associação de repositório de dados será criada após a disponibilidade do sistema de arquivos.