Conceitos básicos do Amazon FSx para Lustre

A seguir, você aprenderá como começar a usar o Amazon FSx para Lustre. Estas etapas orientam a criação de um sistema de arquivos do Amazon FSx para Lustre e o acesso a ele usando suas instâncias de computação. Opcionalmente, as etapas mostram como usar o sistema de arquivos do Amazon FSx para Lustre para processar os dados no bucket do Amazon S3 com aplicações baseadas em arquivos.

Este exercício sobre os conceitos básicos inclui as etapas apresentadas a seguir.

Pré-requisitos

Para realizar este exercício sobre os conceitos básicos, você precisará do seguinte:

• Uma AWS conta com as permissões necessárias para criar um sistema de arquivos Amazon FSx for Lustre e uma instância do Amazon EC2. Para ter mais informações, consulte Configuração do Amazon FSx para Lustre.

• Crie um grupo de segurança da Amazon VPC para ser associado ao seu sistema de arquivos FSx for Lustre e não o altere após a criação do sistema de arquivos. Para obter mais informações, consulte Para criar um grupo de segurança para seu sistema de arquivos Amazon FSx.

• Uma instância do Amazon EC2 que executa uma versão com suporte do Linux em sua nuvem privada virtual (VPC) com base no serviço da Amazon VPC. Para este exercício de introdução, recomendamos o uso do Amazon Linux 2023. Você instalará o cliente Lustre nesta instância do EC2 e, em seguida, montará o sistema de arquivos do FSx para Lustre na instância do EC2. Para obter mais informações sobre a criação de uma instância do EC2, consulte Getting started: Launch an instance or Launch your instance no Amazon EC2 User Guide for Linux Instances.

  O cliente Lustre é compatível com Amazon Linux; Amazon Linux 2; Amazon Linux 2023; CentOS e Red Hat Enterprise Linux 7.7 a 7.9, 8.2 a 8.9, 9.0 e 9.3; Rocky Linux 8.4 a 8.9, 9.0 e 9.3; SUSE Linux Enterprise Server 12 SP3, SP4 e SP5; e Ubuntu 18.04, 20.04 e 22.04. Para ter mais informações, consulte Compatibilidade do sistema de arquivos Lustre e do kernel do cliente.

  Ao criar a instância do Amazon EC2 para este exercício sobre os conceitos básicos, lembre-se do seguinte:

  • Recomendamos criar a instância em sua VPC padrão.

  • Recomendamos usar o grupo de segurança padrão ao criar sua instância do EC2.

• Cada sistema de arquivos do FSx para Lustre requer um endereço IP para o servidor de metadados (MDS) e um endereço IP para cada servidor de armazenamento (OSS).

  • Os sistemas de arquivos persistentes baseados em SSD são provisionados com 2,4 TiB de armazenamento por OSS.

  • Os sistemas de arquivos persistentes baseados em HDD com 12 MB/s/TiB de capacidade de throughput são provisionados com 6 TiB de armazenamento por OSS.

  • Os sistemas de arquivos persistentes baseados em HDD com 40 MB/s/TiB de capacidade de throughput são provisionados com 1,8 TiB de armazenamento por OSS.

  • Os sistemas de arquivos Scratch_2 são provisionados com 2,4 TiB de armazenamento por OSS.

  • Os sistemas de arquivos Scratch_1 são provisionados com 3,6 TiB de armazenamento por OSS.

• Um bucket do Amazon S3 que armazena os dados a serem processados ​​pela workload. O bucket do S3 corresponderá ao repositório de dados durável ​​vinculado ao seu sistema de arquivos do FSx para Lustre.

• Determinar qual tipo de sistema de arquivos do Amazon FSx para Lustre você deseja criar: transitório ou persistente. Para ter mais informações, consulte Opções de implantação de sistemas de arquivos para o FSx para Lustre .

Crie seu sistema de arquivos FSx for Lustre

A seguir, você criará o sistema de arquivos no console.

Para criar seu sistema de arquivos do

1. Abra o console do Amazon FSx em https://console.aws.amazon.com/fsx/.

2. No painel, escolha Criar sistema de arquivos para iniciar o assistente de criação de sistemas de arquivos.

3. Escolha FSx para Lustre e, em seguida, selecione Próximo para exibir a página Criar sistema de arquivos.

4. Forneça as informações na seção Detalhes do sistema de arquivos:

   • Em Nome do sistema de arquivos (opcional), forneça um nome para seu sistema de arquivos. É possível usar até 256 letras do Unicode, espaços em branco e números, além dos caracteres especiais + - = . _ : /.

   • Em Tipo de implantação e armazenamento, escolha uma das opções:

     O armazenamento em SSD fornece workloads de baixa latência e uso intensivo de IOPS que, normalmente, têm operações de arquivos pequenas e randômicas. O armazenamento em HDD fornece workloads com alto throughput que, normalmente, têm operações de arquivos grandes e sequenciais.

     Para obter mais informações sobre os tipos de armazenamento, consulte Várias opções de armazenamento.

     Para obter mais informações sobre os tipos de implantação, consulte Opções de implantação para sistemas de arquivos do FSx para Lustre.

     Para obter mais informações sobre Regiões da AWS onde a criptografia de dados em trânsito está disponível, consulteCriptografia de dados em trânsito.

     • Escolha o tipo de implantação Persistent, SSD para o armazenamento de longo prazo e para as workloads sensíveis à latência que requerem os mais altos níveis de IOPS e throughput. Os servidores de arquivos estão altamente disponíveis, os dados são replicados automaticamente na zona de disponibilidade do sistema de arquivos e oferecem suporte à criptografia de dados em trânsito. O tipo de implantação Persistent, SSD usa Persistent 2, a última geração de sistemas de arquivos persistentes.

     • Escolha o tipo de implantação Persistent, HDD para o armazenamento de longo prazo e para as workloads com foco no throughput que não são sensíveis à latência. Os servidores de arquivos estão altamente disponíveis, os dados são replicados automaticamente na zona de disponibilidade do sistema de arquivos e esse tipo oferece suporte à criptografia de dados em trânsito. O tipo de implantação Persistent, HDD usa o tipo de implantação Persistent 1.

       Escolha com cache SSD para criar um cache SSD que é dimensionado para 20% da capacidade de armazenamento em HDD com a finalidade de fornecer latências inferiores a um milissegundo e IOPS mais altas para arquivos acessados com frequência.

     • Escolha o tipo de implantação Scratch, SSD para o armazenamento temporário e o processamento de dados de curto prazo. O tipo de implantação Scratch, SSD usa sistemas de arquivos Scratch 2 e oferece criptografia de dados em trânsito.

   • Escolha a quantidade de Throughput por unidade de armazenamento desejada para o sistema de arquivos. Esta opção é válida somente para tipos de implantação Persistent.

     O Throughput por unidade de armazenamento corresponde à quantidade de throughput de leitura e de gravação para cada 1 tebibyte (TiB) de armazenamento provisionado, em MB/s/TiB. Você paga pela quantidade de throughput que provisiona:

     • Para o armazenamento persistente baseados em SSD, escolha um valor de 125, 250, 500 ou 1.000 MB/s/TiB.

     • Para o armazenamento persistente em HDD, escolha um valor de 12 ou 40 MB/s/TiB.

     É possível aumentar ou diminuir a quantidade de throughput por unidade de armazenamento, conforme necessário, após criar o sistema de arquivos. Para ter mais informações, consulte Como gerenciar a capacidade de throughput.

   • Em Capacidade de armazenamento, defina a quantidade de capacidade de armazenamento para o sistema de arquivos, em TiB:

     • Para um tipo de implantação Persistent, SSD, defina-a como um valor de 1,2 TiB, 2,4 TiB ou incrementos de 2,4 TiB.

     • Para um tipo de implantação Persistent, HDD, esse valor pode ser definido em incrementos de 6,0 TiB para sistemas de arquivos de 12 MB/s/TiB e em incrementos de 1,8 TiB para sistemas de arquivos de 40 MB/s/TiB.

     Você pode aumentar a quantidade de capacidade de armazenamento, conforme necessário, após criar o sistema de arquivos. Para ter mais informações, consulte Como gerenciar a capacidade de armazenamento.

   • Em Tipo de compactação de dados, escolha NENHUM para desativar a compactação de dados ou escolha LZ4 para ativar a compactação de dados com o algoritmo LZ4. Para ter mais informações, consulte Compactação de dados do Lustre.

   Todos os sistemas de arquivos do FSx para Lustre são desenvolvidos na versão 2.15 do Lustre quando criados usando o console do Amazon FSx.

   

5. Na seção Rede e segurança, forneça as seguintes informações relacionadas à rede e ao grupo de segurança:

   • Em Nuvem privada virtual (VPC), escolha a VPC que você deseja associar ao sistema de arquivos. Para este exercício sobre os conceitos básicos, escolha a mesma VPC escolhida para a instância do Amazon EC2.

   • Em Grupos de segurança de VPC, o ID do grupo de segurança padrão para sua VPC já deve estar adicionado. Se você não estiver usando o grupo de segurança padrão, certifique-se de que a regra de entrada a seguir seja adicionada ao grupo de segurança que você está usando neste exercício sobre os conceitos básicos.

     Tipo	Protocolo	Intervalo de portas	Origem	Descrição
     Todos os TCP	TCP	0-65535	Personalizado the_ID_of_this_security_group	Regra de tráfego de entrada do Lustre

     A captura de tela apresentada a seguir mostra um exemplo de edição de regras de entrada.

     

     Importante

     Certifique-se de que o grupo de segurança que você está usando siga as instruções de configuração fornecidas emControle de acesso ao sistema de arquivos com a Amazon VPC. Você deve configurar o grupo de segurança para permitir o tráfego de entrada nas portas 988 e 1018 a 1023 do próprio grupo de segurança ou do CIDR completo da sub-rede, que é necessário para permitir que os hosts do sistema de arquivos se comuniquem entre si.

   • Em Sub-rede, escolha qualquer valor na lista de sub-redes disponíveis.

6. Na seção Criptografia, as opções disponíveis variam com base no tipo de sistema de arquivos que você está criando:

   • Para um sistema de arquivos persistente, você pode escolher uma chave de criptografia AWS Key Management Service (AWS KMS) para criptografar os dados em seu sistema de arquivos em repouso.

   • Para um sistema de arquivos temporário, os dados em repouso são criptografados usando chaves gerenciadas por AWS.

   • Para sistemas de arquivos transitório 2 e persistente, os dados em trânsito são criptografados automaticamente quando o sistema de arquivos é acessado usando um tipo de instância do Amazon EC2 com suporte. Para ter mais informações, consulte Criptografia de dados em trânsito.

7. Na seção Importação e exportação de repositórios de dados (opcional), a vinculação do sistema de arquivos aos repositórios de dados do Amazon S3 está desabilitado por padrão. Para obter informações sobre como habilitar essa opção e criar uma associação de repositório de dados a um bucket do S3 existente, consulte Para vincular um bucket do S3 ao criar um sistema de arquivos (console).

   Importante

   • Selecionar esta opção também desabilita os backups e você não poderá habilitá-los durante a criação do sistema de arquivos.

   • Se você vincular um ou mais sistemas de arquivos do Amazon FSx para Lustre a um bucket do Amazon S3, não exclua o bucket do Amazon S3 até que todos os sistemas de arquivos vinculados tenham sido excluídos.

8. Em Registro em log (opcional), o registro em log está habilitado por padrão. Quando ativados, as falhas e os avisos da atividade do repositório de dados em seu sistema de arquivos são registrados no Amazon Logs. CloudWatch Para obter informações sobre como configurar o registro em log, consulte Como gerenciar registros em log.

9. Em Backup e manutenção (opcional), é possível realizar os procedimentos a seguir.

   Para backups automáticos diários:

   • Desabilite o Backup automático diário. Esta opção está habilitada por padrão, a menos que você tenha habilitado Importação e exportação de repositórios de dados.

   • Defina o horário de início para a Janela de backup automático diário.

   • Defina o Período de retenção de backup automático, que pode ter de 1 a 35 dias.

   Para ter mais informações, consulte Trabalhar com backups.

10. Defina o horário de início para a Janela de manutenção semanal ou mantenha-o definido como o padrão Sem preferência.

11. Para Root Squash - opcional, o root squash está desativado por padrão. Para obter informações sobre como habilitar e configurar o root squash, consulte. Para habilitar o root squash ao criar um sistema de arquivos (console)

12. Crie todas as tags que deseja aplicar ao sistema de arquivos.

13. Escolha Próximo para exibir a página Resumo da criação de sistemas de arquivos.

14. Analise as configurações do sistema de arquivos do Amazon FSx para Lustre e, em seguida, escolha Criar sistema de arquivos.

Agora que você criou o sistema de arquivos, anote o nome de domínio totalmente qualificado e o nome da montagem a serem usados em uma etapa posterior. Você pode encontrar o nome de domínio totalmente qualificado e o nome da montagem de um sistema de arquivos ao escolher o nome do sistema de arquivos no painel Caches e, em seguida, ao selecionar Anexar.

Instale e configure o cliente Lustre

Antes de acessar seu sistema de arquivos Amazon FSx for Lustre a partir da sua instância do Amazon EC2, você precisa fazer o seguinte:

• Verifique se sua instância do EC2 atende aos requisitos mínimos do kernel.

• Atualize o kernel, se necessário.

• Baixe e instale o cliente Lustre.

Para verificar a versão do kernel e baixar o cliente Lustre

1. Abra uma janela de terminal na sua instância do EC2.

2. Determine qual kernel está em execução, no momento, na sua instância de computação ao executar o comando apresentado a seguir.

   uname -r

3. Execute um destes procedimentos:

   • Se o comando retornar 6.1.79-99.167.amzn2023.x86_64 para as instâncias do EC2 baseadas em x86 ou 6.1.79-99.167.amzn2023.aarch64 ou valores superiores para as instâncias do EC2 baseadas no Graviton2, faça download e instale o cliente Lustre com o comando apresentado a seguir.

     sudo dnf install -y lustre-client

   • Se o comando retornar um resultado inferior a 6.1.79-99.167.amzn2023.x86_64 para as instâncias do EC2 baseadas em x86 ou inferior a 6.1.79-99.167.amzn2023.aarch64 para as instâncias do EC2 baseadas no Graviton2, atualize o kernel e reinicialize a instância do Amazon EC2 ao executar o comando apresentado a seguir.

     sudo dnf -y update kernel && sudo reboot

     Confirme se o kernel foi atualizado usando o comando uname -r. Em seguida, faça download e instale o cliente Lustre conforme descrito acima.

   Para obter informações sobre como instalar o cliente Lustre em outras distribuições do Linux, consulte Instalação do cliente Lustre.

Monte o sistema de arquivos

Para montar seu sistema de arquivos, você criará um diretório de montagem ou ponto de montagem e, em seguida, montará o sistema de arquivos no seu cliente e verificará se ele pode acessar o sistema de arquivos.

Como montar o sistema de arquivos

1. Faça um diretório para o ponto de montagem com o comando a seguir.

   sudo mkdir -p /mnt/fsx

2. Monte o sistema de arquivos do Amazon FSx para Lustre no diretório que você criou. Use o seguinte comando e substitua os seguintes itens:

   • Substitua file_system_dns_name pelo nome do Sistema de Nomes de Domínio (DNS) real do sistema de arquivos.

   • mountnameSubstitua pelo nome de montagem do sistema de arquivos, que você pode obter executando o describe-file-systems AWS CLI comando ou a operação da DescribeFileSystemsAPI.

   sudo mount -t lustre -o relatime,flock file_system_dns_name@tcp:/mountname /mnt/fsx

   Este comando monta o sistema de arquivos com duas opções, -o relatime e flock:

   • relatime: embora a opção atime mantenha dados de atime (horários de acesso de inodes) para cada vez que um arquivo é acessado, a opção relatime também mantém dados de atime, mas não para cada vez que um arquivo é acessado. Com a opção relatime habilitada, os dados de atime serão gravados para o disco somente se o arquivo tiver sido modificado desde a última atualização dos dados de atime (mtime) ou se o arquivo tiver sido acessado pela última vez há mais tempo do que um determinado período (seis horas por padrão). Usar a opção relatime ou atime otimizará os processos de liberação de arquivos.

     nota

     Se a workload requerer uma precisão rigorosa quanto ao horário de acesso, você poderá montar com a opção de montagem atime. No entanto, isso pode afetar a performance da workload ao aumentar o tráfego de rede necessário para manter valores rigorosos quanto ao horário de acesso.

     Se a workload não requerer o horário de acesso aos metadados, usar a opção de montagem noatime para desabilitar atualizações relacionadas ao horário de acesso poderá proporcionar um ganho de performance. Esteja ciente de que os processos focados na opção atime, como a liberação de arquivos ou a liberação da validade de dados, serão imprecisos em suas liberações.

   • flock: ativa o bloqueio de arquivos para o sistema de arquivos. Se você não desejar que o bloqueio de arquivos seja habilitado, use o comando mount sem flock.

3. Verifique se o comando mount ocorreu com êxito ao listar o conteúdo do diretório no qual você montou o sistema de arquivos /mnt/fsx, usando o comando apresentado a seguir.

   ls /mnt/fsx
   import-path  lustre
   $ 

   Você também pode usar o comando df apresentado a seguir.

   df
   Filesystem                      1K-blocks    Used  Available Use% Mounted on
   devtmpf                          1001808       0    1001808   0% /dev
   tmpfs                            1019760       0    1019760   0% /dev/shm
   tmpfs                            1019760     392    1019368   1% /run
   tmpfs                            1019760       0    1019760   0% /sys/fs/cgroup
   /dev/xvda1                       8376300 1263180    7113120  16% /
   123.456.789.0@tcp:/mountname  3547698816   13824 3547678848   1% /mnt/fsx
   tmpfs                             203956       0     203956   0% /run/user/1000
   

   Os resultados mostram o sistema de arquivos do Amazon FSx montado em /mnt/fsx.

Executar o fluxo de trabalho

Agora que o sistema de arquivos foi criado e montado em uma instância de computação, é possível usá-lo para executar a workload de computação de alta performance.

Você pode criar uma associação de repositório de dados para vincular o sistema de arquivos a um repositório de dados do Amazon S3. Para obter mais informações, consulte Como vincular o sistema de arquivos a um bucket do S3.

Após vincular o sistema de arquivos a um repositório de dados do Amazon S3, você poderá exportar os dados gravados no sistema de arquivos de volta para o bucket do Amazon S3 a qualquer momento. Em um terminal em uma de suas instâncias de computação, execute o comando apresentado a seguir para exportar um arquivo para o bucket do Amazon S3.

sudo lfs hsm_archive file_name

Para obter mais informações sobre como executar esse comando em uma pasta ou em uma grande coleção de arquivos com rapidez, consulte Exportação de arquivos usando comandos do HSM.

Limpeza de recursos

Depois de concluir este exercício, você deve seguir estas etapas para limpar seus recursos e proteger sua AWS conta.

Como limpar recursos

1. Se desejar realizar uma exportação final, execute o comando apresentado a seguir.

   nohup find /mnt/fsx -type f -print0 | xargs -0 -n 1 sudo lfs hsm_archive &

2. No console do Amazon EC2, encerre sua instância. Para obter mais informações, consulte Terminar a instância no Guia do usuário do Amazon EC2 para instâncias do Linux.

3. No console do Amazon FSx para Lustre, exclua o sistema de arquivos com o seguinte procedimento:

   1. No painel de navegação, escolha Sistemas de arquivos.

   2. Escolha o sistema de arquivos que você deseja excluir da lista de sistemas de arquivos no painel.

   3. Para Ações, escolha Excluir sistema de arquivos.

   4. Na caixa de diálogo exibida, escolha se deseja fazer um backup final do sistema de arquivos. Em seguida, forneça o ID do sistema de arquivos para confirmar a exclusão. Escolha Excluir sistema de arquivos.

4. Se você criou um bucket do Amazon S3 para este exercício e não deseja preservar os dados exportados, você pode excluí-lo agora. Para obter mais informações, consulte Excluir um bucket no Guia do usuário do Amazon Simple Storage Service.