O que é o Amazon FSx para Lustre?

O FSx para Lustre torna fácil e econômico iniciar e executar o popular sistema de arquivos de alta performance do Lustre. É possível usar o Lustre para workloads em que a velocidade é importante, como machine learning, computação de alta performance (HPC), processamento de vídeo e modelagem financeira.

O sistema de arquivos de código aberto do Lustre foi projetado para aplicações que exigem armazenamento rápido, em que você deseja que o armazenamento acompanhe a computação. O Lustre foi criado para resolver o problema do processamento rápido e barato dos conjuntos de dados cada vez maiores do mundo. É um sistema de arquivos amplamente usado, projetado para os computadores mais rápidos do mundo. Ele fornece latências inferiores a um milissegundo, até centenas de GBps de throughput e até milhões de IOPS. Para obter mais informações, visite o site do Lustre.

Como um serviço totalmente gerenciado, o Amazon FSx facilita o uso do Lustre para workloads em que a velocidade de armazenamento é importante. O FSx para Lustre elimina a complexidade tradicional de configurar e gerenciar sistemas de arquivos do Lustre, permitindo que você crie e execute em minutos um sistema de arquivos de alta performance e testado na prática. Ele também fornece várias opções de implantação para que você possa otimizar o custo de acordo com suas necessidades.

O FSx para Lustre é compatível com POSIX, de modo que você pode usar suas aplicações atuais baseadas em Linux sem precisar fazer alterações. O FSx para Lustre fornece uma interface nativa de sistema de arquivos e funciona como qualquer sistema de arquivos com o sistema operacional Linux. Ele também fornece read-after-write consistência e suporta o bloqueio de arquivos.

Várias opções de implantação

O Amazon FSx para Lustre oferece uma opção de sistemas de arquivos transitórios e permanentes para acomodar diferentes necessidades de processamento de dados. Os sistemas de arquivos transitórios são ideais para armazenamento temporário e para processamento de dados de curto prazo. Os dados não são replicados e não persistem no caso de falha em um servidor de arquivos. Os sistemas de arquivos persistentes são ideais para armazenamento de longo prazo e workloads com foco no throughput. Nos sistemas de arquivos persistentes, os dados são replicados e os servidores de arquivos são substituídos quando apresentam falhas. Para ter mais informações, consulte Opções de implantação para sistemas de arquivos do FSx para Lustre.

Várias opções de armazenamento

O Amazon FSx para Lustre oferece uma opção de tipos de armazenamento em SSD e HDD que são otimizados para diferentes requisitos de processamento de dados:

• Opções de armazenamento SSD: para workloads de baixa latência e uso intenso de IOPS que normalmente têm operações de arquivos pequenas e aleatórias, escolha uma das opções de armazenamento SSD.

• Opções de armazenamento HDD: para workloads com alto throughput que normalmente têm operações de arquivos grandes e sequenciais, escolha uma das opções de armazenamento HDD.

Se você estiver provisionando um sistema de arquivos com a opção de armazenamento HDD, terá a opção de provisionar um cache SSD somente leitura que seja dimensionado para 20% da capacidade do armazenamento HDD. Isso fornece latências inferiores a um milissegundo e IOPS mais altas para arquivos acessados ​​com frequência. Os sistemas de arquivos baseados em SSD e em HDD são provisionados com servidores de metadados baseados em SSD. Como resultado, todas as operações de metadados, que representam a maioria das operações do sistema de arquivos, são fornecidas com latências inferiores a um milissegundo.

Para obter mais informações sobre a performance dessas opções de armazenamento, consulte Performance do Amazon FSx para Lustre.

FSx para Lustre e repositórios de dados

Você pode vincular sistemas de arquivos do FSx para Lustre a repositórios de dados no Amazon S3 ou a armazenamentos de dados on-premises.

Integração do repositório de dados entre FSx para Lustre e S3

O FSx para Lustre se integra ao Amazon S3, facilitando o processamento de conjuntos de dados na nuvem usando o sistema de arquivos de alta performance do Lustre. Quando vinculado a um bucket do Amazon S3, um sistema de arquivos do FSx para Lustre apresenta de forma transparente objetos do S3 como arquivos. O Amazon FSx importa listagens de todos os arquivos existentes no bucket do S3 na criação do sistema de arquivos. O Amazon FSx também pode importar listas de arquivos adicionados ao repositório de dados após a criação do sistema de arquivos. Você pode definir as preferências de importação para atender às suas necessidades de fluxo de trabalho. O sistema de arquivos também possibilita que você grave os dados do sistema de arquivos novamente no S3. As tarefas do repositório de dados simplificam a transferência de dados e metadados entre o sistema de arquivos do FSx para Lustre e seu repositório de dados durável no Amazon S3. Para obter mais informações, consulte Como usar repositórios de dados com o Amazon FSx para Lustre e Tarefas de repositório de dados.

FSx para Lustre e repositórios de dados on-premises

Com o Amazon FSx for Lustre, você pode expandir suas cargas de trabalho de processamento de dados do local para o importando dados usando Nuvem AWS ou. AWS Direct Connect AWS VPN Para ter mais informações, consulte Como usar o Amazon FSx com dados on-premises.

Acesso a sistemas de arquivo do FSx para Lustre

Você pode misturar e combinar os tipos de instância de computação e as imagens de máquina da Amazon (AMIs) do Linux que estão conectados a um único sistema de arquivos do FSx para Lustre.

Os sistemas de arquivos do Amazon FSx para Lustre são acessíveis por meio de workloads de computação em execução nas instâncias do Amazon Elastic Compute Cloud (Amazon EC2), nos contêineres do Docker do Amazon Elastic Container Service (Amazon ECS) e nos contêineres em execução no Amazon Elastic Kubernetes Service (Amazon EKS).

• Amazon EC2: você acessa seu sistema de arquivos por meio de suas instâncias de computação do Amazon EC2 usando o cliente Lustre de código aberto. As instâncias do Amazon EC2 podem acessar seu sistema de arquivo por meio de outras zonas de disponibilidade na mesma Amazon Virtual Private Cloud (Amazon VPC), desde que sua configuração de rede forneça acesso entre sub-redes na VPC. Depois que o sistema de arquivos do Amazon FSx para Lustre estiver montado, você poderá trabalhar com os arquivos e diretórios da mesma forma que trabalha com um sistema de arquivos local.

• Amazon EKS: você acessa o Amazon FSx para Lustre por meio dos contêineres executados no Amazon EKS usando o driver CSI do FSx para Lustre de código aberto, conforme descrito no Guia do usuário do Amazon EKS. Seus contêineres em execução no Amazon EKS podem usar volumes persistentes (PVs) de alta performance com o suporte do Amazon FSx para Lustre.

• Amazon ECS: você acessa o Amazon FSx para Lustre por meio dos contêineres do Docker do Amazon ECS nas instâncias do Amazon EC2. Para ter mais informações, consulte Montagem usando o Amazon Elastic Container Service.

O Amazon FSx para Lustre é compatível com as AMIs baseadas em Linux mais populares, incluindo Amazon Linux 2 e Amazon Linux, Red Hat Enterprise Linux (RHEL), CentOS, Ubuntu e SUSE Linux. O cliente Lustre está incluído no Amazon Linux 2 e no Amazon Linux. Para RHEL, CentOS e Ubuntu, AWS um repositório de clientes Lustre fornece clientes compatíveis com esses sistemas operacionais.

Usando o FSx for Lustre, você pode expandir suas cargas de trabalho de computação intensiva do local Nuvem AWS para o importando dados por ou. AWS Direct Connect AWS Virtual Private Network Você pode acessar o sistema de arquivos do Amazon FSx on-premises, copiar dados para seu sistema de arquivos, conforme necessário, e executar workloads com uso intensivo de computação em instâncias na nuvem.

Para obter mais informações sobre clientes, instâncias de computação e ambientes nos quais você pode acessar os sistemas de arquivos do FSx para Lustre, consulte Acesso a sistemas de arquivos.

Integrações com serviços AWS

O Amazon FSx for Lustre se integra à SageMaker Amazon como fonte de dados de entrada. Ao usar SageMaker com o FSx for Lustre, seus trabalhos de treinamento de aprendizado de máquina são acelerados com a eliminação da etapa inicial de download do Amazon S3. Além disso, o custo total de propriedade (TCO) é reduzido ao evitar o download repetitivo de objetos comuns para trabalhos repetitivos no mesmo conjunto de dados, uma vez que você economiza nos custos de solicitações do S3. Para obter mais informações, consulte O que é SageMaker? no Amazon SageMaker Developer Guide. Para ver uma explicação sobre como usar o Amazon FSx for Lustre como fonte de dados, consulte Acelere o treinamento na Amazon usando o Amazon SageMaker FSx SageMaker for Lustre e os sistemas de arquivos Amazon EFS no blog do Machine Learning.AWS

O FSx for Lustre se AWS Batch integra ao uso de modelos de inicialização do EC2. AWS Batch permite que você execute cargas de trabalho de computação em lote no Nuvem AWS, incluindo computação de alto desempenho (HPC), aprendizado de máquina (ML) e outras cargas de trabalho assíncronas. AWS Batch dimensiona as instâncias de forma automática e dinâmica com base nos requisitos de recursos do trabalho. Para obter mais informações, consulte O que é AWS Batch? no Guia do AWS Batch usuário.

O FSx for AWS ParallelCluster Lustre se integra com o. AWS ParallelCluster é uma ferramenta AWS de gerenciamento de clusters de código aberto compatível usada para implantar e gerenciar clusters de HPC. É capaz de criar automaticamente sistemas de arquivos do FSx para Lustre ou usar sistemas de arquivos existentes durante o processo de criação do cluster.

Segurança e conformidade

Os sistemas de arquivo do FSx para Lustre oferecem suporte à criptografia em repouso e em trânsito. O Amazon FSx criptografa automaticamente os dados do sistema de arquivos em repouso usando chaves gerenciadas em AWS Key Management Service ().AWS KMS Os dados em trânsito também são criptografados automaticamente em determinados sistemas de arquivos Regiões da AWS quando acessados a partir de instâncias compatíveis do Amazon EC2. Para obter mais informações sobre criptografia de dados no FSx for Lustre Regiões da AWS , incluindo onde a criptografia de dados em trânsito é suportada, consulte. Criptografia de dados no Amazon FSx para Lustre O Amazon FSx foi avaliado em conformidade com as certificações ISO, PCI-DSS e SOC e está qualificado para a HIPAA. Para ter mais informações, consulte Segurança no FSx para Lustre.

Suposições

Neste guia, fazemos as seguintes suposições:

• Se você usa o Amazon Elastic Compute Cloud (Amazon EC2), presumimos que esteja familiarizado com esse serviço. Consulte a documentação do Amazon EC2 para obter mais informações sobre como utilizá-lo.

• Presumimos que você esteja familiarizado com o uso da Amazon Virtual Private Cloud (Amazon VPC). Para obter mais informações sobre como usar a Amazon VPC, consulte o Guia do usuário da Amazon VPC.

• Presumimos que você não tenha alterado as regras do grupo de segurança padrão da sua VPC com base no serviço da Amazon VPC. Se tiver, certifique-se de adicionar as regras necessárias para permitir o tráfego de rede da sua instância do Amazon EC2 para o sistema de arquivos do Amazon FSx para Lustre. Para obter mais detalhes, consulte Controle de acesso ao sistema de arquivos com a Amazon VPC.

Preço do Amazon FSx para Lustre

Com o Amazon FSx para Lustre, não há custos iniciais de hardware ou software. Você paga somente pelos recursos usados, sem compromissos mínimos, custos de configuração ou taxas adicionais. Para obter informações sobre preços e taxas associados ao serviço, consulte Preços do Amazon FSx para Lustre.

Fóruns do Amazon FSx para Lustre

Se você encontrar problemas ao utilizar o Amazon FSx para Lustre, consulte os fóruns.

Você é um usuário iniciante do Amazon FSx para Lustre?

Se você não estiver familiarizado com o Amazon FSx para Lustre, recomendamos que leia as seções abaixo, nesta ordem:

1. Se estiver pronto para criar seu primeiro sistema de arquivos do Amazon FSx para Lustre, tente Conceitos básicos do Amazon FSx para Lustre

2. Para obter informações sobre performance, consulte Performance do Amazon FSx para Lustre.

3. Para obter informações sobre como vincular seu sistema de arquivos a um repositório de dados de bucket do Amazon S3, consulte Como usar repositórios de dados com o Amazon FSx para Lustre.

4. Para obter detalhes de segurança do Amazon FSx para Lustre, consulte Segurança no FSx para Lustre.

5. Para obter informações sobre os limites de escalabilidade do Amazon FSx para Lustre, incluindo throughput e tamanho do sistema de arquivos, consulte Cotas.

6. Para obter informações sobre a API do Amazon FSx para Lustre, consulte Amazon FSx for Lustre API Reference.