Opções de implantação para sistemas de arquivos do FSx para Lustre

O FSx para Lustre disponibiliza um sistema de arquivos paralelo de alta performance que armazena dados em diversos servidores de arquivos de rede para maximizar a performance e reduzir os gargalos. Esses servidores têm vários discos. Para distribuir a carga, o Amazon FSx fragmenta os dados do sistema de arquivos em fragmentos menores e os distribui entre discos e servidores usando um processo chamado distribuição. Para obter mais informações sobre a distribuição de dados para o FSx para Lustre, consulte Distribuição de dados no sistema de arquivos.

É uma prática recomendada vincular um repositório de dados de longo prazo e altamente durável residente no Amazon S3 ao sistema de arquivos de alta performance do FSx para Lustre.

Nesse cenário, você armazena os conjuntos de dados no repositório de dados vinculado do Amazon S3. Ao criar o sistema de arquivos do FSx para Lustre, você o vincula ao repositório de dados do S3. Neste ponto, os objetos em seu bucket do S3 são listados como arquivos e diretórios no sistema de arquivos do FSx. Em seguida, o Amazon FSx copia automaticamente o conteúdo do arquivo do S3 para o sistema de arquivos do Lustre quando um arquivo é acessado pela primeira vez no sistema de arquivos do Amazon FSx. Após a execução da workload de computação, ou a qualquer momento, você poderá usar uma tarefa de repositório de dados para exportar as alterações de volta para o S3. Para obter mais informações, consulte Como usar repositórios de dados com o Amazon FSx para Lustre e Como usar tarefas do repositório de dados para exportar alterações.

Opções de implantação de sistemas de arquivos para o FSx para Lustre

O Amazon FSx para Lustre oferece duas opções de implantação para o sistema de arquivos: transitório e persistente.

nota

Ambas as opções de implantação oferecem suporte ao armazenamento em unidade de estado sólido (SSD). No entanto, o suporte para o armazenamento em unidade de disco rígido (HDD) ocorre somente em um dos tipos de implantação persistente.

Você escolhe o tipo de implantação do sistema de arquivos ao criar um novo sistema de arquivos usando a AWS Management Console API, the AWS Command Line Interface (AWS CLI) ou Amazon FSx for Lustre. Para obter mais informações, consulte Crie seu sistema de arquivos FSx for Lustre e CreateFileSystem in the Amazon FSx API Reference.

A criptografia de dados em repouso é habilitada automaticamente quando você cria um sistema de arquivos do Amazon FSx para Lustre, independentemente do tipo de implantação usado. Os sistemas de arquivos Scratch 2 e persistent criptografam automaticamente os dados em trânsito quando eles são acessados de instâncias do Amazon EC2 que oferecem suporte à criptografia em trânsito. Para obter mais informações sobre criptografia, consulte Criptografia de dados no Amazon FSx para Lustre.

Sistemas de arquivos transitórios

Os sistemas de arquivos transitórios são projetados para o armazenamento temporário e para o processamento de dados de curto prazo. Os dados não são replicados e não persistem no caso de um servidor de arquivos apresentar falhas. Os sistemas de arquivos transitórios fornecem alto throughput de intermitência com até seis vezes o throughput básico de 200 MBps por TiB de capacidade de armazenamento. Para ter mais informações, consulte Performance agregada do sistema de arquivos.

Use sistemas de arquivos transitórios quando precisar de armazenamento com custo otimizado para workload de curto prazo e com alto processamento.

Em um sistema de arquivos transitório, os servidores de arquivos não serão substituídos se apresentarem falhas e os dados não forem replicados. Se um servidor de arquivos ou um disco de armazenamento se tornar indisponível em um sistema de arquivos transitório, os arquivos armazenados em outros servidores ainda estarão acessíveis. Se os clientes tentarem acessar dados que estão no servidor ou no disco indisponível, eles receberão um erro de E/S imediato.

A tabela a seguir ilustra a disponibilidade ou a durabilidade para a qual os sistemas de arquivos transitórios com os tamanhos de exemplo foram projetados, ao longo de um dia e de uma semana. Como sistemas de arquivos maiores têm mais servidores de arquivos e mais discos, as probabilidades de falha aumentam.

Tamanho do sistema de arquivos (TiB)	Número de servidores de arquivos	Disponibilidade ou durabilidade ao longo de um dia	Disponibilidade ou durabilidade ao longo de uma semana
1.2	2	99,9%	99,4%
2.4	2	99,9%	99,4%
4.8	3	99,8%	99,2%
9.6	5	99,8%	98,6%
50,4	22	99,1%	93,9%

Sistemas de arquivos persistentes

Os sistemas de arquivos persistentes são projetados para armazenamento e workloads de longo prazo. Os servidores de arquivos estão altamente disponíveis e os dados são replicados automaticamente na mesma zona de disponibilidade em que o sistema de arquivos está localizado. Os volumes de dados anexados aos servidores de arquivos são replicados independentemente dos servidores de arquivos aos quais estão anexados.

O Amazon FSx monitora continuamente os sistemas de arquivos persistentes em busca de falhas relacionadas ao hardware e substitui automaticamente os componentes da infraestrutura em caso de falhas. Em um sistema de arquivos persistente, se um servidor de arquivos se tornar indisponível, ele será substituído automaticamente minutos após apresentar falhas. Durante esse período, as solicitações do cliente por dados nesse servidor serão repetidas com transparência e, eventualmente, terão êxito após a substituição do servidor de arquivos. Os dados em sistemas de arquivos persistentes são replicados em discos, e quaisquer discos com falhas são automaticamente substituídos com transparência.

Use sistemas de arquivos persistentes para o armazenamento de longo prazo e para as workloads com foco no throughput que são executadas por períodos prolongados ou indefinidamente e podem ser sensíveis a interrupções na disponibilidade.

Os tipos de implantação persistentes criptografam automaticamente os dados em trânsito quando eles são acessados ​​de instâncias do Amazon EC2 que oferecem suporte à criptografia em trânsito.

O Amazon FSx for Lustre oferece suporte a dois tipos de implantação persistente: Persistent_1 e Persistent_2.

Tipo de implantação Persistent_2

O Persistent_2 corresponde à última geração do tipo de implantação persistente e é a melhor opção para casos de uso que requerem armazenamento de longo prazo e têm workloads sensíveis à latência que exigem os mais altos níveis de IOPS e de throughput. Os tipos de implantação do Persistent_2 oferecem suporte a níveis mais altos de taxa de transferência por unidade de armazenamento em comparação aos sistemas de arquivos Persistent_1 e oferecem quatro níveis de taxa de transferência por unidade de armazenamento: 125, 250, 500 e 1000 MB/s/TiB.

Se você especificar uma configuração de metadados ao criar um sistema de arquivos Persistent_2, poderá optar por aumentar o desempenho dos metadados ao longo do tempo, independentemente da capacidade de armazenamento do sistema de arquivos, para satisfazer os crescentes requisitos de desempenho e suportar cargas de trabalho maiores.

Você pode criar sistemas de arquivos Persistent_2 com um modo de configuração de metadados usando o console e a API do Amazon FSx. AWS Command Line Interface

Tipo de implantação Persistent_1

Os tipos de implantação Persistent_1 podem ser desenvolvidos no Lustre 2.10 ou 2.12 e oferecem suporte aos tipos de armazenamento em SSD (unidade de estado sólido) e em HDD (unidade de disco rígido). O tipo de implantação Persistent_1 é adequado para casos de uso que requerem armazenamento de longo prazo e têm workloads com foco no throughput que não são sensíveis à latência.

Para um sistema de arquivos Persistent_1 com armazenamento em SSD, o throughput por unidade de armazenamento corresponde a 50, 100 ou 200 MB/s por tebibyte (TiB). Para armazenamento em HDD, o throughput do tipo Persistent_1 por unidade de armazenamento corresponde a 12 ou 40 MB/s por TiB.

Você pode criar tipos de implantação Persistent_1 somente usando a e AWS CLI a API Amazon FSx.

Regiões disponíveis

Os tipos de implantação persistente estão disponíveis no seguinte Regiões da AWS:

Região da AWS	Persistent_1	Persistent_2
Leste dos EUA (Ohio)	✓	✓
Leste dos EUA (N. da Virgínia)	✓	✓
Zona local do Leste dos EUA (Atlanta)		✓ (Somente 125 e 250 persistentes)
Oeste dos EUA (N. da Califórnia)	✓
Zona Local Oeste dos EUA (Los Angeles)	✓
Oeste dos EUA (Oregon)	✓	✓
África (Cidade do Cabo)	✓
Ásia-Pacífico (Hong Kong)	✓	✓
Ásia-Pacífico (Hyderabad)	✓
Ásia-Pacífico (Jacarta)	✓
Ásia-Pacífico (Melbourne)	✓
Ásia-Pacífico (Mumbai)	✓	✓
Ásia-Pacífico (Osaka)	✓
Ásia-Pacífico (Seul)	✓	✓
Ásia-Pacífico (Singapura)	✓	✓
Ásia-Pacífico (Sydney)	✓	✓
Ásia-Pacífico (Tóquio)	✓	✓
Canadá (Central)	✓	✓
Oeste do Canadá (Calgary)		✓ (Somente 125 e 250 persistentes)
Europa (Frankfurt)	✓	✓
Europa (Irlanda)	✓	✓
Europa (Londres)	✓	✓
Europa (Milão)	✓
Europe (Paris)	✓
Europa (Espanha)	✓
Europa (Estocolmo)	✓	✓
Europa (Zurique)	✓
Israel (Tel Aviv)		✓ (Somente 125 e 250 persistentes)
Oriente Médio (Barém)	✓
Oriente Médio (Emirados Árabes Unidos)	✓
América do Sul (São Paulo)	✓
AWS GovCloud (Leste dos EUA)	✓
AWS GovCloud (Oeste dos EUA)	✓

Para obter mais informações sobre a performance do FSx para Lustre, consulte Performance agregada do sistema de arquivos.