Desempenho e otimização - AWS Storage Gateway

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Desempenho e otimização

Esta seção descreve as diretrizes e as melhores práticas para otimizar o desempenho do File Gateway.

Orientação básica de desempenho para o S3 File Gateway Gateway

Nesta seção, você pode encontrar orientações para provisionar hardware para sua VM do S3 File Gateway. As configurações de instância listadas na tabela são exemplos e são fornecidas para referência.

Para obter melhor desempenho, o tamanho do disco de cache deve ser ajustado ao tamanho do conjunto de trabalho ativo. Usar vários discos locais para o cache aumenta o desempenho de gravação ao paralelizar acesso a dados e gera IOPS maior.

nota

Não recomendamos o uso do armazenamento temporário. Para obter informações sobre como usar o armazenamento temporário, consulte Usando armazenamento efêmero com gateways EC2 .

Para EC2 instâncias da Amazon, se você tiver mais de 5 milhões de objetos em seu bucket do S3 e estiver usando um volume SSD de uso geral, é necessário um volume mínimo de EBS raiz de 350 GiB para um desempenho aceitável do seu gateway durante a inicialização. Para obter informações sobre como aumentar o tamanho do volume, consulte Modificar um volume do EBS usando volumes elásticos (console).

O limite de tamanho sugerido para diretórios individuais nos que você conecta ao File Gateway é de 10.000 arquivos por diretório. Você pode usar o File Gateway com diretórios com mais de 10.000 arquivos, mas o desempenho pode ser afetado.

Nas tabelas a seguir, as operações de leitura de cliques em cache são lidas dos compartilhamentos de arquivos que são servidos a partir do cache. As operações de leitura perdida do cache são leituras dos compartilhamentos de arquivos que são servidos pelo Amazon S3.

As tabelas a seguir mostram exemplos de configurações do S3 File Gateway.

Desempenho do S3 File Gateway em clientes Linux

Exemplos de configuração Protocolo Taxa de transferência de gravação (tamanhos de arquivo de 1 GB) Taxa de transferência de leituras atingidas pelo cache Taxa de transferência de leitura perdida do cache

Disco raiz: 80 GB, io1 SSD, 4.000 IOPs

Disco de cache: cache de 512 GiB, io1, 1.500 IOPS provisionadas

Desempenho mínimo da rede: 10 Gbps

CPU: 16 vCPU | RAM: 32 GB

Protocolo NFS recomendado para Linux

NFSv3 - 1 tópico 110 MiB/sec (0,92 Gbps) 590 MiB/sec (4,9 Gbps) 310 MiB/sec (2,6 Gbps)
NFSv3 - 8 fios 160 MiB/sec (1,3 Gbps) 590 MiB/sec (4,9 Gbps) 335 MiB/sec (2,8 Gbps)
NFSv4 - 1 tópico 130 MiB/sec (1,1 Gbps) 590 MiB/sec (4,9 Gbps) 295 MiB/sec (2,5 Gbps)
NFSv4 - 8 fios 160 MiB/sec (1,3 Gbps) 590 MiB/sec (4,9 Gbps) 335 MiB/sec (2,8 Gbps)
SMBV3 - 1 tópico 115 MiB/sec (1,0 Gbps) 325 MiB/sec (2,7 Gbps) 255 MiB/sec (2,1 Gbps)
SMBV3 - 8 fios 190 MiB/sec (1,6 Gbps) 590 MiB/sec (4,9 Gbps) 335 MiB/sec (2,8 Gbps)

Dispositivo de hardware do Storage Gateway

Desempenho mínimo da rede: 10 Gbps

NFSv3 - 1 tópico 265 MiB/sec (2,2 Gbps) 590 MiB/sec (4,9 Gbps) 310 MiB/sec (2,6 Gbps)
NFSv3 - 8 fios 385 MiB/sec (3,1 Gbps) 590 MiB/sec (4,9 Gbps) 335 MiB/sec (2,8 Gbps)
NFSv4 - 1 tópico 310 MiB/sec (2,6 Gbps) 590 MiB/sec (4,9 Gbps) 295 MiB/sec (2,5 Gbps)
NFSv4 - 8 fios 385 MiB/sec (3,1 Gbps) 590 MiB/sec (4,9 Gbps) 335 MiB/sec (2,8 Gbps)
SMBV3 - 1 tópico 275 MiB/sec (2,4 Gbps) 325 MiB/sec (2,7 Gbps) 255 MiB/sec (2,1 Gbps)
SMBV3 - 8 fios 455 MiB/sec (3,8 Gbps) 590 MiB/sec (4,9 Gbps) 335 MiB/sec (2,8 Gbps)

Disco raiz: 80 GB, io1 SSD, 4.000 IOPs

Disco de cache: 4 discos de cache NVME de 2 TB

Desempenho mínimo da rede: 10 Gbps

CPU: 32 vCPU | RAM: 244 GB

Protocolo NFS recomendado para Linux

NFSv3 - 1 tópico 300 MiB/sec (2,5 Gbps) 590 MiB/sec (4,9 Gbps) 325 MiB/sec (2,7 Gbps)
NFSv3 - 8 fios 585 MiB/sec (4,9 Gbps) 590 MiB/sec (4,9 Gbps) 580 MiB/sec (4,8 Gbps)
NFSv4 - 1 tópico 355 MiB/sec (3,0 Gbps) 590 MiB/sec (4,9 Gbps) 340 MiB/sec (2,9 Gbps)
NFSv4 - 8 fios 575 MiB/sec (4,8 Gbps) 590 MiB/sec (4,9 Gbps) 575 MiB/sec (4,8 Gbps)
SMBV3 - 1 tópico 230 MiB/sec (1,9 Gbps) 325 MiB/sec (2,7 Gbps) 245 MiB/sec (2,0 Gbps)
SMBV3 - 8 fios 585 MiB/sec (4,9 Gbps) 590 MiB/sec (4,9 Gbps) 580 MiB/sec (4,8 Gbps)

Desempenho do File Gateway em clientes Windows

Exemplos de configuração Protocolo Taxa de transferência de gravação (tamanhos de arquivo de 1 GB) Taxa de transferência de leituras atingidas pelo cache Taxa de transferência de leitura perdida do cache

Disco raiz: 80 GB, io1 SSD, 4.000 IOPs

Disco de cache: cache de 512 GiB, io1, 1.500 IOPS provisionadas

Desempenho mínimo da rede: 10 Gbps

CPU: 16 vCPU | RAM: 32 GB

Protocolo SMB recomendado para Windows

SMBV3 - 1 tópico 150 MiB/sec (1,3 Gbps) 180 MiB/sec (1,5 Gbps) 20 MiB/sec (0,2 Gbps)
SMBV3 - 8 fios 190 MiB/sec (1,6 Gbps) 335 MiB/sec (2,8 Gbps) 195 MiB/sec (1,6 Gbps)
NFSv3 - 1 tópico 95 MiB/sec (0,8 Gbps) 130 MiB/sec (1,1 Gbps) 20 MiB/sec (0,2 Gbps)
NFSv3 - 8 fios 190 MiB/sec (1,6 Gbps) 330 MiB/sec (2,8 Gbps) 190 MiB/sec (1,6 Gbps)

Dispositivo de hardware do Storage Gateway

Desempenho mínimo da rede: 10 Gbps

SMBV3 - 1 tópico 230 MiB/sec (1,9 Gbps) 255 MiB/sec (2,1 Gbps) 20 MiB/sec (0,2 Gbps)
SMBV3 - 8 fios 835 MiB/sec (7,0 Gbps) 475 MiB/sec (4,0 Gbps) 195 MiB/sec (1,6 Gbps)
NFSv3 - 1 tópico 135 MiB/sec (1,1 Gbps) 185 MiB/sec (1,6 Gbps) 20 MiB/sec (0,2 Gbps)
NFSv3 - 8 fios 545 MiB/sec (4,6 Gbps) 470 MiB/sec (4,0 Gbps) 190 MiB/sec (1,6 Gbps)

Disco raiz: 80 GB, io1 SSD, 4.000 IOPs

Disco de cache: 4 discos de cache NVME de 2 TB

Desempenho mínimo da rede: 10 Gbps

CPU: 32 vCPU | RAM: 244 GB

Protocolo SMB recomendado para Windows

SMBV3 - 1 tópico 230 MiB/sec (1,9 Gbps) 265 MiB/sec (2,2 Gbps) 30 MiB/sec (0,3 Gbps)
SMBV3 - 8 fios 835 MiB/sec (7,0 Gbps) 780 MiB/sec (6,5 Gbps) 250 MiB/sec (2,1 Gbps)
NFSv3 - 1 tópico 135 MiB/sec (1,1). (Gbps) 220 MiB/sec (1,8 Gbps) 30 MiB/sec (0,3 Gbps)
NFSv3 - 8 fios 545 MiB/sec (4,6 Gbps) 570 MiB/sec (4,8 Gbps) 240 MiB/sec (2,0 Gbps)
nota

Seu desempenho pode variar com base na configuração da plataforma de hospedagem e na largura de banda da rede. O desempenho da taxa de transferência de gravação diminui com o tamanho do arquivo, com a maior taxa de transferência possível para arquivos pequenos (menos de 32 MiB) sendo 16 arquivos por segundo.

Orientação de desempenho para gateways com vários compartilhamentos de arquivos

O Amazon S3 File Gateway suporta a anexação de até 50 compartilhamentos de arquivos a um único dispositivo Storage Gateway. Ao adicionar vários compartilhamentos de arquivos por gateway, você pode oferecer suporte a mais usuários e cargas de trabalho enquanto gerencia menos gateways e recursos de hardware virtual. Além de outros fatores, o número de compartilhamentos de arquivos gerenciados por um gateway pode afetar o desempenho desse gateway. Esta seção descreve como se espera que o desempenho do gateway mude dependendo do número de compartilhamentos de arquivos anexados e recomenda configurações de hardware virtual para otimizar o desempenho de gateways que gerenciam vários compartilhamentos.

Em geral, aumentar o número de compartilhamentos de arquivos gerenciados por um único Storage Gateway pode ter as seguintes consequências:

  • Maior tempo necessário para reiniciar o gateway.

  • Maior utilização de recursos de hardware virtual, como vCPU e RAM.

  • Diminuição do desempenho das operações de dados e metadados se os recursos de hardware virtual ficarem saturados.

A tabela a seguir lista as configurações recomendadas de hardware virtual para gateways que gerenciam vários compartilhamentos de arquivos:

Compartilhamentos de arquivos por gateway Configuração de capacidade recomendada do gateway Núcleos de vCPU recomendados RAM recomendada Tamanho de disco recomendado

1-10

Pequeno

4 (tipo de EC2 instância m4.xlarge ou superior)

16 GiB

80 GiB

10 a 20

Médio

8 (tipo de EC2 instância m4.2xlarge ou superior)

32 GiB

160 GiB

20+

Grande

16 (tipo de EC2 instância m4.4xlarge ou superior)

64 GiB

240 GiB

Além das configurações de hardware virtual recomendadas acima, recomendamos as seguintes práticas recomendadas para configurar e manter dispositivos Storage Gateway que gerenciam vários compartilhamentos de arquivos:

  • Considere que a relação entre o número de compartilhamentos de arquivos e a demanda colocada no hardware virtual do gateway não é necessariamente linear. Alguns compartilhamentos de arquivos podem gerar mais taxa de transferência e, portanto, mais demanda de hardware do que outros. As recomendações na tabela anterior são baseadas nas capacidades máximas de hardware e em vários níveis de taxa de transferência de compartilhamento de arquivos.

  • Se você achar que adicionar vários compartilhamentos de arquivos a um único gateway reduz o desempenho, considere mover os compartilhamentos de arquivos mais ativos para outros gateways. Em particular, se um compartilhamento de arquivos for usado para um very-high-throughput aplicativo, considere criar um gateway separado para esse compartilhamento de arquivos.

  • Não recomendamos configurar um gateway para vários aplicativos de alto rendimento e outro para vários aplicativos de baixo rendimento. Em vez disso, tente distribuir uniformemente compartilhamentos de arquivos de alta e baixa taxa de transferência entre os gateways para equilibrar a saturação do hardware. Para medir a taxa de transferência do compartilhamento de arquivos, use as WriteBytes métricas ReadBytes e. Para obter mais informações, consulte Entendendo as métricas de compartilhamento de arquivos.