Performance - AWS Storage Gateway

A documentação do gateway de arquivos do Amazon S3 foi movida para O que é o Amazon S3 File Gateway?

A documentação do gateway de arquivos do Amazon FSx foi movida para O que é o Amazon FSx File Gateway?

A documentação do gateway de volumes foi movida para O que é o gateway de volumes?

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Performance

Esta seção descreve o desempenho do Storage Gateway.

Orientação de desempenho para gateways de fitas

Nesta seção, é possível encontrar orientações de configuração para provisionamento de hardware para sua VM de gateway de fitas. Os tipos e tamanhos de instâncias do Amazon EC2 que estão listados na tabela são exemplos e são fornecidos para referência.

Configuração Gbps de taxa de transferência de gravação Leitura de Gbps de taxa de transferência de cache Leia de Amazon Web Services Cloud Throughput (Gbps)

Plataforma host: instância do Amazon EC2, c5.4xlarge

CPU: 16 vCPU | RAM: 32 GB

Disco raiz: 80 GB, io1 SSD, 4.000 IOPs

Disco de cache: RAID distribuído (2 x 500 GB, SSD io1 EBS, 25000 IOPs)

Disco do buffer de upload: 450 GB, io1 SSD, 2000 IOPs

Largura de banda da rede para a nuvem: 10 Gbps

2.3 4,0 2.2

Plataforma de hospedagem: dispositivo de hardware do Storage Gateway

Disco de cache: 2,5 TB

Disco do buffer de upload: 2 TB

Largura de banda da rede para a nuvem: 10 Gbps

2.3 8.8 3.8

Plataforma host: instância do Amazon EC2, c5d.9xlarge

CPU: 36 vCPU | RAM: 72 GB

Disco raiz: 80 GB, io1 SSD, 4.000 IOPs

Disco de cache: disco de 900 GB NVMe

Disco do buffer de upload: disco de 900 GB NVMe

Largura de banda da rede para a nuvem: 10 Gbps

5.2 11.6 5.2

Plataforma host: instância do Amazon EC2, c5d.metal

CPU: 96 vCPU | RAM: 192 GB

Disco raiz: 80 GB, io1 SSD, 4.000 IOPs

Disco cache: RAID listrado (2 discos NVMe de 900 GB)

Disco do buffer de upload: disco de 900 GB NVMe

Largura de banda da rede para a nuvem: 10 Gbps

5.2 11.6 7.2
nota

Este desempenho foi obtido usando um tamanho de bloco de 1 MB e dez unidades de fita simultaneamente.

As configurações do EC2 na tabela acima devem representar apenas o desempenho que pode ser obtido em seus próprios servidores físicos com recursos semelhantes. Por exemplo, as configurações do EC2 usando um RAID distribuído foram feitas por meio de um mecanismo especial que geralmente não é compatível com o gateway no EC2. Para obter um desempenho semelhante, você deve usar um controlador RAID de hardware conectado ao servidor on-premises que executa o gateway.

Seu desempenho pode variar com base na configuração da plataforma de hospedagem e na largura de banda da rede.

Para melhorar o desempenho do throughput de gravação e de leitura do gateway de fitas, consulte Otimizar as configurações iSCSI, Usar um tamanho de bloco maior para unidades de fita e Otimizar o desempenho de unidades de fita virtual no software de backup.

Como otimizar o desempenho de um gateway

Para obter o melhor desempenho do seu gateway, o Storage Gateway recomenda a seguinte configuração de gateway para o servidor host do gateway:

  • Pelo menos 64 núcleos de CPU físicos dedicados

  • Para o gateway de fitas , seu hardware deve dedicar as seguintes quantidades de RAM:

    • Pelo menos 16 GiB de RAM é reservada para os gateways com tamanho de cache de até 16 TiB

    • Pelo menos 32 GiB de RAM é reservada para os gateways com tamanho de cache de 16 TiB a 32 TiB

    • Pelo menos 48 GiB de RAM é reservada para os gateways com tamanho de cache de 32 TiB a 64 TiB

    nota

    Para um desempenho ideal do gateway, você deve provisionar pelo menos 32 GiB de RAM.

  • Disco 1, para ser usado como cache do gateway da seguinte forma:

    • Um RAID (matriz redundante de discos independentes) distribuído que consiste de SSDs NVMe.

  • Disco 2, para ser usado como buffer de upload do gateway da seguinte forma:

    • RAID listrado composto por SSDs NVMe.

  • Disco 3, para ser usado como buffer de upload do gateway da seguinte forma:

    • RAID listrado composto por SSDs NVMe.

  • Adaptador de rede 1 configurado na rede 1 da VM:

    • Use a rede 1 da VM e adicione o VMXnet3 (10 Gbps) para ser usado para ingestão.

  • Adaptador de rede 2 configurado na rede 2 da VM:

    • Use a rede 2 da VM e adicione o VMXnet3 (10 Gbps) para ser usado conexão com a AWS.

Como adicionar recursos ao seu gateway

Os gargalos a seguir podem reduzir o desempenho do seu Tape Gateway abaixo da taxa de transferência máxima sustentada teórica (sua largura de banda para a nuvem): AWS

  • Contagem de núcleos de CPU

  • Throughput do disco de buffer de cache/upload

  • Quantidade total de RAM

  • Largura de banda de rede até AWS

  • Largura de banda da rede do iniciador ao gateway

Esta seção contém as etapas que podem ser seguidas para otimizar o desempenho do gateway. Esta orientação é baseada na adição de recursos ao gateway ou ao servidor de aplicações.

Você pode otimizar o desempenho do gateway adicionando recursos ao seu gateway em uma ou mais das seguintes maneiras.

Use discos de desempenho superior

O throughput do disco de cache e buffer de upload pode limitar o desempenho de upload e download do gateway. Se o gateway estiver exibindo um desempenho significativamente abaixo do esperado, considere melhorar o throughput do cache e do disco do buffer de upload da seguinte forma:

  • Usando um RAID distribuído, como o RAID 10, para melhorar o throughput do disco, de preferência com um controlador RAID de hardware.

    nota

    O RAID (matriz redundante de discos independentes) ou, especificamente, configurações de RAID com distribuição de disco, como o RAID 10, é o processo de dividir um corpo de dados em blocos e distribuir os blocos de dados em vários dispositivos de armazenamento. O nível de RAID usado afeta a velocidade exata e a tolerância a falhas que é possível alcançar. Ao distribuir as workloads de E/S em vários discos, o throughput do dispositivo RAID é muito maior do que o de qualquer disco de membro único.

  • Como usar discos de alto desempenho que são conectados diretamente

    Para otimizar o desempenho do gateway, você pode adicionar discos de alto desempenho, como unidades de estado sólido (SSDs) e um controlador NVMe. Você pode também anexar discos virtuais diretamente à sua VM em uma rede de área de armazenamento (SAN), e não no NTFS do Microsoft Hyper-V. Um disco com melhor desempenho geralmente contribui para uma taxa de transferência mais alta e mais operações de entrada/saída por segundo (IOPS).

    Para medir a produtividade, use as WriteBytes métricas ReadBytes e com a CloudWatch estatística da Samples Amazon. Por exemplo, a estatística Samples da métrica ReadBytes durante um período de amostra de 5 minutos divididos por 300 segundos fornece o IOPS. Como regra geral, ao analisar essas métricas para um gateway, procure taxas de transferência baixas e IOPS com baixas tendências para indicar gargalos relacionados ao disco. Para obter mais informações sobre métricas de gateway, consulte Medindo o desempenho entre seu gateway de fita e AWS.

    nota

    CloudWatch as métricas não estão disponíveis para todos os gateways. Para obter informações sobre métricas de gateway, consulte Como monitorar o Storage Gateway.

Adicionar mais discos de buffer de upload

Para ter um throughput de gravação maior, adicione pelo menos dois discos de buffer de upload. Quando os dados são gravados no gateway, eles são gravados e armazenados localmente nos discos de buffer de upload. Depois disso, os dados locais armazenados são lidos de forma assíncrona dos discos a serem processados e carregados na AWS. Adicionar mais discos de buffer de upload pode reduzir a quantidade de operações simultâneas de E/S realizadas em cada disco individual. Isso pode resultar em um throughput maior de gravação no gateway.

Respalde os discos virtuais com discos físicos separados.

Ao provisionar discos de gateway, é altamente recomendável não provisionar discos locais para o buffer de upload e o armazenamento em cache que usam os mesmos recursos subjacentes de armazenamento físico. Por exemplo, para VMware ESXi, os recursos subjacentes de armazenamento físico são representados como armazenamento de dados. Ao implantar a VM do gateway, você escolhe um armazenamento de dados para armazenar os arquivos da VM. Ao provisionar um disco virtual (por exemplo, como buffer de upload), você pode armazenar o disco virtual no mesmo armazenamento de dados que a VM ou em outro armazenamento de dados distinto.

Se você tiver mais de um armazenamento de dados, é altamente recomendável escolher um armazenamento de dados para cada tipo de armazenamento local que você estiver criando. O armazenamento de dados que conta apenas com um disco físico subjacente pode apresentar um desempenho ruim. Um exemplo é quando você usa um disco para apoiar o armazenamento em cache e o buffer de upload em uma configuração de gateway. Da mesma forma, um armazenamento de dados que conta uma configuração de RAID de desempenho mais baixo, como RAID 1 ou RAID 6, pode apresentar um desempenho ruim.

Adicione recursos de CPU ao host de seu gateway

O requisito mínimo para o servidor de host do gateway é quatro processadores virtuais. Para otimizar o desempenho do gateway, confirme se cada processador virtual atribuídos à VM do gateway contam com o suporte de um núcleo dedicado. Além disso, confirme se você não está comprometendo exageradamente as CPUs do servidor de host.

Ao adicionar mais CPUs ao servidor de host do gateway, você pode aumentar a capacidade de processamento do gateway. Isso permite que seu gateway lide paralelamente com o armazenamento de dados de sua aplicação no armazenamento local e o upload desses dados para o Amazon S3. As CPUs adicionais também ajudam a garantir que seu gateway tenha recursos de CPU suficientes quando o host for compartilhado com outras VMs. Ao fornecer recursos suficientes de CPU, o resultado de modo geral é a melhoria da taxa de transferência.

Aumente a largura de banda entre o gateway e a nuvem da AWS

Aumentar sua largura de banda de ida e AWS volta aumentará a taxa máxima de entrada de dados em seu gateway e saída para a nuvem. AWS Itso pode melhorar o desempenho do gateway se a velocidade da rede for o fator limitante na configuração do gateway, em vez de outros fatores, como discos lentos ou baixa largura de banda da conexão do iniciador do gateway.

A largura de banda da rede de ida e AWS volta define o desempenho médio teórico máximo do seu gateway de fita durante cargas de trabalho sustentadas.

  • A taxa média na qual é possível gravar dados do seu gateway de fitas em intervalos longos não excederá sua largura de banda de upload para a AWS.

  • A taxa média na qual você pode ler dados do seu Tape Gateway em intervalos longos não excederá sua largura de banda de download para. AWS

nota

O desempenho observado do gateway provavelmente será menor do que a largura de banda da rede devido a outros fatores limitantes listados aqui, como o throughput do disco do buffer de cache/upload, a contagem de núcleos da CPU, a quantidade total de RAM ou a largura de banda entre o iniciador e o gateway. Além disso, a operação normal do gateway envolve muitas ações tomadas para proteger seus dados, o que pode fazer com que o desempenho observado seja menor que a largura de banda da rede.

Otimizar as configurações iSCSI

É possível otimizar as configurações iSCSI no iniciador iSCSI para obter maior desempenho de E/S. Recomendamos escolher 256 KiB para MaxReceiveDataSegmentLength e FirstBurstLength e 1 MiB para MaxBurstLength. Para obter mais informações sobre como definir configurações iSCSI, consulte Como personalizar as configurações iSCSI.

nota

Estas configurações recomendadas podem facilitar um melhor desempenho geral. No entanto, as configurações iSCSI específicas que são necessárias para otimizar o desempenho variam dependendo do software de backup usado. Para obter detalhes, consulte a documentação do software de backup.

Usar um tamanho de bloco maior para unidades de fita

Em um gateway de fitas, o tamanho de bloco padrão para uma unidade de fita é 64 KB. No entanto, você pode aumentar o tamanho de bloco para até 1 MB para melhorar o desempenho de E/S.

O tamanho de bloco escolhido depende do tamanho mínimo compatível com o software de backup. Recomendamos que você defina o tamanho de bloco das unidades de fita no seu software de backup como o maior tamanho possível. No entanto, esse tamanho de bloco não deve ser maior do que o tamanho máximo de 1 MB compatível com o gateway.

Os gateways de fitas negociam o tamanho de bloco de unidades de fita virtuais para corresponder automaticamente ao que está definido no software de backup. Quando você aumentar o tamanho de bloco no software de backup, recomendamos também verificar as configurações para garantir que o iniciador de host ofereça suporte ao novo tamanho de bloco. Para obter mais informações, consulte a documentação do software de backup. Para mais informações sobre orientações de desempenho específicas de gateway, consulte Performance.

Otimizar o desempenho de unidades de fita virtual no software de backup

O software de backup pode fazer backup de dados em até dez unidades de fita virtual em um gateway de fitas ao mesmo tempo. É recomendável configurar trabalhos de backup no software de backup para usar, pelo menos, quatro unidades de fita virtual simultâneas no gateway de fitas. Você pode obter uma melhor taxa de transferência de gravação quando o software de backup está fazendo backup de dados em mais de uma fita virtual ao mesmo tempo.

Como regra geral, é possível obter um throughput máximo mais alto operando (lendo ou gravando) mais fitas virtuais ao mesmo tempo. Ao usar mais unidades de fita, você permite que seu gateway atenda a mais solicitações simultaneamente, potencialmente melhorando o desempenho.

Como adicionar recursos ao seu ambiente de aplicativos

Aumente a largura de banda entre o servidor de aplicativos e o gateway

A conexão entre o iniciador iSCSI e o gateway pode limitar o desempenho de upload e download. Se o gateway estiver apresentando desempenho significativamente pior do que o esperado e você já tiver melhorado a contagem de núcleos de CPU e o throughput de disco, considere:

  • Como atualizar os cabos de rede para ter uma maior largura de banda entre o iniciador e o gateway.

  • Usando o maior número possível de drives de fita ao mesmo tempo. O iSCSI não suporta o enfileiramento de várias solicitações para o mesmo destino, o que significa que quanto mais drives de fita você usa, mais solicitações seu gateway pode atender simultaneamente. Isto permitirá que você utilize mais completamente a largura de banda entre o gateway e o iniciador, aumentando o throughput aparente do gateway.

Para otimizar o desempenho do gateway, confirme se a largura de banda da rede entre o aplicativo e o gateway pode atender às necessidades de seu aplicativo. É possível usar as métricas ReadBytes e WriteBytes do gateway para medir o total de throughput de dados. Para ter mais informações sobre essas métricas, consulte Medindo o desempenho entre seu gateway de fita e AWS.

Para seu aplicativo, compare a taxa de transferência medidas com a taxa de transferência desejada. Se a taxa de transferência medida for inferior à taxa de transferência desejada, a ampliação da largura de banda entre o aplicativo e o gateway pode melhorar o desempenho se a rede for o gargalo. Da mesma forma, você pode aumentar a largura de banda entre a VM e os discos locais, se eles não estiverem diretamente vinculados.

Adicione recursos de CPU ao seu ambiente de aplicativos

Se seu aplicativo puder usar outros recursos de CPU, adicionar mais CPUs pode ajudar seu aplicativo a dimensionar a respectiva carga de E/S.

Como usar o VMware vSphere High Availability com o Storage Gateway

O Storage Gateway fornece uma alta disponibilidade no VMware por meio de um conjunto de verificações de integridade no nível da aplicação integradas à Alta Disponibilidade do VMware vSphere (VMware HA). Essa abordagem ajuda a proteger as cargas de trabalho de armazenamento contra falhas de hardware, de hipervisor ou de rede. Ela também ajuda a proteger contra erros de software, como tempos limite de conexão e compartilhamento de arquivos ou indisponibilidade de volume.

O vSphere HA funciona agrupando máquinas virtuais e os hosts em que elas residem em um cluster para redundância. Os hosts no cluster são monitorados e, em caso de falha, as máquinas virtuais em um host com falha são reiniciadas em hosts alternativos. Geralmente, essa recuperação acontece rapidamente e sem perda de dados. Para obter mais informações sobre o vSphere HA, consulte Como o vSphere HA funciona na documentação da VMware.

nota

O tempo necessário para reiniciar uma máquina virtual com falha e restabelecer a conexão iSCSI em um novo host depende de muitos fatores, como o sistema operacional e a carga de recursos do host, a velocidade do disco, a conexão de rede e a infraestrutura de SAN/armazenamento. Para minimizar o tempo de inatividade do failover, implemente as recomendações descritas em .

Para usar o VMware HA com o Storage Gateway, siga as etapas listadas a seguir.

Configurar o cluster do vSphere VMware HA

Primeiro, se você ainda não tiver criado um cluster do VMware, crie um. Para obter informações sobre como criar um cluster do VMware, consulte Create a vSphere HA Cluster na documentação do VMware.

Depois, configure o cluster do VMware para trabalhar com o Storage Gateway.

Como configurar o cluster do VMware
  1. Na página Edit Cluster Settings (Editar configurações do cluster) no VMware vSphere, verifique se o monitoramento da VM está configurado para monitoramento de VM e aplicativos. Para fazer isso, defina as seguintes opções conforme indicado:

    • Host Failure Response (Resposta à falha do host): Restart VMs (Reiniciar VMs)

    • Response for Host Isolation (Resposta ao isolamento do host): Shut down and restart VMs (Desligar e reiniciar VMs)

    • Datastore with PDL (Armazenamento de dados com PDL): Disabled (Desativado)

    • Datastore with APD (Armazenamento de dados com APD): Disabled (Desativado)

    • VM Monitoring (Monitoramento de VM): VM and Application Monitoring (Monitoramento de VM e aplicativos)

    Para obter um exemplo, consulte as capturas de tela a seguir.

    
                        A tela de edição das configurações de cluster do VMware vSphere com opções de monitoramento de VM e aplicações configuradas.
  2. Ajuste a sensibilidade do cluster ajustando os seguintes valores:

    • Intervalo de falha: após esse intervalo, a VM será reiniciada se uma pulsação da VM não for recebida.

    • Tempo mínimo de atividade: o cluster aguarda esse tempo depois que uma VM começa a monitorar as pulsações das ferramentas de VM.

    • Redefinições máximas por VM: define o máximo de vezes que o cluster reinicia a VM durante a janela temporal para o máximo de redefinições.

    • Janela de tempo de redefinições máximas: a janela de tempo na qual ocorre a contagem de redefinições máximas por VM.

    Se você não tiver certeza de quais valores definir, use estas configurações de exemplo:

    • Failure interval (Intervalo de falha): 30 segundos

    • Minimum uptime (Tempo mínimo de atividade): 120 segundos

    • Maximum per-VM resets (Máximo de redefinições por VM): 3

    • Maximum resets time window (Janela temporal para o máximo de redefinições): 1 hora

Se você tiver outras VMs em execução no cluster, talvez você queira definir esses valores especificamente para sua VM. Não é possível fazer isso até implantar a VM a partir do .ova. Para obter mais informações sobre como definir esses valores, consulte (Opcional) Adicionar opções de substituição para outras VMs no cluster.

Baixe a imagem .ova do console do Storage Gateway

Para baixar a imagem .ova para o gateway
  • Na página Configurar gateway no console do Storage Gateway, selecione o tipo de gateway e a plataforma do host e use o link fornecido no console para baixar o .ova, conforme descrito em Configurar um gateway de fitas.

Implantar o gateway

No cluster configurado, implante a imagem .ova em um dos hosts do cluster.

Como implantar a imagem .ova do gateway
  1. Implante a imagem .ova em um dos hosts no cluster.

  2. Verifique se os armazenamentos de dados escolhidos para o disco raiz e o cache estão disponíveis para todos os hosts no cluster. Ao implantar o arquivo .ova do Storage Gateway em um ambiente VMware ou local, os discos são descritos como discos SCSI paravirtualizados. Paravirtualização é um modo no qual a VM do gateway funciona com o sistema operacional do host para que o console possa identificar os discos virtuais que você adiciona à sua VM.

    Para configurar sua VM para usar controladores paravirtualizados

    1. No cliente VMware vSphere, abra o menu de contexto (clique com o botão direito) da VM do gateway e escolha Edit Settings.

    2. Na caixa de diálogo Virtual Machine Properties, escolha a guia Hardware, selecione SCSI controller 0 e escolha Change Type.

    3. Na caixa de diálogo Change SCSI Controller Type, selecione o tipo de controlador SCSI VMware Paravirtual e escolha OK.

(Opcional) Adicionar opções de substituição para outras VMs no cluster

Se tiver outras VMs em execução no cluster, talvez você queira definir os valores do cluster especificamente para cada VM.

Como adicionar opções de substituição para outras VMs no cluster
  1. Na página Summary (Resumo) do VMware vSphere, escolha o cluster para abrir a página do cluster e selecione Configure (Configurar).

  2. Selecione a guia Configuration (Configuração) e selecione VM Overrides (Substituições de VM).

  3. Adicione uma nova opção de substituição de VM para alterar cada valor.

    Para opções de substituição, consulte a captura de tela a seguir.

    
                        Tela VMware vSphere Add VM Override Cluster com opções de substituição configuradas.

Ativar o gateway.

Depois que o .ova do gateway for implantado, ative o gateway. As instruções de como fazer isso são diferentes para cada tipo de gateway.

Para ativar seu gateway

Teste a configuração do VMware High Availability

Depois de ativar o gateway, teste a configuração.

Como testar a configuração do VMware HA
  1. Abra o console do Storage Gateway em https://console.aws.amazon.com/storagegateway/home.

  2. No painel de navegação, selecione Gateways e escolha o gateway que você deseja testar para o VMware HA.

  3. Em Actions (Ações), selecione Verify VMware HA (Verificar VMware HA).

  4. Na caixa Verify VMware High Availability Configuration (Verificar configuração do VMware High Availability) exibida, selecione OK.

    nota

    Testar a configuração do VMware HA reinicializa a VM do gateway e interrompe a conectividade com o gateway. O teste pode levar alguns minutos para ser concluído.

    Se o teste for bem-sucedido, o status Verified (Verificado) será exibido na guia de detalhes do gateway no console.

  5. Selecione Exit (Sair).

Você pode encontrar informações sobre eventos do VMware HA nos grupos de CloudWatch log da Amazon. Para obter mais informações, consulte Obter registros de integridade do gateway de fitas com CloudWatch grupos de registros .