Desempenho e otimização do Volume Gateway - AWS Storage Gateway
Como otimizar o desempenho de um gatewayUsando a VMware alta disponibilidade com o Storage Gateway

A documentação do gateway de arquivos do Amazon S3 foi movida para O que é o Amazon S3 File Gateway?

A documentação FSx do Amazon File Gateway foi movida para O que é o Amazon FSx File Gateway?

A documentação do gateway de fitas foi movida para O que é o gateway de fitas?

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Desempenho e otimização do Volume Gateway

Esta seção descreve o desempenho do Storage Gateway.

Como otimizar o desempenho de um gateway

Para obter o melhor desempenho do seu gateway, o Storage Gateway recomenda a seguinte configuração de gateway para o servidor host do gateway:

  • Pelo menos 24 CPU núcleos físicos dedicados

  • Para o Volume Gateway, seu hardware deve dedicar as seguintes quantidades deRAM:

    • Pelo menos 16 GiB de reservado RAM para gateways com tamanho de cache de até 16 TiB

    • Pelo menos 32 GiB de reservado RAM para gateways com tamanho de cache de 16 TiB a 32 TiB

    • Pelo menos 48 GiB de reservado RAM para gateways com tamanho de cache de 32 TiB a 64 TiB

  • Disco 1, para ser usado como cache do gateway da seguinte forma:

    • SSDusando um NVMe controlador.

  • Disco 2, para ser usado como buffer de upload do gateway da seguinte forma:

    • SSDusando um NVMe controlador.

  • Disco 3, para ser usado como buffer de upload do gateway da seguinte forma:

    • SSDusando um NVMe controlador.

  • Adaptador de rede 1 configurado na rede 1 da VM:

    • Use a rede VM 1 e adicione VMXnet3 (10 Gbps) para ser usada para ingestão.

  • Adaptador de rede 2 configurado na rede 2 da VM:

    • Use a rede VM 2 e adicione uma VMXnet3 (10 Gbps) a ser usada para se conectar. AWS

Como adicionar recursos ao seu gateway

Os gargalos a seguir podem reduzir o desempenho do seu abaixo da taxa de transferência máxima sustentada teórica (sua largura de banda para a nuvem): AWS

  • CPUcontagem de núcleos

  • Throughput do disco de buffer de cache/upload

  • RAMQuantidade total

  • Largura de banda de rede até AWS

  • Largura de banda da rede do iniciador ao gateway

Esta seção contém as etapas que podem ser seguidas para otimizar o desempenho do gateway. Esta orientação é baseada na adição de recursos ao gateway ou ao servidor de aplicações.

Você pode otimizar o desempenho do gateway adicionando recursos ao seu gateway em uma ou mais das seguintes maneiras.

Use discos de desempenho superior

O throughput do disco de cache e buffer de upload pode limitar o desempenho de upload e download do gateway. Se o gateway estiver exibindo um desempenho significativamente abaixo do esperado, considere melhorar o throughput do cache e do disco do buffer de upload da seguinte forma:

  • Usando uma faixaRAID, como RAID 10, para melhorar a taxa de transferência do disco, de preferência com um controlador de hardwareRAID.

    nota

    RAID(matriz redundante de discos independentes) ou, especificamente, RAID configurações distribuídas por discos, como RAID 10, são o processo de dividir um corpo de dados em blocos e distribuir os blocos de dados em vários dispositivos de armazenamento. O RAID nível usado afeta a velocidade exata e a tolerância a falhas que você pode alcançar. Ao dividir as cargas de trabalho de E/S em vários discos, a taxa de transferência geral do RAID dispositivo é muito maior do que a de qualquer disco de membro único.

  • Como usar discos de alto desempenho que são conectados diretamente

    Para otimizar o desempenho do gateway, você pode adicionar discos de alto desempenho, como unidades de estado sólido (SSDs) e um controlador. NVMe Você também pode conectar discos virtuais à sua VM diretamente de uma rede de área de armazenamento (SAN) em vez do Microsoft Hyper-V. NTFS O desempenho aprimorado do disco geralmente resulta em melhor taxa de transferência e mais operações de entrada/saída por segundo (). IOPS

    Para medir a produtividade, use as WriteBytes métricas ReadBytes e com a CloudWatch estatística da Samples Amazon. Por exemplo, a Samples estatística da ReadBytes métrica em um período de amostragem de 5 minutos dividido por 300 segundos fornece o. IOPS Como regra geral, ao analisar essas métricas para um gateway, procure baixa taxa de transferência e IOPS tendências baixas para indicar gargalos relacionados ao disco. .

    nota

    CloudWatch as métricas não estão disponíveis para todos os gateways. Para obter informações sobre métricas de gateway, consulte Como monitorar o Storage Gateway.

Adicionar mais discos de buffer de upload

Para ter um throughput de gravação maior, adicione pelo menos dois discos de buffer de upload. Quando os dados são gravados no gateway, eles são gravados e armazenados localmente nos discos de buffer de upload. Depois disso, os dados locais armazenados são lidos de forma assíncrona dos discos a serem processados e carregados na AWS. Adicionar mais discos de buffer de upload pode reduzir a quantidade de operações simultâneas de E/S realizadas em cada disco individual. Isso pode resultar em um throughput maior de gravação no gateway.

Respalde os discos virtuais com discos físicos separados.

Ao provisionar discos de gateway, é altamente recomendável não provisionar discos locais para o buffer de upload e o armazenamento em cache que usam os mesmos recursos subjacentes de armazenamento físico. Por exemplo, para VMwareESXi, os recursos de armazenamento físico subjacentes são representados como um armazenamento de dados. Ao implantar a VM do gateway, você escolhe um armazenamento de dados para armazenar os arquivos da VM. Ao provisionar um disco virtual (por exemplo, como buffer de upload), você pode armazenar o disco virtual no mesmo armazenamento de dados que a VM ou em outro armazenamento de dados distinto.

Se você tiver mais de um armazenamento de dados, é altamente recomendável escolher um armazenamento de dados para cada tipo de armazenamento local que você estiver criando. O armazenamento de dados que conta apenas com um disco físico subjacente pode apresentar um desempenho ruim. Um exemplo é quando você usa um disco para apoiar o armazenamento em cache e o buffer de upload em uma configuração de gateway. Da mesma forma, um armazenamento de dados apoiado por uma RAID configuração de menor desempenho, como RAID 1 ou RAID 6, pode levar a um desempenho ruim.

Adicione CPU recursos ao seu host de gateway

O requisito mínimo para o servidor de host do gateway é quatro processadores virtuais. Para otimizar o desempenho do gateway, confirme se cada processador virtual atribuído à VM do gateway é apoiado por um CPU núcleo dedicado. Além disso, confirme se você não está sobrecarregando a assinatura CPUs do servidor host.

Ao adicionar mais CPUs ao servidor host do gateway, você aumenta a capacidade de processamento do gateway. Isso permite que seu gateway lide paralelamente com o armazenamento de dados de sua aplicação no armazenamento local e o upload desses dados para o Amazon S3. CPUsAlém disso, ajuda a garantir que seu gateway receba CPU recursos suficientes quando o host for compartilhado com outrosVMs. Fornecer CPU recursos suficientes tem o efeito geral de melhorar a produtividade.

Aumente a largura de banda entre o gateway e a nuvem da AWS

Aumentar sua largura de banda de ida e AWS volta aumentará a taxa máxima de entrada de dados em seu gateway e saída para a nuvem. AWS Isto pode melhorar o desempenho do gateway se a velocidade da rede for o fator limitante na configuração do gateway, em vez de outros fatores, como discos lentos ou baixa largura de banda da conexão do iniciador do gateway.

nota

O desempenho observado do gateway provavelmente será menor do que a largura de banda da rede devido a outros fatores limitantes listados aqui, como taxa de transferência do disco de cache/buffer de upload, contagem de CPU núcleos, RAM quantidade total ou largura de banda entre o iniciador e o gateway. Além disso, a operação normal do gateway envolve muitas ações tomadas para proteger seus dados, o que pode fazer com que o desempenho observado seja menor que a largura de banda da rede.

Altere a configuração de volumes

Em gateways de volume, se você perceber que a adição de mais volumes a um gateway reduz o throughput para o gateway, pense na possibilidade de adicionar volumes a um gateway diferente. Mais especificamente, se um volume for usado por um aplicativo com alta taxa de transferência, pense na possibilidade de criar um gateway diferente para o aplicativo com alta taxa de transferência. No entanto, de modo geral, você não deve usar um único gateway para todos os aplicativos com alta taxa de transferência e outro gateway para todos os aplicativos com baixa taxa de transferência. Para medir a taxa de transferência do volume, use as métricas ReadBytes e WriteBytes.

Para ter mais informações sobre essas métricas, consulte Como medir o desempenho entre seu aplicativo e o gateway.

Otimize SCSI suas configurações

Você pode otimizar SCSI as configurações i em seu SCSI iniciador i para obter maior desempenho de E/S. Recomendamos escolher 256 KiB para MaxReceiveDataSegmentLength e FirstBurstLength e 1 MiB para MaxBurstLength. Para obter mais informações sobre como definir as SCSI configurações i, consultePersonalização nas configurações SCSI.

nota

Estas configurações recomendadas podem facilitar um melhor desempenho geral. No entanto, as SCSI configurações específicas necessárias para otimizar o desempenho variam de acordo com o software de backup usado. Para obter detalhes, consulte a documentação do software de backup.

Como adicionar recursos ao seu ambiente de aplicativos

Aumente a largura de banda entre o servidor de aplicativos e o gateway

A conexão entre o SCSI iniciador i e o gateway pode limitar seu desempenho de upload e download. Se seu gateway estiver apresentando um desempenho significativamente pior do que o esperado e você já tiver melhorado a contagem de CPU núcleos e a taxa de transferência de disco, considere:

  • Como atualizar os cabos de rede para ter uma maior largura de banda entre o iniciador e o gateway.

Para otimizar o desempenho do gateway, confirme se a largura de banda da rede entre o aplicativo e o gateway pode atender às necessidades de seu aplicativo. É possível usar as métricas ReadBytes e WriteBytes do gateway para medir o total de throughput de dados..

Para seu aplicativo, compare a taxa de transferência medidas com a taxa de transferência desejada. Se a taxa de transferência medida for inferior à taxa de transferência desejada, a ampliação da largura de banda entre o aplicativo e o gateway pode melhorar o desempenho se a rede for o gargalo. Da mesma forma, você pode aumentar a largura de banda entre a VM e os discos locais, se eles não estiverem diretamente vinculados.

Adicione CPU recursos ao seu ambiente de aplicativos

Se seu aplicativo puder usar CPU recursos adicionais, adicionar mais CPUs pode ajudar seu aplicativo a escalar sua carga de E/S.

Usando a VMware vSphere alta disponibilidade com o Storage Gateway

O Storage Gateway fornece alta disponibilidade VMware por meio de um conjunto de verificações de integridade em nível de aplicativo integradas à VMware vSphere Alta Disponibilidade (HA)VMware. Essa abordagem ajuda a proteger as cargas de trabalho de armazenamento contra falhas de hardware, de hipervisor ou de rede. Ela também ajuda a proteger contra erros de software, como tempos limite de conexão e compartilhamento de arquivos ou indisponibilidade de volume.

vSphere O HA funciona agrupando máquinas virtuais e os hosts em que elas residem em um cluster para redundância. Os hosts no cluster são monitorados e, em caso de falha, as máquinas virtuais em um host com falha são reiniciadas em hosts alternativos. Geralmente, essa recuperação acontece rapidamente e sem perda de dados. Para obter mais informações sobre vSphere HA, consulte Como o vSphere HA funciona na VMware documentação.

nota

O tempo necessário para reiniciar uma máquina virtual com falha e restabelecer a SCSI conexão i em um novo host depende de muitos fatores, como o sistema operacional e a carga de recursos do host, a velocidade do disco, a conexão de rede e a infraestrutura SAN /storage.

Para usar o VMware HA com o Storage Gateway, siga as etapas listadas a seguir.

Configure seu cluster vSphere VMware HA

Primeiro, se você ainda não criou um VMware cluster, crie um. Para obter informações sobre como criar um VMware cluster, consulte Criar um cluster vSphere HA na VMware documentação.

Em seguida, configure seu VMware cluster para funcionar com o Storage Gateway.

Para configurar seu VMware cluster

  1. Na página Editar configurações do cluster em VMwarevSphere, verifique se o monitoramento da VM está configurado para monitoramento de VM e aplicativos. Para fazer isso, defina as seguintes opções conforme indicado:

    • Resposta de falha do host: reiniciar VMs

    • Resposta para isolamento do host: desligar e reiniciar VMs

    • Armazenamento de dados com PDL: Desativado

    • Armazenamento de dados com APD: Desativado

    • VM Monitoring (Monitoramento de VM): VM and Application Monitoring (Monitoramento de VM e aplicativos)

    Para obter um exemplo, consulte as capturas de tela a seguir.

    VMware vSphere Edite a tela de configurações do cluster com as opções de monitoramento de aplicativos e VM configuradas.

  2. Ajuste a sensibilidade do cluster ajustando os seguintes valores:

    • Intervalo de falha: após esse intervalo, a VM será reiniciada se uma pulsação da VM não for recebida.

    • Tempo mínimo de atividade: o cluster aguarda esse tempo depois que uma VM começa a monitorar as pulsações das ferramentas de VM.

    • Redefinições máximas por VM: define o máximo de vezes que o cluster reinicia a VM durante a janela temporal para o máximo de redefinições.

    • Janela de tempo de redefinições máximas: a janela de tempo na qual ocorre a contagem de redefinições máximas por VM.

    Se você não tiver certeza de quais valores definir, use estas configurações de exemplo:

    • Failure interval (Intervalo de falha): 30 segundos

    • Minimum uptime (Tempo mínimo de atividade): 120 segundos

    • Maximum per-VM resets (Máximo de redefinições por VM): 3

    • Maximum resets time window (Janela temporal para o máximo de redefinições): 1 hora

Se você tiver outros em VMs execução no cluster, talvez queira definir esses valores especificamente para sua VM. Não é possível fazer isso até implantar a VM a partir do .ova. Para obter mais informações sobre como definir esses valores, consulte (Opcional) Adicione opções de substituição para outras VMs em seu cluster.

Baixe a imagem .ova do console do Storage Gateway

Para baixar a imagem .ova para o gateway

  • Na página Configurar gateway no console do Storage Gateway, selecione o tipo de gateway e a plataforma do host e use o link fornecido no console para baixar o .ova, conforme descrito em Configurar um gateway de volumes.

Implantar o gateway

No cluster configurado, implante a imagem .ova em um dos hosts do cluster.

Como implantar a imagem .ova do gateway

  1. Implante a imagem .ova em um dos hosts no cluster.

  2. Verifique se os armazenamentos de dados escolhidos para o disco raiz e o cache estão disponíveis para todos os hosts no cluster. Ao implantar o arquivo Storage Gateway .ova em um ambiente local VMware ou local, os discos são descritos como discos paravirtualizados. SCSI Paravirtualização é um modo no qual a VM do gateway funciona com o sistema operacional do host para que o console possa identificar os discos virtuais que você adiciona à sua VM.

    Para configurar sua VM para usar controladores paravirtualizados

    1. No VMware vSphere cliente, abra o menu de contexto (clique com o botão direito do mouse) da sua VM de gateway e escolha Editar configurações.

    2. Na caixa de diálogo Propriedades da Máquina Virtual, escolha a guia Hardware, selecione o SCSIcontrolador 0 e escolha Alterar tipo.

    3. Na caixa de diálogo Alterar tipo de SCSI controlador, selecione o tipo de SCSI controlador VMwareparavirtual e escolha OK.

(Opcional) Adicione opções de substituição para outras VMs em seu cluster

Se você tiver outros em VMs execução no seu cluster, talvez queira definir os valores do cluster especificamente para cada VM.

Para adicionar opções de substituição para outras VMs em seu cluster

  1. Na página Resumo em VMwarevSphere, escolha seu cluster para abrir a página do cluster e, em seguida, escolha Configurar.

  2. Selecione a guia Configuration (Configuração) e selecione VM Overrides (Substituições de VM).

  3. Adicione uma nova opção de substituição de VM para alterar cada valor.

    Para opções de substituição, consulte a captura de tela a seguir.

    VMware vSphere Adicione a tela do VM Override Cluster com as opções de substituição configuradas.

Ativar o gateway.

Depois que o .ova do gateway for implantado, ative o gateway. As instruções de como fazer isso são diferentes para cada tipo de gateway.

Para ativar seu gateway

Teste sua configuração VMware de alta disponibilidade

Depois de ativar o gateway, teste a configuração.

Para testar sua configuração de VMware HA

  1. Abra o console do Storage Gateway em https://console.aws.amazon.com/storagegateway/casa.

  2. No painel de navegação, escolha Gateways e, em seguida, escolha o gateway que você deseja testar para VMware HA.

  3. Em Ações, escolha Verificar VMware HA.

  4. Na caixa Verificar configuração de VMware alta disponibilidade exibida, escolha OK.

    nota

    O teste VMware da configuração de HA reinicializa a VM do gateway e interrompe a conectividade com o gateway. O teste pode levar alguns minutos para ser concluído.

    Se o teste for bem-sucedido, o status Verified (Verificado) será exibido na guia de detalhes do gateway no console.

  5. Selecione Exit (Sair).

Você pode encontrar informações sobre eventos de VMware HA nos grupos de CloudWatch registros da Amazon. Para obter mais informações, consulte Obter registros de integridade do gateway de volume com CloudWatch grupos de registros.