Comparar volumes do EBS

É possível testar a performance dos volumes do Amazon EBS simulando workloads de E/S. O processo é o seguinte:

1. Execute uma instância otimizada para EBS.

2. Crie novos volumes do EBS.

3. Anexe os volumes à sua instância otimizada para EBS.

4. Configure e monte o dispositivo de blocos.

5. Instale uma ferramenta para comparar a performance de E/S.

6. Compare a performance de E/S de seus volumes.

7. Exclua os volumes e encerre sua instância para não continuar a ser cobrado.

Importante

Alguns procedimentos resultam na destruição de dados existentes em volumes do EBS que você compara. Os procedimentos de comparação são destinados ao uso em volumes criados especialmente para fins de teste, não volumes de produção.

Configurar a instância

Para obter a performance ideal em volumes do EBS, recomendamos que você use uma instância otimizada para EBS. As instâncias otimizadas para EBS fornecem throughput dedicada entre o Amazon EC2 e o Amazon EBS, com instância. As instâncias otimizadas para EBS fornecem largura de banda dedicada entre o Amazon EC2 e o Amazon EBS, com especificações que dependem do tipo de instância.

Para criar uma instância otimizada para EBS, escolha Iniciar como instância otimizada para EBS ao executar a instância usando o console do Amazon EC2 ou especifique --ebs-optimized ao utilizar a linha de comando. Certifique-se de selecionar um tipo de instância que ofereça suporte a essa opção.

Configurar volumes de Provisioned IOPS SSD ou Finalidade geral (SSD)

Para criar volumes SSD de IOPS provisionadas (io1 e io2) ou SSD de uso geral (gp2 e gp3) usando o console do Amazon EC2, em Volume type (Tipo de volume), escolhaProvisioned IOPS SSD (io1) (SSD de IOPS provisionadas (io1)), Provisioned IOPS SSD (io2) (SSD de IOPS provisionadas (io2)), General Porpose SSD (gp2) (SSD de uso geral (gp2)) ou General Purpose SSD (gp3) (SSD de uso geral (gp3)). Na linha de comando, especifique io1, io2, gp2 ou gp3 para o parâmetro --volume-type. Para os volumes de io1, io2, e gp3, especifique o número de operações de E/S por segundo (IOPS) para o parâmetro --iops. Para obter mais informações, consulte Tipos de volume do Amazon EBS e Crie um volume do Amazon EBS..

(Somente para instâncias do Linux) Para os testes de exemplo, recomendamos criar uma matriz RAID 0 com 6 volumes para garantir um alto nível de performance. Como você será cobrado por gigabytes provisionados (e pelo número de IOPS provisionadas para volumes de io1, io2 e gp3), e não pelo número de volumes, não há nenhum custo adicional para criar vários volumes menores e utilizá-los para criar um conjunto de stripes. Se você estiver utilizando o Oracle Orion para comparar seus volumes, ele poderá simular a segmentação da mesma forma que o ASM do Oracle; portanto, recomendamos que você deixe a segmentação a cargo do Orion. Se você estiver usando uma ferramenta de comparação diferente, precisará fazer o stripe de volumes por conta própria.

Para obter mais informações sobre como criar uma matriz RAID 0, consulte Criar uma matriz RAID 0.

Configurar volumes HDD otimizado para throughput (st1) ou HDD a frio (sc1)

Para criar um volume st1, escolha Throughput Optimized HDD (HDD otimizado para throughput) ao criar o volume usando o console do Amazon EC2 ou especifique --type st1 ao usar a linha de comando. Para criar um volume sc1, escolha Cold HDD (HDD a frio) ao criar o volume usando o console do Amazon EC2 ou especifique --type sc1 ao usar a linha de comando. Para obter informações sobre a criação de volumes do EBS, consulte Crie um volume do Amazon EBS.. Para obter informações sobre como anexar esses volumes à sua instância, consulte Vincular um volume de Amazon EBS a uma instância.

(Somente instâncias do Linux) A AWS fornece um modelo JSON para o uso com o AWS CloudFormation que simplifica esse procedimento de configuração. Acesse o modelo e salve-o como um arquivo JSON. O AWS CloudFormation permite que você configure suas próprias chaves SSH e oferece uma maneira mais fácil de configurar um ambiente de testes de performance para avaliar volumes st1. O modelo cria uma instância de geração atual e um volume st1 de 2 TiB e anexa o volume à instância em /dev/xvdf.

(Somente instâncias do Linux) Para criar um volume de HDD usando o modelo

1. Abra o console do AWS CloudFormation em https://console.aws.amazon.com/cloudformation.

2. Selecione Criar Stack.

3. Escolha Upload a Template to Amazon S3 e selecione o modelo JSON que você obteve anteriormente.

4. Dê um nome para a pilha como “ebs-perf- testes” e selecione um tipo de instância (o padrão é r3.8xlarge) e a chave SSH.

5. Selecione Next duas vezes e, em seguida, escolha Create Stack.

6. Depois que o status da sua nova pilha passar de CREATE_IN_PROGRESS (Criação em andamento) para COMPLETE (Concluído), escolha Outputs (Saídas) para obter a entrada de DNS público para sua nova instância, que terá um volume st1 de 2 TiB anexado a ela.

7. Usando SSH, conecte-se à nova pilha como usuário ec2-user, com o nome de host obtido da entrada de DNS na etapa anterior.

8. Vá para Instalar ferramentas de comparação.

Instalar ferramentas de comparação

A tabela a seguir lista algumas das ferramentas que é possível usar para comparar a performance de volumes do EBS.

Instâncias do Linux

Ferramenta	Descrição
fio	Para comparar a performance de E/S. Observe que fio tem uma dependência sobre libaio-devel. Execute o comando a seguir para instalar o fio no Amazon Linux: [ec2-user ~]$ sudo yum install -y fio Para instalar fio no Ubuntu, execute o seguinte comando: sudo apt-get install -y fio
Ferramenta de calibração do Oracle Orion	Para calibrar a performance de E/S de sistemas de armazenamento a serem usados com bancos de dados do Oracle.

Instâncias do Windows

Ferramenta	Descrição
DiskSpd	O DiskSpd é uma ferramenta de performance de armazenamento das equipes de engenharia do Windows, Windows Server e Cloud Server Infrastructure na Microsoft. Disponível para download em https://github.com/Microsoft/diskspd/releases. Depois de fazer download do arquivo executável diskspd.exe, abra um prompt de comando com direitos administrativos (escolhendo “Executar como administrador”) e navegue até o diretório onde você copiou o arquivo diskspd.exe. Copie o arquivo executável diskspd.exe desejado da pasta executável apropriada, amd64fre, armfre ou x86fre) para um caminho curto e simples, como C:\DiskSpd. Na maioria dos casos, você desejará a versão de 64 bits do DiskSpd da pasta amd64fre. O código-fonte do DiskSpd está hospedado no GitHub em: https://github.com/Microsoft/diskspd.
CrystalDiskMark	CrystalDiskMark é um software de benchmark de disco simples. Ele está disponível para download em https://crystalmark.info/en/software/crystaldiskmark/.

Essas ferramentas de avaliação oferecem suporte a uma ampla variedade de parâmetros de teste. Use os comandos que aproximam workloads às quais seus volumes oferecerão suporte. Os comandos fornecidos abaixo servem como exemplos para ajudá-lo a começar a usar.

Escolha o comprimento da fila de volume

Escolha do melhor comprimento da fila de volume com base em sua workload e tipo de volume.

Tamanho da fila em volumes baseados em SSD

Para determinar o tamanho ideal da fila para sua workload em volumes baseados em SSD, recomendamos focar em um tamanho da fila de 1 para cada 1.000 IOPS disponíveis (linha de base para volumes de Finalidade geral (SSD) e a quantidade provisionada para volumes de Provisioned IOPS SSD). Depois, é possível monitorar a performance de sua aplicação e ajustar esse valor com base nos requisitos da aplicação.

Aumentar o comprimento da fila é benéfico até que você atinja as IOPS provisionadas, a throughput ou o valor ideal de comprimento da fila de sistema, que é atualmente configurado como 32. Por exemplo, para um volume com 3.000 IOPS provisionadas deve-se ter como meta um comprimento de fila 3. É necessário experimentar ajustar esses valores para cima ou para baixo para ver qual funciona melhor para sua aplicação.

Tamanho da fila em volumes baseados em HDD

Para determinar o tamanho ideal da fila para sua workload em volumes baseados em HDD, recomendamos que você foque em um comprimento da fila pelo menos 4 ao executar operações de E/S sequenciais de 1 MiB. Depois, é possível monitorar a performance de seu aplicativo e ajustar esse valor com base nos requisitos do aplicativo. Por exemplo, um volume st1 de 2 TiB com throughput de intermitência de 500 MiB/s e IOPS de 500 deve focar em um comprimento da fila de 4, 8 ou de 16 ao executar operações de E/S sequenciais de 1.024 KiB, 512 KiB ou 256 KiB respectivamente. É necessário experimentar ajustar esses valores para cima ou para baixo e ver qual funciona melhor com sua aplicação.

Desabilitar estados C

Antes de executar a referência, desative os estados C do processador. Desativar os núcleos temporariamente em uma CPU compatível pode entrar em um estado C para economizar energia. Quando o núcleo é chamado para retomar o processamento, leva um determinado tempo até o núcleo voltar a funcionar por completo. Esta latência pode interferir nas rotinas de comparação do processador. Para obter mais informações sobre estados C e quais tipos de instância do EC2 são compatíveis a eles, consulte Controle de estado do processador para sua instância do EC2.

Instâncias do Linux

É possível desativar os estados C no Amazon Linux, RHEL e CentOS da seguinte maneira:

1. Obtenha o número de estados C.

   $ C:\> cpupower idle-info | grep "Number of idle states:"

2. Desative os estados C de c1 a cN. De preferência, os núcleos devem estar no estado c0.

   $ C:\> for i in `seq 1 $((N-1))`; do cpupower idle-set -d $i; done

Instâncias do Windows

É possível desativar os estados C no Windows da seguinte maneira:

1. No PowerShell, obtenha o esquema de energia ativo atual.

   $current_scheme = powercfg /getactivescheme

2. Obtenha o GUID do esquema de energia.

   (Get-WmiObject -class Win32_PowerPlan -Namespace "root\cimv2\power" -Filter "ElementName='High performance'").InstanceID          

3. Obtenha o GUID da configuração de energia.

   (Get-WmiObject -class Win32_PowerSetting -Namespace "root\cimv2\power" -Filter "ElementName='Processor idle disable'").InstanceID                  

4. Obtenha o GUID do subgrupo da configuração de energia.

   (Get-WmiObject -class Win32_PowerSettingSubgroup -Namespace "root\cimv2\power" -Filter "ElementName='Processor power management'").InstanceID

5. Desative os estados C definindo o valor do índice como 1. Um valor igual a 0 indica que os estados C estão desativados.

   powercfg /setacvalueindex <power_scheme_guid> <power_setting_subgroup_guid> <power_setting_guid> 1

6. Defina o esquema ativo para garantir que as configurações sejam salvas.

   powercfg /setactive <power_scheme_guid>

Benchmarking de performance

Os seguintes procedimentos descrevem comandos de comparação para vários tipos de volumes do EBS.

Execute os seguintes comandos em uma instância otimizada para EBS com volumes do EBS anexados. Se os volumes do EBS tiverem sido criados de snapshots, inicialize-os antes do benchmarking. Para obter mais informações, consulte Inicializar volumes de Amazon EBS.

Após terminar de testar seus volumes, consulte os seguintes tópicos para obter ajuda para limpar: Excluir um volume de Amazon EBS e Encerrar a instância.

Avalie a performance dos volumes de Provisioned IOPS SSD e Finalidade geral (SSD)

Instâncias do Linux

Execute fio na matriz RAID 0 que você criou.

O seguinte comando executa operações de gravação aleatórias de 16 KB.

[ec2-user ~]$ sudo fio --directory=/mnt/p_iops_vol0 --ioengine=psync --name fio_test_file --direct=1 --rw=randwrite --bs=16k --size=1G --numjobs=16 --time_based --runtime=180 --group_reporting --norandommap

O seguinte comando executa operações de leitura aleatórias de 16 KB.

[ec2-user ~]$ sudo fio --directory=/mnt/p_iops_vol0 --name fio_test_file --direct=1 --rw=randread --bs=16k --size=1G --numjobs=16 --time_based --runtime=180 --group_reporting --norandommap 

Para obter mais informações sobre como interpretar os resultados, consulte este tutorial: Inspeção de performance de E/S de disco com fio.

Instâncias do Windows

Execute DiskSpd no volume que você criou.

O comando a seguir executará um teste de E/S aleatório de 30 segundos usando um arquivo de teste de 20 GB localizado na unidade C:, com taxas de 25% de gravação e de 75% de leitura e um tamanho de bloco de 8 K. Ele usará oito threads de operador, cada um com quatro operações de E/S pendentes, e uma semente de valor de entropia de gravação de 1 GB. Os resultados do teste serão salvos em um arquivo de texto chamado DiskSpeedResults.txt. Esses parâmetros simulam uma workload OLTP do SQL Server.

diskspd -b8K -d30 -o4 -t8 -h -r -w25 -L -Z1G -c20G C:\iotest.dat > DiskSpeedResults.txt

Para obter mais informações sobre como interpretar os resultados, consulte este tutorial: Inspecionar a performance de E/S com o DiskSPd.

Benchmark de volumes st1 e sc1 (instâncias do Linux)

Execute fio em seu volume do st1 ou sc1.

nota

Antes de executar esses testes, defina E/S em buffer na instância conforme descrito em Aumentar a leitura antecipada para workloads com muitas operações de leitura e alta throughput em st1 e sc1 (somente instâncias do Linux).

O seguinte comando executa operações de leitura sequenciais de 1 MiB em um dispositivo de blocos st1 anexado (por exemplo, /dev/xvdf):

[ec2-user ~]$ sudo fio --filename=/dev/<device> --direct=1 --rw=read --randrepeat=0 --ioengine=libaio --bs=1024k --iodepth=8 --time_based=1 --runtime=180 --name=fio_direct_read_test

O seguinte comando executa operações de gravação sequenciais de 1 MiB em um dispositivo de blocos st1 anexado:

[ec2-user ~]$ sudo fio --filename=/dev/<device> --direct=1 --rw=write --randrepeat=0 --ioengine=libaio --bs=1024k --iodepth=8 --time_based=1 --runtime=180 --name=fio_direct_write_test 

Algumas workloads executam uma combinação de leituras e gravações sequenciais para diferentes partes de dispositivo de blocos. Para comparar essa workload, recomendamos que você use trabalhos de fio separados, simultâneos, para leituras e gravações, e use a opção fio offset_increment para focar em locais diferentes de dispositivo de blocos para cada trabalho.

Executar essa workload é um pouco mais complicado do que uma workload de gravação ou leitura sequenciais. Use um editor de texto para criar um arquivo de trabalho de fio, chamado de fio_rw_mix.cfg neste exemplo, que contém o seguinte:

[global] 
clocksource=clock_gettime
randrepeat=0
runtime=180
 
[sequential-write]
bs=1M
ioengine=libaio
direct=1
iodepth=8
filename=/dev/<device>
do_verify=0
rw=write
rwmixread=0
rwmixwrite=100 

[sequential-read] 
bs=1M
ioengine=libaio
direct=1
iodepth=8
filename=/dev/<device>
do_verify=0
rw=read
rwmixread=100
rwmixwrite=0
offset=100g

Em seguida, execute o seguinte comando:

[ec2-user ~]$ sudo fio fio_rw_mix.cfg

Para obter mais informações sobre como interpretar os resultados, consulte este tutorial: Inspeção de performance de E/S de disco com fio.

Vários trabalhos de fio para E/S direta, mesmo que usando operações de leitura ou gravação sequenciais, podem resultar em uma throughput mais baixa do que o esperado para volumes st1 e sc1. Recomendamos que você use um trabalho direto de E/S e use o parâmetro iodepth para controlar o número de operações simultâneas de E/S.