Otimização das configurações de GPU em instâncias do Amazon EC2 - Amazon Elastic Compute Cloud

Otimização das configurações de GPU em instâncias do Amazon EC2

Há várias otimizações de configuração de GPU que é possível executar para obter a melhor performance nas instâncias GPU NIVIDIA. Com alguns desses tipos de instância, o driver NVIDIA usa um recurso de autoboost, que varia as velocidades de clock da GPU. Ao desativar o recurso de autoboost e definir as velocidades de clock de GPU como a frequência máxima, é possível atingir a performance máxima de forma consistente com suas instâncias de GPU. O procedimento a seguir ajuda a configurar as definições de GPU para serem persistentes, desabilitar o recurso de autoboost e definir as velocidades de clock de GPU como a frequência máxima.

As etapas a seguir tem como objetivo otimizar as configurações da GPU em uma instância do Linux. Para instâncias Windows, consulte Otimizar configurações da GPU no Guia do usuário do Amazon EC2 para instâncias do Windows.

Para otimizar as configurações de GPU

  1. Defina as configurações de GPU para serem persistentes. Esse comando pode levar vários minutos para ser executado.

    [ec2-user ~]$ sudo nvidia-persistenced

  2. [Somente para instâncias G3 e P2] Desabilite o recurso de autoboost para todas as GPUs na instância.

    [ec2-user ~]$ sudo nvidia-smi --auto-boost-default=0

  3. Defina todas as velocidades de relógio de GPU como a frequência máxima. Use a memória e as velocidades de relógio de placa gráfica especificadas nos seguintes comandos.

    Algumas versões do driver NVIDIA não suportam a configuração da velocidade de clock da aplicação e exibem o erro "Setting applications clocks is not supported for GPU...", que é possível ignorar.

    • Instâncias G3:

      [ec2-user ~]$ sudo nvidia-smi -ac 2505,1177

    • Instâncias G4dn:

      [ec2-user ~]$ sudo nvidia-smi -ac 5001,1590

    • Instâncias G5:

      [ec2-user ~]$ sudo nvidia-smi -ac 6250,1710

    • Instâncias P2:

      [ec2-user ~]$ sudo nvidia-smi -ac 2505,875

    • Instâncias P3 e P3dn:

      [ec2-user ~]$ sudo nvidia-smi -ac 877,1530

    • Instâncias P4d:

      [ec2-user ~]$ sudo nvidia-smi -ac 1215,1410

    • Instâncias P4de:

      [ec2-user ~]$ sudo nvidia-smi -ac 1593,1410

    • Instâncias P5:

      [ec2-user ~]$ sudo nvidia-smi -ac 2619,1980