Optimización de las configuraciones de GPU en instancias de Amazon EC2 - Amazon Elastic Compute Cloud

Optimización de las configuraciones de GPU en instancias de Amazon EC2

Existen varias optimizaciones de configuración de GPU que puede llevar a cabo para lograr el mejor rendimiento en sus instancias de NVIDIA GPU. Con algunos de estos tipos de instancias, el controlador NVIDIA utiliza una función de mejora automática, que varía las velocidades del reloj de la GPU. Al deshabilitar la característica de mejora de potencia automática y al ajustar las velocidades de reloj de GPU a la frecuencia máxima, puede obtener de forma uniforme el rendimiento máximo de las instancias de GPU.

  1. Configure los ajustes de GPU para que sean persistentes. Este comando puede tardar varios minutos en ejecutarse.

    [ec2-user ~]$ sudo nvidia-persistenced

  2. [Solo para instancias G3 y P2] Desactive la característica de mejora de potencia automática para todas las GPU de la instancia.

    [ec2-user ~]$ sudo nvidia-smi --auto-boost-default=0

  3. Ajuste todas las velocidades de reloj de GPU a la frecuencia máxima. Utilice las velocidades de reloj de gráficos y memoria especificadas en los siguientes comandos.

    Algunas versiones del controlador NVIDIA no admiten la configuración de la velocidad del reloj de la aplicación y muestran el error "Setting applications clocks is not supported for GPU...", que puede ignorar.

    • instancias G3:

      [ec2-user ~]$ sudo nvidia-smi -ac 2505,1177

    • instancias G4dn:

      [ec2-user ~]$ sudo nvidia-smi -ac 5001,1590

    • instancias G5:

      [ec2-user ~]$ sudo nvidia-smi -ac 6250,1710

    • Instancias G6 y Gr6:

      [ec2-user ~]$ sudo nvidia-smi -ac 6251,2040

    • instancias P2:

      [ec2-user ~]$ sudo nvidia-smi -ac 2505,875

    • instancias P3 y P3dn:

      [ec2-user ~]$ sudo nvidia-smi -ac 877,1530

    • instancias P4d:

      [ec2-user ~]$ sudo nvidia-smi -ac 1215,1410

    • instancias P4de:

      [ec2-user ~]$ sudo nvidia-smi -ac 1593,1410

    • instancias P5:

      [ec2-user ~]$ sudo nvidia-smi -ac 2619,1980

  1. Abra una ventana de PowerShell y desplácese hasta la carpeta de instalación de NVIDIA.

    cd "C:\Windows\System32\DriverStore\FileRepository\nv_dispswi.inf_*\"

  2. [Solo para instancias G3 y P2] Desactive la característica de mejora de potencia automática para todas las GPU de la instancia.

    .\nvidia-smi --auto-boost-default=0

  3. Ajuste todas las velocidades de reloj de GPU a la frecuencia máxima. Utilice las velocidades de reloj de gráficos y memoria especificadas en los siguientes comandos.

    Algunas versiones del controlador NVIDIA no admiten la configuración de la velocidad del reloj de la aplicación y muestran el error "Setting applications clocks is not supported for GPU...", que puede ignorar.

    • instancias G3:

      .\nvidia-smi -ac "2505,1177"

    • instancias G4dn:

      .\nvidia-smi -ac "5001,1590"

    • instancias G5:

      .\nvidia-smi -ac "6250,1710"

    • Instancias G6 y Gr6:

      .\nvidia-smi -ac "6251,2040"

    • instancias P2:

      .\nvidia-smi -ac "2505,875"

    • instancias P3 y P3dn:

      .\nvidia-smi -ac "877,1530"

    • instancias P4d:

      [ec2-user ~]$ sudo nvidia-smi -ac 1215,1410

    • instancias P4de:

      [ec2-user ~]$ sudo nvidia-smi -ac 1593,1410

    • instancias P5:

      [ec2-user ~]$ sudo nvidia-smi -ac 2619,1980