优化 Amazon EC2 实例上的 GPU 设置 - Amazon Elastic Compute Cloud

优化 Amazon EC2 实例上的 GPU 设置

您可以执行多个 GPU 设置优化,以实现 NVIDIA GPU 实例的最佳性能。对于其中一些实例类型,NVIDIA 驱动程序使用 autoboost 功能,该功能会改变 GPU 时钟速度。通过禁用 autoboost 并将 GPU 时钟速度设置为其最大频率,您可以始终获得 GPU 实例的最大性能。

  1. 将 GPU 设置配置为永久。该命令可能需要几分钟才能运行完毕。

    [ec2-user ~]$ sudo nvidia-persistenced
  2. [仅限 G3 和 P2 实例] 禁用实例上所有 GPU 的 autoboost 功能。

    [ec2-user ~]$ sudo nvidia-smi --auto-boost-default=0
  3. 将所有 GPU 时钟速度设置为其最大频率。使用以下命令中指定的内存和图形时钟速度。

    有些版本的 NVIDIA 驱动程序不支持设置应用程序时钟速度,并会显示错误 "Setting applications clocks is not supported for GPU...",您可以忽略该错误。

    • G3 实例:

      [ec2-user ~]$ sudo nvidia-smi -ac 2505,1177
    • G4dn 实例:

      [ec2-user ~]$ sudo nvidia-smi -ac 5001,1590
    • G5 实例:

      [ec2-user ~]$ sudo nvidia-smi -ac 6250,1710
    • G6 和 Gr6 实例:

      [ec2-user ~]$ sudo nvidia-smi -ac 6251,2040
    • P2 实例:

      [ec2-user ~]$ sudo nvidia-smi -ac 2505,875
    • P3 和 P3dn 实例:

      [ec2-user ~]$ sudo nvidia-smi -ac 877,1530
    • P4d 实例:

      [ec2-user ~]$ sudo nvidia-smi -ac 1215,1410
    • P4de 实例:

      [ec2-user ~]$ sudo nvidia-smi -ac 1593,1410
    • P5 实例:

      [ec2-user ~]$ sudo nvidia-smi -ac 2619,1980
  1. 打开 PowerShell 窗口并导航到 NVIDIA 安装文件夹。

    cd "C:\Windows\System32\DriverStore\FileRepository\nv_dispswi.inf_*\"
  2. [仅限 G3 和 P2 实例] 禁用实例上所有 GPU 的 autoboost 功能。

    .\nvidia-smi --auto-boost-default=0
  3. 将所有 GPU 时钟速度设置为其最大频率。使用以下命令中指定的内存和图形时钟速度。

    有些版本的 NVIDIA 驱动程序不支持设置应用程序时钟速度,并会显示错误 "Setting applications clocks is not supported for GPU...",您可以忽略该错误。

    • G3 实例:

      .\nvidia-smi -ac "2505,1177"
    • G4dn 实例:

      .\nvidia-smi -ac "5001,1590"
    • G5 实例:

      .\nvidia-smi -ac "6250,1710"
    • G6 和 Gr6 实例:

      .\nvidia-smi -ac "6251,2040"
    • P2 实例:

      .\nvidia-smi -ac "2505,875"
    • P3 和 P3dn 实例:

      .\nvidia-smi -ac "877,1530"
    • P4d 实例:

      [ec2-user ~]$ sudo nvidia-smi -ac 1215,1410
    • P4de 实例:

      [ec2-user ~]$ sudo nvidia-smi -ac 1593,1410
    • P5 实例:

      [ec2-user ~]$ sudo nvidia-smi -ac 2619,1980