優化 Amazon EC2 執行個體上的GPU設定 - Amazon Elastic Compute Cloud

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

優化 Amazon EC2 執行個體上的GPU設定

您可以執行多項GPU設定最佳化,以便在執行個NVIDIAGPU體上達到最佳效能。對於其中一些執行個體類型,NVIDIA驅動程式會使用自動加速功能,這會改變GPU時脈速度。透過停用自動加速並將GPU時脈速度設定為最大頻率,您可以持續發揮GPU執行個體的最高效能。

  1. 將設定設定GPU設定為永久性。此命令可能需要幾分鐘的執行時間。

    [ec2-user ~]$ sudo nvidia-persistenced
  2. [僅限 G3 和 P2 執行個體] 停用執行個體GPUs上所有執行個體的自動加速功能。

    [ec2-user ~]$ sudo nvidia-smi --auto-boost-default=0
  3. 將所有GPU時脈速度設定為最大頻率。使用下列命令中指定的記憶體和圖形時脈速度。

    某些版本的NVIDIA驅動程序不支持設置應用程序的時鐘速度,並顯示錯誤"Setting applications clocks is not supported for GPU...",您可以忽略。

    • G3 執行個體:

      [ec2-user ~]$ sudo nvidia-smi -ac 2505,1177
    • G4dn 執行個體:

      [ec2-user ~]$ sudo nvidia-smi -ac 5001,1590
    • G5 執行個體:

      [ec2-user ~]$ sudo nvidia-smi -ac 6250,1710
    • G6 和 GR6 執行個體:

      [ec2-user ~]$ sudo nvidia-smi -ac 6251,2040
    • G6e 執行個體:

      [ec2-user ~]$ sudo nvidia-smi -ac 9001,2520
    • P2 執行個體:

      [ec2-user ~]$ sudo nvidia-smi -ac 2505,875
    • P3 和 P3dn 執行個體:

      [ec2-user ~]$ sudo nvidia-smi -ac 877,1530
    • P4d 執行個體:

      [ec2-user ~]$ sudo nvidia-smi -ac 1215,1410
    • P4de 執行個體:

      [ec2-user ~]$ sudo nvidia-smi -ac 1593,1410
    • P5 執行個體:

      [ec2-user ~]$ sudo nvidia-smi -ac 2619,1980
  1. 開啟視 PowerShell 窗並瀏覽至NVIDIA安裝資料夾。

    cd "C:\Windows\System32\DriverStore\FileRepository\nvgridsw_aws.inf_*\"
  2. [僅限 G3 和 P2 執行個體] 停用執行個體GPUs上所有執行個體的自動加速功能。

    .\nvidia-smi --auto-boost-default=0
  3. 將所有GPU時脈速度設定為最大頻率。使用下列命令中指定的記憶體和圖形時脈速度。

    某些版本的NVIDIA驅動程序不支持設置應用程序的時鐘速度,並顯示錯誤"Setting applications clocks is not supported for GPU...",您可以忽略。

    • G3 執行個體:

      .\nvidia-smi -ac "2505,1177"
    • G4dn 執行個體:

      .\nvidia-smi -ac "5001,1590"
    • G5 執行個體:

      .\nvidia-smi -ac "6250,1710"
    • G6 和 GR6 執行個體:

      .\nvidia-smi -ac "6251,2040"
    • G6e 執行個體:

      .\nvidia-smi -ac "9001,2520"
    • P2 執行個體:

      .\nvidia-smi -ac "2505,875"
    • P3 和 P3dn 執行個體:

      .\nvidia-smi -ac "877,1530"