最佳化 Amazon GPU 執行個體上的 EC2 設定 - Amazon Elastic Compute Cloud

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

最佳化 Amazon GPU 執行個體上的 EC2 設定

您可以執行數種 GPU 設定最佳化,以在 NVIDIA GPU執行個體上達到最佳效能。對於其中一些執行個體類型,NVIDIA 驅動程式會使用自動啟動功能,這會改變 GPU 時鐘速度。透過停用自動啟動功能並將 GPU 時鐘速度設定為其最大頻率,您可以持續使用 GPU 執行個體達到最高效能。

  1. 將 GPU 設定設定為持續性。此命令可能需要幾分鐘的執行時間。

    [ec2-user ~]$ sudo nvidia-persistenced
  2. 【僅限 G3 和 P2 執行個體】 停用執行個體上所有 GPUs 的自動啟動功能。

    [ec2-user ~]$ sudo nvidia-smi --auto-boost-default=0
  3. 將所有 GPU 時鐘速度設定為其最大頻率。使用下列命令中指定的記憶體和圖形時脈速度。

    某些版本的 NVIDIA 驅動程式不支援設定應用程式時鐘速度,並顯示錯誤 "Setting applications clocks is not supported for GPU...",您可以忽略。

    • G3 執行個體:

      [ec2-user ~]$ sudo nvidia-smi -ac 2505,1177
    • G4dn 執行個體:

      [ec2-user ~]$ sudo nvidia-smi -ac 5001,1590
    • G5 執行個體:

      [ec2-user ~]$ sudo nvidia-smi -ac 6250,1710
    • G6 和 Gr6 執行個體:

      [ec2-user ~]$ sudo nvidia-smi -ac 6251,2040
    • G6e 執行個體:

      [ec2-user ~]$ sudo nvidia-smi -ac 9001,2520
    • P2 執行個體:

      [ec2-user ~]$ sudo nvidia-smi -ac 2505,875
    • P3 和 P3dn 執行個體:

      [ec2-user ~]$ sudo nvidia-smi -ac 877,1530
    • P4d 執行個體:

      [ec2-user ~]$ sudo nvidia-smi -ac 1215,1410
    • P4de 執行個體:

      [ec2-user ~]$ sudo nvidia-smi -ac 1593,1410
    • P5 執行個體:

      [ec2-user ~]$ sudo nvidia-smi -ac 2619,1980
  1. 開啟 a PowerShell 視窗並導覽至 NVIDIA 安裝資料夾。

    PS C:\> cd "C:\Windows\System32\DriverStore\FileRepository\nvgridsw_aws.inf_*\"
  2. 【僅限 G3 和 P2 執行個體】 停用執行個體上所有 GPUs 的自動啟動功能。

    PS C:\> .\nvidia-smi --auto-boost-default=0
  3. 將所有 GPU 時鐘速度設定為其最大頻率。使用下列命令中指定的記憶體和圖形時脈速度。

    某些版本的 NVIDIA 驅動程式不支援設定應用程式時鐘速度,並顯示錯誤 "Setting applications clocks is not supported for GPU...",您可以忽略。

    • G3 執行個體:

      PS C:\> .\nvidia-smi -ac "2505,1177"
    • G4dn 執行個體:

      PS C:\> .\nvidia-smi -ac "5001,1590"
    • G5 執行個體:

      PS C:\> .\nvidia-smi -ac "6250,1710"
    • G6 和 Gr6 執行個體:

      PS C:\> .\nvidia-smi -ac "6251,2040"
    • G6e 執行個體:

      PS C:\> .\nvidia-smi -ac "9001,2520"
    • P2 執行個體:

      PS C:\> .\nvidia-smi -ac "2505,875"
    • P3 和 P3dn 執行個體:

      PS C:\> .\nvidia-smi -ac "877,1530"