GPU 설정을 최적화하려면

NVIDIA GPU 인스턴스에서 최고의 성능을 달성하기 위해 수행할 수 있는 몇 가지 GPU 설정 최적화가 있습니다. 이러한 인스턴스 유형 중 일부에서 NVIDIA 드라이버는 GPU 클록 속도에 변화를 주는 자동 부스트 기능을 사용합니다. 자동 부스트를 사용 중지하고 GPU 클럭 속도를 최대 주파수로 설정하면 GPU 인스턴스의 성능을 일관되게 최대로 유지할 수 있습니다. 다음 절차는 GPU 설정을 영구적으로 구성하고, 필요한 경우 자동 부스트 기능을 비활성화하며, GPU 클록 속도를 최대 주파수로 설정하는 방법을 보여줍니다.

다음 단계는 Linux 인스턴스의 GPU 설정을 최적화하기 위한 것입니다. Windows 인스턴스의 경우 Windows 인스턴스용 Amazon EC2 사용 설명서에서 GPU 설정 최적화를 참조하세요.

GPU 설정을 최적화하려면

1. GPU 설정을 영구적으로 구성합니다. 이 명령은 실행하는 데 몇 분이 소요될 수 있습니다.

   [ec2-user ~]$ sudo nvidia-persistenced

2. [G2, G3 및 P2 인스턴스에 대해] 모든 GPU의 자동 부스트 기능을 비활성화합니다.

   [ec2-user ~]$ sudo nvidia-smi --auto-boost-default=0

3. 모든 GPU 클록 속도를 최대 주파수로 설정합니다. 다음 명령에 지정된 메모리와 그래픽 클록 속도를 사용합니다.

   일부 버전의 NVIDIA 드라이버는 응용 프로그램 클럭 속도 설정을 지원하지 않으며 무시할 수 있는 오류("Setting applications clocks is not supported for GPU...")를 표시합니다.

   • G3 인스턴스:

     [ec2-user ~]$ sudo nvidia-smi -ac 2505,1177

   • G4dn 인스턴스:

     [ec2-user ~]$ sudo nvidia-smi -ac 5001,1590

   • G5 인스턴스:

     [ec2-user ~]$ sudo nvidia-smi -ac 6250,1710

   • P2 인스턴스:

     [ec2-user ~]$ sudo nvidia-smi -ac 2505,875

   • P3 및 P3dn 인스턴스::

     [ec2-user ~]$ sudo nvidia-smi -ac 877,1530

   • P4d 인스턴스:

     [ec2-user ~]$ sudo nvidia-smi -ac 1215,1410

   • P4de instances:

     [ec2-user ~]$ sudo nvidia-smi -ac 1593,1410

   • P5 인스턴스:

     [ec2-user ~]$ sudo nvidia-smi -ac 2619,1980