SUS05-BP04 Optimieren der Nutzung von hardwarebasierten Datenverarbeitungsbeschleunigern

Sie können die Nutzung von beschleunigten Computing-Instances optimieren, um die Anforderungen Ihrer Workload an die physische Infrastruktur zu reduzieren.

Typische Anti-Muster:

• Sie überwachen die GPU-Nutzung nicht.

• Sie verwenden eine Allzweck-Instance für die Workload, während eine speziell erstellte Instance eine höhere Leistung, geringere Kosten und eine bessere Leistung pro Watt bieten kann.

• Sie verwenden hardwarebasierte Datenverarbeitungsbeschleuniger für Aufgaben, bei denen CPU-basierte Alternativen effizienter sind.

Vorteile der Nutzung dieser bewährten Methode: Durch den optimalen Einsatz hardwarebasierter Beschleuniger können Sie die Anforderungen an die physische Infrastruktur Ihrer Workload reduzieren.

Risikostufe, wenn diese bewährte Methode nicht eingeführt wird: Mittel

Implementierungsleitfaden

Wenn Sie eine hohe Verarbeitungsleistung benötigen, können Sie beschleunigte Computing-Instances verwenden. Diese bieten Zugriff auf hardwarebasierte Datenverarbeitungsbeschleuniger wie Grafikprozessoren (Graphics Processing Units, GPUs) und Field-Programmable Gate Arrays (FPGAs). Diese Hardwarebeschleuniger führen bestimmte Funktionen wie die Grafikverarbeitung oder Datenmusterzuordnung effizienter aus als CPU-basierte Alternativen. Viele beschleunigte Workloads, wie Rendering, Transkodierung und Machine Learning, sind sehr variabel im Bezug auf die Ressourcennutzung. Betreiben Sie diese Hardware nur so lange wie nötig und nehmen Sie sie automatisch außer Betrieb, wenn sie nicht mehr benötigt wird, um den Ressourcenverbrauch zu minimieren.

Implementierungsschritte

• Ermitteln von Computing-Beschleunigern: Ermitteln Sie die beschleunigten Computing-Instances, die für Ihre Anforderungen geeignet sind.

• Verwenden spezieller Hardware: Verwenden Sie für Machine-Learning-Workloads spezielle Hardware, die auf Ihren Workload abgestimmt ist, z. B. AWS Trainium, AWS Inferentia und Amazon EC2 DL1. AWS Inferentia-Instances wie Inf2-Instances bieten eine um bis zu 50 % bessere Leistung pro Watt als vergleichbare Amazon-EC2-Instances.

• Überwachen von Nutzungsmetriken: Erfassen Sie Nutzungsmetriken für Ihre beschleunigten Computing-Instances. Sie können den CloudWatch-Agent beispielsweise verwenden, um Metriken wie utilization_gpu und utilization_memory für Ihre GPUs zu sammeln, wie im Artikel zum Erfassen von NVIDIA-GPU-Metriken mit Amazon CloudWatch beschrieben.

• Dimensionierung: Optimieren Sie Code, Netzwerkbetrieb und die Einstellungen von Hardwarebeschleunigern, um sicherzustellen, dass die zugrunde liegende Hardware optimal genutzt wird.

  • Optimieren der GPU-Einstellungen

  • GPU-Überwachung und -Optimierung im Deep-Learning-AMI

  • Optimieren von E/A für die GPU-Leistungsoptimierung von Deep-Learning-Training in Amazon SageMaker AI)

• Auf dem Laufenden bleiben: Verwenden Sie die neuesten leistungsstarken Bibliotheken und GPU-Treiber.

• Freigeben nicht benötigter Instances: Automatisieren Sie die Freigabe nicht verwendeter GPU-Instances.

Ressourcen

Zugehörige Dokumente:

• Beschleunigte Datenverarbeitung

• Let’s Architect! Architecting with custom chips and accelerators

• Wie wähle ich den geeigneten Amazon-EC2-Instance-Typ für meine Workload aus?

• VT1-Instances von Amazon EC2

• Choose the best AI accelerator and model compilation for computer vision inference with Amazon SageMaker AI

Zugehörige Videos:

• AWS re:Invent 2.021 - How to select Amazon EC2 GPU instances for deep learning

• AWS Online Tech Talks - Deploying Cost-Effective Deep Learning Inference

• AWS re:Invent 2.023 - Cutting-edge AI with AWS and NVIDIA

• AWS re:Invent 2.022 - [NEW LAUNCH!] Introducing AWS Inferentia2-based Amazon EC2 Inf2 instances

• AWS re:Invent 2.022 - Accelerate deep learning and innovate faster with AWS Trainium

• AWS re:Invent 2.022 - Deep learning on AWS with NVIDIA: From training to deployment