SUS05-BP04 Optimieren Sie Ihren Einsatz von hardwarebasierten Rechenbeschleunigern

Sie können die Nutzung von beschleunigten Computing-Instances optimieren, um die Anforderungen Ihrer Workload an die physische Infrastruktur zu reduzieren.

Typische Anti-Muster:

• Sie überwachen die Nutzung nicht. GPU

• Sie verwenden eine Allzweck-Instance für die Workload, während eine speziell erstellte Instance eine höhere Leistung, geringere Kosten und eine bessere Leistung pro Watt bieten kann.

• Sie verwenden hardwarebasierte Rechenbeschleuniger für Aufgaben, bei denen sie mit CPU basierten Alternativen effizienter sind.

Vorteile der Nutzung dieser bewährten Methode: Durch den optimalen Einsatz hardwarebasierter Beschleuniger können Sie die Anforderungen an die physische Infrastruktur Ihrer Workload reduzieren.

Risikostufe, wenn diese bewährte Methode nicht eingeführt wird: Mittel

Implementierungsleitfaden

Wenn Sie eine hohe Verarbeitungskapazität benötigen, können Sie von beschleunigten Recheninstanzen profitieren, die Zugriff auf hardwarebasierte Rechenbeschleuniger wie Grafikprozessoren (GPUs) und feldprogrammierbare Gate-Arrays () bieten. FPGAs Diese Hardwarebeschleuniger führen bestimmte Funktionen wie Grafikverarbeitung oder Datenmusterabgleich effizienter aus als basierte Alternativen. CPU Viele beschleunigte Workloads, wie Rendering, Transkodierung und Machine Learning, sind sehr variabel im Bezug auf die Ressourcennutzung. Betreiben Sie diese Hardware nur so lange wie nötig und nehmen Sie sie automatisch außer Betrieb, wenn sie nicht mehr benötigt wird, um den Ressourcenverbrauch zu minimieren.

Implementierungsschritte

• Ermitteln Sie, welche beschleunigten Computing-Instances für Ihre Anforderungen geeignet sind.

• Nutzen Sie für Machine-Learning-Workloads speziell für Ihren Workload entwickelte Hardware wie AWS Trainium,AWS Inferentia und Amazon. EC2 DL1 AWS Inferentia-Instances wie Inf2-Instances bieten eine um bis zu 50% bessere Leistung pro Watt als vergleichbare Amazon-Instances. EC2

• Erfassen Sie Nutzungsmetriken für Ihre beschleunigten Computing-Instances. Sie können den CloudWatch Agenten beispielsweise verwenden, um Metriken wie utilization_gpu und utilization_memory für Sie zu sammeln, GPUs wie in NVIDIAGPUMetriken mit Amazon sammeln gezeigt CloudWatch.

• Optimieren Sie Code, Netzwerkbetrieb und die Einstellungen von Hardwarebeschleunigern, um sicherzustellen, dass die zugrunde liegende Hardware optimal genutzt wird.

  • GPUEinstellungen optimieren

  • GPUÜberwachung und Optimierung im Deep Learning AMI

  • I/O-Optimierung für die GPU Leistungsoptimierung von Deep-Learning-Trainings in Amazon SageMaker

• Verwenden Sie die neuesten Hochleistungsbibliotheken und GPU Treiber.

• Verwenden Sie Automatisierung, um GPU Instanzen freizugeben, wenn sie nicht verwendet werden.

Ressourcen

Zugehörige Dokumente:

• Beschleunigte Datenverarbeitung

• Let’s Architect! Architecting with custom chips and accelerators

• Wie wähle ich den passenden EC2 Amazon-Instance-Typ für meinen Workload aus?

• EC2VT1Amazon-Instances

• Wählen Sie mit Amazon den besten KI-Beschleuniger und die beste Modellkompilierung für Computer-Vision-Inferenz SageMaker

Zugehörige Videos:

• AWS re:Invent 2021 — So wählen Sie EC2 GPU Amazon-Instances für Deep Learning aus

• AWS Online-Technikgespräche — Bereitstellung kostengünstiger Deep-Learning-Inferenz

• AWS re:Invent 2023 — Modernste KI mit und AWS NVIDIA

• AWS re:Invent 2022 - [!] NEW LAUNCH Einführung in AWS Inferentia2-basierte Amazon Inf2-Instances EC2

• AWS re:Invent 2022 — Beschleunigen Sie Deep Learning und innovieren Sie schneller mit AWS Trainium

• AWS re:Invent 2022 — Deep Learning weiter AWS mit: Von der Schulung bis zur Implementierung NVIDIA