Linux Accelerated Computing-Instances
Wenn Sie große Datenverarbeitungskapazitäten benötigen, können Sie von der Verwendung von Accelerated Computing-Instances profitieren; diese bieten eine hardwarebasierte beschleunigte Datenverarbeitung z. B. durch Grafikprozessoreinheiten (Graphics Processing Units, GPUs) oder vor Ort programmierbare Gate-Arrays (Field Programmable Gate Arrays, FPGAs). Accelerated Computing-Instances verbessern die parallele Verarbeitung für einen höheren Durchsatz bei rechenintensiven Workloads.
GPU-basierte Instances bieten Zugriff auf NVIDIA-GPUs mit Tausenden von Recheneinheiten. Mit GPU-basierten Accelerated Computing-Instances können Sie wissenschaftliche, technische und Rendering-Anwendungen beschleunigen, indem Sie das CUDA- oder OpenCL-Framework (Open Computing Language) für die parallele Datenverarbeitung verwenden. Sie können sie außerdem für Grafikanwendungen verwenden, u. a. das Streamen von Spielen und 3-D-Anwendungen sowie andere Grafik-Workloads.
FPGA-basierte Instances bieten Zugriff auf große FPGAs mit Millionen von parallel
geschalteten Systemlogik-Zellen. Mit FPGA-basierten Accelerated Computing-Instances
können Sie u. a. die Verarbeitung von Workloads in den folgenden Bereichen beschleunigen,
indem Sie benutzerdefinierte Hardwarebeschleunigung verwenden: Genomik, Finanzanalysen,
Echtzeit-Videoverarbeitung, Big Data-Analysen und Sicherheit. Sie können diese Beschleunigung
mit Hardwarebeschreibungssprachen wie Verilog oder VHDL erreichen, oder indem Sie
höhere Programmiersprachen wie das OpenCL-Framework für die parallele Datenverarbeitung
verwenden. Sie können entweder eigenen Code für die Hardwarebeschleunigung entwickeln
oder eine Hardwarebeschleunigung über den AWS Marketplace
In FPGA-basierten Instances wird Microsoft Windows nicht unterstützt.
Sie können clusterbeschleunigte Datenverarbeitungs-Instances in einer Cluster Placement-Gruppe anordnen. Cluster Placement-Gruppen sorgen für eine niedrige Latenz und eine hohe Bandbreitenkonnektivität zwischen den Instances in einer einzelnen Availability Zone. Weitere Informationen finden Sie unter Platzierungsgruppen.
Inhalt
- Accelerated Computing-Instance-Familien
- Hardwarespezifikationen
- Instance-Leistung
- Netzwerkleistung
- Funktionen von Instances
- Versionshinweise
- Installieren von NVIDIA-Treibern auf Linux-Instances
- Aktivieren von NVIDIA GRID Virtual Applications
- Optimieren der GPU-Einstellungen
- FPGA-Entwicklung
- Erste Schritte mit der AWS Inferentia-Entwicklung
Weitere Informationen zu Accelerated Computing-Instances unter Windows finden Sie unter Accelerated Computing-Instances unter Windows im Amazon EC2-Benutzerhandbuch für Windows-Instances.
Accelerated Computing-Instance-Familien
Accelerated Computing-Instance-Familien verwenden Hardware-Beschleuniger bzw. Koprozessoren, um bestimmte Aufgaben effizienter als mit nur auf CPUs ausgeführter Software zu bewältigen; dazu gehört die Berechnung von Gleitkommazahlen, die Grafikverarbeitung oder die Mustererkennung in Daten. Die folgenden Accelerated Computing-Instance-Familien sind für den Start in Amazon EC2 verfügbar.
F1-Instances
F1-Instances verwenden Xilinx UltraScale+ VU9P FPGAs und sind dafür konzipiert, rechenintensive Algorithmen zu beschleunigen, z. B. Datenfluss- oder hochparallele Operationen, für die universelle CPUs nicht geeignet sind. Jeder FPGA in einer F1-Instance enthält ca. 2,5 Millionen logische Elemente und ca. 6 800 Digital Signal Processing-Engines (DSP), dazu 64 GB lokalen ECC-geschützten DDR-Speicher, der über eine dedizierte PCIe Gen3 x16-Verbindung mit der Instance verbunden ist. F1-Instances bieten lokale NVMe SSD-Volumes.
Entwickler können das FPGA Developer AMI und das AWS Hardware Developer Kit verwenden, um eine benutzerdefinierte Hardwarebeschleunigung für den Einsatz in einer F1-Instance zu erstellen. Das FPGA Developer AMI stellt Entwicklungstools bereit, mit denen der gesamte FPGA-Entwicklungsprozess in der Cloud stattfinden kann. Mit diesen Tools können Entwickler Amazon FPGA Images (AFIs) erstellen und freigeben, die in den FPGA einer F1-Instance geladen werden können.
Weitere Informationen finden Sie unter Amazon EC2 F1 Instances
Inf1-Instances
Inf1-Instances verwenden Inferenzchip für Machine Learning von AWS Inferentia Inferentia wurde entwickelt, um eine äußerst kostengünstige Inferenzleistung mit geringer Latenz in jeder Größenordnung zu ermöglichen.
Entwickler können die AWS Deep Learning AMI mit für AWS Inferentia vorgefertigter und optimierter Software verwenden.
Weitere Informationen finden Sie unter Amazon EC2 Inf1-Instances
P3-Instances
P3-Instances verwenden NVIDIA Tesla V100 GPUs und sind für die allgemeine Datenverarbeitung durch GPUs mithilfe des CUDA- oder des OpenCL-Programmiermodells oder über ein Machine Learning-Framework konzipiert. P3-Instances bieten Netzwerke mit hoher Bandbreite sowie leistungsstarke Gleitkomma-Kapazitäten mit halber, einfacher und doppelter Genauigkeit und bis zu 32 GB Speicher pro GPU; sie sind ideal für die folgenden Bereiche: Deep-Learning, numerische Strömungsmechanik, numerische Finanzen, seismische Analysen, molekulare Modellierung, Genomik, Rendering und andere Workloads für die serverseitige GPU-Datenverarbeitung. Tesla V100 GPUs unterstützen keinen Grafikmodus.
Weitere Informationen finden Sie unter Amazon EC2 P3 Instances
P3-Instances unterstützen die Peer-to-Peer-Datenübertragung mit NVIDIA NVLink.
Um Topologie-Informationen über das System anzuzeigen, führen Sie den folgenden Befehl aus:
nvidia-smi topo -m
Weitere Informationen finden Sie unter NVIDIA NVLink
P2-Instances
P2-Instances verwenden NVIDIA Tesla K80 GPUs und sind für die allgemeine Datenverarbeitung durch GPUs mithilfe des CUDA- oder des OpenCL-Programmiermodells konzipiert. P2-Instances bieten Netzwerke mit hoher Bandbreite sowie leistungsstarke Gleitkomma-Kapazitäten mit einfacher und doppelter Genauigkeit und 12 GB Speicher pro GPU; sie sind ideal für die folgenden Bereiche: Deep-Learning, Graph-Datenbanken, hochperformante Datenbanken, numerische Strömungsmechanik, numerische Finanzen, seismische Analysen, molekulare Modellierung, Genomik, Rendering und andere Workloads für die serverseitige GPU-Datenverarbeitung.
P2-Instances unterstützen die Peer-to-Peer-Datenübertragung mit NVIDIA GPUDirect.
Um Topologie-Informationen über das System anzuzeigen, führen Sie den folgenden Befehl aus:
nvidia-smi topo -m
Weitere Informationen finden Sie unter NVIDIA GPUDirect
G4-Instances
G4-Instances verwenden NVIDIA Tesla GPUs und bieten eine kosteneffiziente Hochleistungs-Plattform für allgemeines GPU-Computing unter Verwendung der CUDA- oder Machine Learning-Frameworks zusammen mit Grafikanwendungen, die DirectX oder OpenGL verwenden. G4-Instances bieten Netzwerkbetrieb mit hoher Bandbreite, leistungsstarke halbe und Gleitkomma-Fähigkeiten mit einfacher Genauigkeit, zusammen mit INT8- und INT4-Präzisionen. Jede GPU hat 16 GiB an GDDR6-Speicher, wodurch die G4-Instances gut geeignet für Machine Learning-Inferenzen, Video-Transcodierung und Grafikanwendungen, wie Remote-Grafikarbeitsplätze und Game-Streaming in der Cloud.
G4-Instances unterstützen NVIDIA GRID Virtual Workstation. Weitere Informationen finden
Sie unter NVIDIA Marketplace offerings
G3-Instances
G3-Instances verwenden NVIDIA Tesla M60 GPUs und bieten eine kostengünstige Hochleistungsplattform für Grafikanwendungen unter Verwendung von DirectX oder OpenGL. G3-Instances stellen außerdem NVIDIA GRID Virtual Workstation-Funktionen bereit, wie z. B. Unterstützung für 4 Bildschirme mit einer Auflösung von bis zu 4096x2160 Pixel, sowie NVIDIA GRID Virtual Applications. G3-Instances eignen sich sehr gut für Anwendungen wie z. B. 3D-Visualisierungen, grafikintensive Remote-Workstations, das 3D-Rendering, die Videocodierung, Virtual-Reality-Anwendungen und andere serverseitige Grafik-Workloads, die eine massive parallele Rechenleistung erfordern.
G3-Instances unterstützen NVIDIA GRID Virtual Workstation und NVIDIA GRID Virtual Applications. Informationen zum Aktivieren dieser Funktionen finden Sie unter Aktivieren von NVIDIA GRID Virtual Applications.
G2-Instances
G2-Instances verwenden NVIDIA GRID K520 GPUs und bieten eine kostengünstige Hochleistungsplattform für Grafikanwendungen unter Verwendung von DirectX oder OpenGL. NVIDIA GRID GPUs unterstützen außerdem die NVIDIA-API-Operationen zur schnellen Erfassung und Codierung. Anwendungsbeispiele sind Services für die Video-Erstellung, 3D-Visualisierungen, grafikintensive Streaming-Anwendungen und andere serverseitige Grafik-Workloads.
Hardwarespezifikationen
Im Folgenden finden Sie eine Zusammenfassung der Hardware-Spezifikationen für Instances für beschleunigte Berechnungen.
| Instance-Typ | Standard vCPUs | Arbeitsspeicher (GiB) | Accelerators |
|---|---|---|---|
p2.xlarge |
4 | 61 | 1 |
p2.8xlarge |
32 | 488 | 8 |
p2.16xlarge |
64 | 732 | 16 |
p3.2xlarge |
8 | 61 | 1 |
p3.8xlarge |
32 | 244 | 4 |
p3.16xlarge |
64 | 488 | 8 |
p3dn.24xlarge |
96 | 768 | 8 |
g2.2xlarge |
8 | 15 | 1 |
g2.8xlarge |
32 | 60 | 4 |
g3s.xlarge |
4 | 30,5 | 1 |
g3.4xlarge |
16 | 122 | 1 |
g3.8xlarge |
32 | 244 | 2 |
g3.16xlarge |
64 | 488 | 4 |
g4dn.xlarge |
4 | 16 | 1 |
g4dn.2xlarge |
8 | 32 | 1 |
g4dn.4xlarge |
16 | 64 | 1 |
g4dn.8xlarge |
32 | 128 | 1 |
g4dn.12xlarge |
48 | 192 | 4 |
g4dn.16xlarge |
64 | 256 | 1 |
g4dn.metal |
96 | 384 | 8 |
f1.2xlarge |
8 | 122 | 1 |
f1.4xlarge |
16 | 244 | 2 |
f1.16xlarge |
64 | 976 | 8 |
inf1.xlarge |
4 | 8 | 1 |
inf1.2xlarge |
8 | 16 | 1 |
inf1.6xlarge |
24 | 48 | 4 |
inf1.24xlarge |
96 | 192 | 16 |
Weitere Informationen zu den Hardware-Spezifikationen für jeden Amazon EC2-Instance-Typ
finden Sie unter Amazon EC2-Instance-Typen
Weitere Informationen zur Angabe von CPU-Optionen finden Sie unter Optimierung der CPU-Optionen.
Instance-Leistung
Sie können verschiedene Optimierungen an den GPU-Einstellungen vornehmen, um die bestmögliche Leistung in Ihrer Instance zu erzielen. Weitere Informationen finden Sie unter Optimieren der GPU-Einstellungen.
EBS-optimierte Instances bieten die beste Leistung für Ihre EBS-Volumes, indem der Datenverkehr zwischen Amazon Amazon EBS-E/A und anderem Netzwerk-Datenverkehr von Ihrer Instance optimiert wird. Einige beschleunigte Datenverarbeitungs-Instances sind standardmäßig und ohne zusätzliche Kosten EBS-optimiert. Weitere Informationen finden Sie unter Amazon EBS–optimierte Instances.
Einige beschleunigte Datenverarbeitungs-Instance-Typen ermöglichen die Steuerung von C- und P-Prozessorzuständen unter Linux. C-Zustände steuern den Ruhezustand eines Kerns im inaktiven Zustand. P-Zustände steuern die gewünschte Leistung (CPU-Frequenz) eines Kern. Weitere Informationen finden Sie unter Steuerung des Prozessorzustands für Ihre EC2-Instance.
Netzwerkleistung
Sie können erweiterte Netzwerke für unterstützte Instance-Typen aktivieren, um eine geringere Latenz, einen geringeren Netzwerkjitter und eine höhere PPS (Paket pro Sekunde)-Leistung zu erzielen. Die meisten Anwendungen brauchen kein gleichbleibend hohes Niveau an Netzwerkleistung, können aber vom Zugriff auf eine erhöhte Bandbreite profitieren, wenn sie Daten senden oder empfangen. Weitere Informationen finden Sie unter Enhanced Networking unter Linux.
Im Folgenden finden Sie eine Zusammenfassung der Netzwerkleistung für Instances für beschleunigte Berechnungen, die Enhanced Networking unterstützen.
| Instance-Typ | Netzwerkleistung | Enhanced Networking |
|---|---|---|
f1.2xlarge | f1.4xlarge | g3.4xlarge | p3.2xlarge
|
Bis zu 10 Gbit/s † | ENA |
g3s.xlarge | g3.8xlarge | p2.8xlarge | p3.8xlarge
|
10 Gbit/s | ENA |
g4dn.xlarge | g4dn.2xlarge | g4dn.4xlarge | inf1.xlarge | inf1.2xlarge
|
Bis zu 25 Gbit/s † | ENA |
f1.16xlarge | g3.16xlarge | inf1.6xlarge | p2.16xlarge | p3.16xlarge
|
25 Gbit/s | ENA |
g4dn.8xlarge | g4dn.12xlarge | g4dn.16xlarge
|
50 Gbit/s | ENA |
g4dn.metal | inf1.24xlarge | p3dn.24xlarge |
100 Gbit/s | ENA |
† Diese Instances nutzen ein Netzwerk-E/A-Guthabensystem, mit dem Instances Netzwerkbandbreite basierend auf der durchschnittlichen Bandbreitennutzung zugewiesen wird. Sie sammeln Guthaben an, wenn ihre Bandbreite unter den Basisbandbreite liegt, und können diese Guthaben verwenden, wenn sie Netzwerk-Datenübertragungen durchführen. Um weitere Informationen zu erhalten, öffnen Sie einen Supportfall und bitten Sie um die Baseline-Bandbreite für die einzelnen Instance-Typen, an denen Sie interessiert sind.
Funktionen von Instances
Im Folgenden finden Sie eine Zusammenfassung der Funktionen von Instances für beschleunigten Berechnungen:
| Nur EBS | NVMe-EBS | Instance-Speicher | Platzierungsgruppe | |
|---|---|---|---|---|
|
G2 |
Nein |
Nein |
SSD |
Ja |
|
G3 |
Ja |
Nein |
Nein |
Ja |
|
G4 |
Nein |
Ja |
NVMe * |
Ja |
|
Inf1 |
Ja |
Nein |
Nein |
Ja |
|
P2 |
Ja |
Nein |
Nein |
Ja |
|
P3 |
p3dn.24xlarge: Nein
Alle anderen Größen: Ja |
p3dn.24xlarge: Ja
Alle anderen Größen: Nein |
p3dn.24xlarge: NVMe*
|
Ja |
|
F1 |
Nein |
Nein |
NVMe * |
Ja |
* Der Root-Gerät-Datenträger muss ein Amazon EBS-Volume sein.
Weitere Informationen finden Sie unter:
Versionshinweise
-
Sie müssen die Instance mit einem HVM-AMI starten.
-
Für Instances, die auf dem Nitro-System basieren, gelten die folgenden Anforderungen:
-
NVMe-Treiber müssen installiert sein.
-
Elastic Network Adapter (ENA)-Treiber müssen installiert sein.
Die folgenden Linux-AMIs erfüllen diese Anforderungen:
-
Amazon Linux 2
-
Amazon Linux AMI 2018.03
-
Ubuntu 14.04 (mit
linux-aws-Kernel) oder höher -
Red Hat Enterprise Linux 7.4 oder höher
-
SUSE Linux Enterprise Server 12 SP2 oder höher
-
CentOS 7.4.1708 oder höher
-
FreeBSD 11.1 oder höher
-
Debian GNU/Linux 9 oder höher
-
-
GPU-basierte Instances können nur auf die GPU zugreifen, wenn NVIDIA-Treiber installiert wurden. Weitere Informationen finden Sie unter Installieren von NVIDIA-Treibern auf Linux-Instances.
-
Wenn eine Bare-Metal-Instance gestartet wird, wird der zugrunde liegende Server gestartet, wobei alle Hardware- und Firmwarekomponenten überprüft werden. Dies bedeutet, dass es ab dem Zeitpunkt, an dem die Instance in den Betriebszustand übergeht, 20 Minuten dauern kann, bis sie über das Netzwerk verfügbar wird.
-
Zum Anfügen und Trennen von EBS-Volumes oder sekundären Netzwerkschnittstellen von einer Bare-Metal-Instance wird nativer PCIe-Hotplug-Support benötigt. Amazon Linux 2 und die neuesten Versionen von Amazon Linux AMI unterstützen im Gegensatz zu älteren Versionen native PCIe-Hotplugs. Sie müssen die folgenden Konfigurationsoptionen des Linux-Kernels aktivieren:
CONFIG_HOTPLUG_PCI_PCIE=y CONFIG_PCIEASPM=y -
Bare-Metal-Instances nutzen anstelle eines auf dem E/A-Port basierenden seriellen Geräts ein PCI-basiertes serielles Gerät. Der Linux-Upstream-Kernel und die neuesten Amazon Linux AMIs unterstützen dieses Gerät. Bare-Metal-Instances ermöglichen dem System über eine ACPI SPCR-Tabelle zudem, das PCI-basierte serielle Gerät automatisch zu nutzen. Die neuesten Windows-AMIs nutzen automatisch das PCI-basierte serielle Gerät.
-
Es gilt ein Limit von 100 AFIs pro Region.
-
Die Gesamtanzahl der Instances, die Sie in einer Region starten können, ist begrenzt. Für bestimmte Instance-Typen gelten zusätzliche Einschränkungen. Weitere Informationen finden Sie unter Wie viele Instances kann ich in Amazon EC2 ausführen?
in der allgemeinen Amazon EC2-FAQ.
