Instances de calcul accéléré Windows
Les instances à calcul accéléré utilisent des accélérateurs matériels ou des coprocesseurs pour exécuter certaines fonctions, telles que le calcul en virgule flottante, le traitement graphique ou la correspondance de modèles de données, plus efficacement qu'il n'est possible avec les logiciels exécutés sur processeurs. Ces instances offrent de meilleures capacités de traitement en parallèle afin d'accélérer les charges de travail qui nécessitent beaucoup de ressources système.
Si vous avez besoin de capacités de traitement parallèle élevées, utilisez des instances à calcul accéléré qui vous donneront accès aux accélérateurs matériels tels que les unités GPU (Graphics Processing Units).
Sommaire
- instances GPU
- Instances avec AWS Trainium
- Spécifications matérielles
- Performances de l'instance
- Performances réseau
- Performances d'E/S Amazon EBS
- Performances d'E/S du volume du stockage d'instances
- Notes de mise à jour
- Installer les pilotes NVIDIA sur des instances Windows
- Installer des pilotes AMD sur des instances Windows
- Activer les applications virtuelles NVIDIA GRID
- Optimiser les paramètres GPU
instances GPU
Les instances GPU donnent accès aux unités GPU NVIDIA avec des milliers de cœurs de calcul. Vous pouvez utiliser ces instances pour accélérer de nombreuses applications scientifiques, d'ingénierie et de rendu en tirant parti de l'architecture CUDA ou d'infrastructures de calcul parallèle OpenCL (Open Computing Language). Vous pouvez également les utiliser pour des applications graphiques, notamment les jeux en streaming, les applications 3D en streaming, et d'autres charges de travail graphiques.
Utilisez plutôt un accélérateur Elastic Graphics si votre application a besoin d'un faible volume d'accélération graphique supplémentaire, mais qu'elle est mieux adaptée pour un type d'instance avec des spécifications de calcul, de mémoire ou de stockage différentes. Pour plus d'informations, consultez Amazon Elastic Graphics.
Instances G5
Les instances G5 utilisent des GPU NVIDIA A10G et fournissent des performances élevées pour les applications gourmandes en graphisme, telles que les stations de travail distantes, le rendu vidéo et les jeux dans le cloud, ainsi que des modèles de deep learning pour des applications telles que le traitement du langage naturel, la reconnaissance d'image et les moteurs de recommandation. Ces instances comprennent jusqu'à 8 GPU NVIDIA A10G, des processeurs AMD EPY de deuxième génération, jusqu'à 100 Gbit/s de bande passante réseau et jusqu'à 7,6 To de stockage SSD NVMe local.
Pour plus d'informations, consultez Instances G5 Amazon EC2
instances G4ad et G4dn
Les instances G4ad utilisent des GPU AMD Radeon Pro V520 et des processeurs AMD EPYC de 2e génération. Elles sont parfaitement adaptées aux applications graphiques telles que les stations de travail graphiques distantes, le streaming de jeux et le rendu qui exploitent des API conformes aux normes du secteur, telles que OpenGL, DirectX et Vulkan. Elles fournissent jusqu'à quatre GPU AMD Radeon Pro V520, 64 vCPU, un réseau de 25 Gb/s et 2,4 o de stockage SSD local basé sur NVME.
Les instances G4dn utilisent les GPU NVIDIA Tesla et fournissent une plateforme hautes performances et économique pour les calculs génériques utilisant les frameworks CUDA ou de machine learning, ainsi que des applications graphiques utilisant DirectX ou OpenGL. Ces instances offrent des réseaux avec bande passante élevée, des capacités en virgule flottante avec précision unique, ainsi que des précisions INT8 et INT4. Chaque GPU dispose de 16 Gio de mémoire GDDR6, ce qui permet aux instances G4dn d'être adaptées aux inférences de machine learning, au transcodage vidéo et aux applications graphiques telles que les postes de travail graphiques à distance et le streaming de jeux dans le cloud.
Pour plus d'informations, consultez Instances G4 Amazon EC2
Les instances G4dn prennent en charge le poste de travail virtuel NVIDIA GRID. Pour plus d'informations, consultez les offres NVIDIA sur Marketplace
instances G3
Ces instances utilisent des GPU NVIDIA Tesla M60 et offrent une plateforme économique à hautes performances pour les applications graphiques qui utilisent DirectX ou OpenGL. Les instances G3 fournissent également des fonctions de station de travail virtuelle NVIDIA GRID, qui prennent en charge 4 écrans avec des résolutions pouvant atteindre 4096x2160 et des applications virtuelles NVIDIA GRID. Les instances G3 sont bien adaptées aux applications, telles que les visualisations 3D, les stations de travail distantes gourmandes en graphiques, le rendu 3D, l'encodage vidéo, la réalité virtuelle et autres charges de travail graphiques côté serveur nécessitant une puissance de traitement massivement parallèle.
Pour plus d'informations, consultez Instances G3 Amazon EC2
Les instances G3 prennent en charge les stations de travail virtuelles et les applications virtuelles NVIDIA GRID. Pour activer ces fonctionnalités, consultez Activer les applications virtuelles NVIDIA GRID.
instances G2
Ces instances utilisent des GPU NVIDIA GRID K520 et offrent une plateforme économique à hautes performances pour les applications graphiques qui utilisent DirectX ou OpenGL. Les GPU NVIDIA GRID prennent également en charge la capture rapide de NVIDIA et encodent les opérations d'API. Les services de création vidéo, les visualisations 3D, le streaming d'applications gourmandes en graphiques et autres charges de travail côté serveur sont des exemples d'applications.
Les instances P4de offrent des GPU NVIDIA 80 Go-A100s
instances P3
Ces instances utilisent des GPU NVIDIA Tesla V100 et sont conçues pour le calcul GPU à usage général à l'aide des modèles de programmation CUDA ou OpenCL, ou via un framework de machine learning. Les instances P3 offrent une mise en réseau à bande passante élevée, de hautes capacités de calcul en virgule flottante de mi-précision, de simple précision et double précision, ainsi que jusqu'à 32 Gio de mémoire par GPU. Cela en fait un outil idéal dans les domaines du Deep Learning, de la mécanique des fluides numérique, des calculs financiers, de l'analyse sismique, de la modélisation moléculaire, de la génomique, du rendu et d'autres charges de travail de calcul GPU côté serveur. Les GPU Tesla V100 ne prennent pas en charge le mode graphique.
Pour plus d'informations, consultez Instances P3 Amazon EC2
Les instances P3 prennent en charge les transferts entre homologues NVIDIA NVLink. Pour plus d'informations, consultez NVIDIA NVLink
instances P2
Les instances P2 utilisent des GPU NVIDIA Tesla K80 et sont conçues pour le calcul GPU à usage général à l'aide des modèles de programmation CUDA ou OpenCL. Les instances P2 offrent une mise en réseau à bande passante élevée, de hautes capacités de calcul en virgule flottante simple et double précision et 12 Gio de mémoire par GPU. Elles sont ainsi parfaitement adaptées au Deep Learning, aux bases de données graphiques, aux bases de données de haute performance, à la modélisation numérique en dynamique des fluides, aux calculs financiers, à l'analyse sismique, à la modélisation moléculaire, à la recherche génomique, aux tâches de rendu et aux autres charges de travail de calcul GPU côté serveur.
Les instances P2 prennent en charge les transferts pair à pair NVIDIA GPUDirect. Pour plus d'informations, consultez NVIDIA GPUDirect
Instances avec AWS Trainium
Les instances Trn1 Amazon EC2, à technologie AWS Trainium
Pour plus d'informations, consultez Amazon EC2 Trn1 Instances
Spécifications matérielles
Vous trouverez ci-dessous un résumé des spécifications matérielles relatives aux instances à calcul accéléré. Une unité de traitement centralisée virtuelle (vCPU) représente une partie de l'UC physique affectée à une machine virtuelle (VM). Pour les instances x86, il existe deux vCPUs par cœur. Pour les instances Graviton, il existe un vCPU par cœur.
| Type d'instance | vCPU par défaut | Mémoire (Gio) | Accélérateurs |
|---|---|---|---|
g2.2xlarge |
8 | 15 | 1 |
g2.8xlarge |
32 | 60 | 4 |
g3s.xlarge |
4 | 30,5 | 1 |
g3.4xlarge |
16 | 122 | 1 |
g3.8xlarge |
32 | 244 | 2 |
g3.16xlarge |
64 | 488 | 4 |
g4ad.xlarge |
4 | 16 | 1 |
g4ad.2xlarge |
8 | 32 | 1 |
g4ad.4xlarge |
16 | 64 | 1 |
g4ad.8xlarge |
32 | 128 | 2 |
g4ad.16xlarge |
64 | 256 | 4 |
g4dn.xlarge |
4 | 16 | 1 |
g4dn.2xlarge |
8 | 32 | 1 |
g4dn.4xlarge |
16 | 64 | 1 |
g4dn.8xlarge |
32 | 128 | 1 |
g4dn.12xlarge |
48 | 192 | 4 |
g4dn.16xlarge |
64 | 256 | 1 |
g4dn.metal |
96 | 384 | 8 |
g5.xlarge |
4 | 16 | 1 |
g5.2xlarge |
8 | 32 | 1 |
g5.4xlarge |
16 | 64 | 1 |
g5.8xlarge |
32 | 128 | 1 |
g5.12xlarge |
48 | 192 | 4 |
g5.16xlarge |
64 | 256 | 1 |
g5.24xlarge |
96 | 384 | 4 |
g5.48xlarge |
192 | 768 | 8 |
p2.xlarge |
4 | 61 | 1 |
p2.8xlarge |
32 | 488 | 8 |
p2.16xlarge |
64 | 732 | 16 |
p3.2xlarge |
8 | 61 | 1 |
p3.8xlarge |
32 | 244 | 4 |
p3.16xlarge |
64 | 488 | 8 |
p3dn.24xlarge |
96 | 768 | 8 |
trn1.2xlarge |
8 | 32 | 1 |
trn1.32xlarge |
128 | 512 | 16 |
Les instances de calcul accéléré utilisent les processeurs suivants.
Processeurs AMD
-
Processeurs AMD EPYC de 2e génération (AMD EPYC 7R32) : G4ad, G5
Processeurs Intel
-
Processeurs Intel Xeon Scalable (Broadwell E5-2686 v4) : G3, P2, P3
-
Processeur Intel Xeon Scalable (Skylake 8175) : P3dn
-
Processeur Intel Xeon Scalable de 2e génération (Cascade Lake P-8259CL) : VT1
-
Processeur Intel Xeon Scalable de 2e génération (Cascade Lake P-8259L) : G4dn
Pour plus d'informations, consultez Types d'instance Amazon EC2
Performances de l'instance
Les instances optimisées EBS vous permettent d'obtenir régulièrement des performances élevées pour vos volumes EBS en éliminant les conflits entre les I/O Amazon EBS et tout autre trafic réseau de votre instance Certaines instances optimisées à calcul accéléré sont optimisées pour EBS par défaut sans frais supplémentaires. Pour plus d'informations, consultez instances optimisées pour Amazon EBS.
Performances réseau
Vous pouvez activer la mise en réseau améliorée sur les types d'instance pris en charge pour fournir des latences plus faibles, une instabilité moindre sur le réseau et des performances de débit en paquets par seconde (PPS) plus élevées. La plupart des applications ne nécessitent pas en permanence un haut niveau de performances réseau, mais peuvent tirer profit d'un accès à une bande passante accrue lorsqu'elles envoient ou reçoivent des données. Pour plus d'informations, consultez Réseaux améliorés sur Windows.
Vous trouverez ci-dessous un résumé des performances réseau relatives aux instances à calcul accéléré qui prennent en charge la mise en réseau améliorée.
| Type d'instance | Performances réseau | Réseaux améliorés |
|---|---|---|
| 3,125 Go/s | ENA | |
| 6,25 Go/s | ENA | |
g3.4xlarge | g3s.xlarge | g4ad.4xlarge
and smaller | g5.2xlarge et tailles inférieures | p3.2xlarge |
Jusqu'à 10 Gb/s † | ENA |
g3.8xlarge | p2.8xlarge | p3.8xlarge
|
10 Gb/s | ENA |
g4ad.8xlarge |
15 Gb/s | ENA |
g4dn.4xlarge et tailles inférieures | g5.4xlarge |
Jusqu'à 25 Gb/s † | ENA |
g3.16xlarge | g4ad.16xlarge |
g5.8xlarge | g5.16xlarge |
p2.16xlarge | p3.16xlarge |
|
25 Gb/s | ENA |
g5.12xlarge |
40 Gb/s | ENA |
g4dn.8xlarge | g4dn.12xlarge | g4dn.16xlarge |
g5.24xlarge
|
50 Gb/s | ENA |
g4dn.metal | g5.48xlarge | p3dn.24xlarge
|
100 Gb/s | ENA |
trn1.2xlarge |
Jusqu'à 12,5 Gbps | ENA |
trn1.32xlarge |
800 Gb/s | ENA |
† Ces instances ont une bande passante de base et peuvent utiliser un mécanisme de crédit d'I/O réseau pour dépasser leur bande passante de base dans la mesure du possible. Pour plus d'informations, consultez Bande passante réseau d'instance.
| Type d'instance | Bande passante de référence (Gbit/s) | Bande passante de rafale (Gbit/s) |
|---|---|---|
g3.4xlarge |
5 | 10 |
g3s.xlarge |
1,25 | 10 |
g4ad.xlarge |
2 | 10 |
g4ad.2xlarge |
4,167 | 10 |
g4ad.4xlarge |
8,333 | 10 |
g4dn.xlarge |
5 | 25 |
g4dn.2xlarge |
10 | 25 |
g4dn.4xlarge |
20 | 25 |
g5.xlarge |
2,5 | 10 |
g5.2xlarge |
5 | 10 |
g5.4xlarge |
10 | 25 |
p3.2xlarge |
2,5 | 10 |
Trn1.2xlarge |
3,125 | 12,5 |
Trn1.32xlarge |
800 | N/A |
Performances d'E/S Amazon EBS
Les instances optimisées Amazon EBS utilisent une pile de configuration optimisée et fournissent une capacité supplémentaire et dédiée aux E/S Amazon EBS. Cette optimisation offre les meilleures performances pour vos volumes Amazon EBS en minimisant les conflits entre les E/S Amazon EBS et les autres trafics de votre instance.
Pour plus d'informations, consultez instances optimisées pour Amazon EBS.
Performances d'E/S du volume du stockage d'instances
Si vous que vous utilisez tous les volumes de stockage d'instances basés sur SSD disponibles pour votre instance, vous pouvez obtenir les performances d'IOPS (taille de bloc de 4 096 octets) répertoriées dans le tableau suivant (lorsque la profondeur de la file d'attente est saturée). Sinon, vous obtenez des performances d'IOPS inférieures.
| Taille d'instance | IOPS en lecture aléatoires 100 % | IOPS en écriture |
|---|---|---|
g4ad.xlarge |
10 417 | 8 333 |
g4ad.2xlarge |
20 833 | 16 667 |
g4ad.4xlarge |
41 667 | 33 333 |
g4ad.8xlarge |
83 333 | 66 667 |
g4ad.16xlarge |
166 667 | 133 333 |
g5.xlarge |
40 625 | 20 313 |
g5.2xlarge |
40 625 | 20 313 |
g5.4xlarge |
125 000 | 62 500 |
g5.8xlarge |
250 000 | 125 000 |
g5.12xlarge |
312 500 | 156 250 |
g5.16xlarge |
250 000 | 125 000 |
g5.24xlarge |
312 500 | 156 250 |
g5.48xlarge |
625 000 | 312 500 |
Au fur et à mesure que vous remplissez les volumes de stockage d'instances basés sur SSD pour votre instance, le nombre d'IOPS en écriture que vous pouvez obtenir diminue. Ceci est dû au travail supplémentaire que le contrôleur SSD doit effectuer pour trouver de l'espace disponible, réécrire les données existantes et effacer l'espace non utilisé pour le rendre réinscriptible. Ce processus de nettoyage de la mémoire se traduit par une amplification d'écriture interne sur le disque SSD, exprimée sous la forme du rapport des opérations d'écriture SSD sur les opérations d'écriture utilisateur. Cette diminution des performances est encore plus importante si les opérations d'écriture ne sont pas exprimées en multiples de 4 096 octets ou ne sont pas alignées sur une limite de 4 096 octets. Si vous écrivez une quantité d'octets plus faible ou des octets qui ne sont pas alignés, le contrôleur SSD doit lire les données environnantes et stocker le résultat dans un nouvel emplacement. Ce modèle se traduit par une forte augmentation de l'amplification d'écriture, une latence accrue et une diminution considérable des performances d'I/O.
Les contrôleurs SSD peuvent utiliser plusieurs stratégies pour réduire l'impact de l'amplification d'écriture. Une telle stratégie consiste à réserver un espace dans le stockage d'instance SSD afin que le contrôleur puisse gérer efficacement l'espace disponible pour les opérations d'écriture. Cette solution est appelée sur-approvisionnement. Les volumes de stockage d'instances SSD fournis à une instance n'ont pas d'espace réservé pour le sur-approvisionnement. Pour réduire l'amplification d'écriture, nous vous conseillons de laisser 10 % du volume non partitionné que le contrôleur SSD pourra utiliser pour le sur-approvisionnement. Cela diminue le stockage que vous pouvez utiliser, mais augmente les performances même si le disque est proche de sa capacité maximale.
Pour les volumes de stockage d'instances qui prennent en charge TRIM, vous pouvez utiliser la commande TRIM pour informer le contrôleur SSD lorsque vous n'avez plus besoin des données que vous avez écrites. Cela fournit au contrôleur plus d'espace disponible, ce qui peut réduire l'amplification d'écriture et augmenter les performances. Pour plus d'informations, consultez Prise en charge de TRIM sur les volumes de stockage d'instance.
Notes de mise à jour
-
Vous devez lancer l'instance à l'aide d'une AMI HVM.
-
Les instances reposant sur le Système Nitro présentent les exigences suivantes :
Les pilotes NVMe doivent être installés.
Les pilotes Elastic Network Adapter (ENA) doivent être installés.
Les AMI Windows AWS actuelles répondent à ces exigences.
-
Les instances GPU ne peuvent pas accéder à la GPU si les pilotes NVIDIA ne sont pas installés. Pour plus d'informations, consultez Installer les pilotes NVIDIA sur des instances Windows.
-
Le lancement d'une instance en matériel nu démarre le serveur sous-jacent, qui inclut la vérification de tous les composants du matériel et du microprogramme. Cela signifie que 20 minutes peuvent s'écouler entre le moment où l'instance passe à l'état d'exécution et le moment où elle devient disponible sur le réseau.
-
Attacher ou détacher des volumes EBS ou des interfaces réseau secondaires à partir d'une instance en matériel nu requiert la prise en charge de l'enfichage à chaud natif de PCIe.
-
Les instances en matériel nu utilisent un périphérique série basé sur PCI plutôt qu'un périphérique série basé sur le port d'I/O. Le noyau Linux kernel en amont et les dernières AMI Amazon Linux prennent en charge ce périphérique. Les instances en matériel nu fournissent également un tableau SPCR ACPI afin de permettre au système d'utiliser automatiquement le périphérique série basé sur PCI. Les dernières AMI Windows utilisent automatiquement le périphérique série basé sur PCI.
-
Il y a une limite de 100 images AFI par région.
-
Le nombre total d'instances que vous pouvez lancer dans une région est soumis à une limite, et il existe des limites supplémentaires sur certains types d'instances. Pour plus d'informations, consultez Combien d'instances est-il possible d'exécuter dans Amazon EC2 ?
dans les questions fréquentes Amazon EC2. -
Si vous lancez une instance multi-GPU avec une AMI Windows créée sur une instance GPU unique, Windows n'installe pas automatiquement le pilote NVIDIA pour toutes les GPU. Vous devez autoriser l'installation du pilote pour le nouveau matériel GPU. Vous pouvez corriger cela manuellement dans le gestionnaire de périphériques en ouvrant la catégorie de périphériques Autres (les GPU inactives n'apparaissent pas sous Cartes graphiques). Pour chaque GPU inactive, ouvrez le menu contextuel (clic droit) et choisissez Mettre à jour le pilote logiciel, puis sélectionnez l'option Mise à jour automatique par défaut.
-
Lorsque le protocole de Bureau à distance Microsoft Remote Desktop Protocol (RDP) est utilisé, les GPU qui utilisent le modèle de pilote WDDM sont remplacés par un pilote d'affichage Bureau à distance non accéléré. Nous vous recommandons d'utiliser un autre outil d'accès distant pour accéder à votre GPU, comme Teradici Cloud Access Software
, NICE Desktop Cloud Visualization (DCV) ou VNC. Vous pouvez également utiliser l'une des AMI GPU d'AWS Marketplace, car celles-ci fournissent des outils d'accès distant prenant en charge l'accélération 3D.
