**Unterstützung für die Verbesserung dieser Seite beitragen**
Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Um zu diesem Benutzerhandbuch beizutragen, wählen Sie den GitHub ** Link Diese Seite ** bearbeiten unter, der sich im rechten Bereich jeder Seite befindet.
Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
# Verwenden Sie EKS-optimized beschleunigte AMIs für GPU-Instances
Amazon EKS unterstützt EKS-optimized Amazon Linux- und Bottlerocket-AMIs für GPU-Instances. Die EKS-optimized beschleunigten AMIs vereinfachen die Ausführung von KI- und ML-Workloads in EKS-Clustern, indem sie vorgefertigte, validierte Betriebssystem-Images für den beschleunigten Kubernetes-Stack bereitstellen. Zusätzlich zu den Kubernetes-Kernkomponenten, die in den EKS-optimized Standard-AMIs enthalten sind, enthalten die EKS-optimized beschleunigten AMIs die Kernelmodule und Treiber, die für die Ausführung der NVIDIA-GPU- und EC2-Instances sowie der GPU [ Inferentia `G`](https://aws.amazon.com/machine-learning/inferentia/) - und `P` Trainium EC2-Instances in AWS EKS-Clustern erforderlich sind. [https://aws.amazon.com/machine-learning/trainium/](https://aws.amazon.com/machine-learning/trainium/)
Die folgende Tabelle zeigt die unterstützten GPU-Instance-Typen für jede beschleunigte AMI-Variante. EKS-optimized Die neuesten Updates GitHub für die EKS-optimized [ AMI-Varianten finden Sie in den [ AL2023-Versionen ](https://github.com/bottlerocket-os/bottlerocket/blob/develop/CHANGELOG.md) und Bottlerocket-Versionen ](https://github.com/awslabs/amazon-eks-ami/releases) unter.
| EKS-AMI-Variante | EC2-Instance-Typen |
| --- | --- |
| AL2023 x86\_64 NVIDIA | p6-b300, p6-b200, p5, p5e, p5en, p4d, p4de, p3, p3dn, g7, g7e, gr6, g6, g6e, g6f, gr6f, gr6f, g5, g4dn |
| AL2023 ODER NVIDIA | p6e-gb200, p6e-gb300, 5g |
| AL2023 x86\_64 Neuron | inf1, inf2, trn1, trn2 |
| Flaschenrakete x86\_64 aws-k8s-nvidia | p6-b300, p6-b200, p5, p5e, p5en, p4d, p4de, p3, p3dn, g7 (EKS 1.37 oder höher), g7e, gr6, g6, g6e, g6f, gr6f, g5, g4dn |
| aarch64/arm64 Flaschenrakete aws-k8s-nvidia | g 5 g |
| Flaschenrakete x86\_64 aws-k8s | inf1, inf2, trn1, trn2 |
## EKS-optimized NVIDIA-AMIs
Durch die Verwendung der EKS-optimized NVIDIA-AMIs stimmen Sie der Cloud-Endbenutzer-Lizenzvereinbarung (EULA) [ von ](https://s3.amazonaws.com/EULA/NVidiaEULAforAWS.pdf) NVIDIA zu.
Die neuesten EKS-optimized NVIDIA-AMIs finden Sie unter [Rufen Sie das empfohlene Amazon Linux AMI ab IDs](retrieve-ami-id.md) und[Empfohlene Bottlerocket-AMI-IDs abrufen](retrieve-ami-id-bottlerocket.md).
Wenn Sie Amazon Elastic Fabric Adapter (EFA) mit den EKS-optimized AL2023- oder Bottlerocket NVIDIA-AMIs verwenden, müssen Sie das EFA-Geräte-Plug-In separat installieren. Weitere Informationen finden Sie unter [Ausführung von Machine-Learning-Trainings in Amazon EKS mit Elastic Fabric Adapter](node-efa.md).
## EKS AL2023 NVIDIA AMIS
Wenn Sie den [ NVIDIA-GPU-Operator ](https://docs.nvidia.com/datacenter/cloud-native/gpu-operator/latest/overview.html) mit den EKS-optimized AL2023 NVIDIA-AMIs verwenden, müssen Sie die Operator-Installation des Treibers und des Toolkits deaktivieren, da diese bereits in den EKS-AMIs enthalten sind. Die EKS-optimized AL2023 NVIDIA-AMIs enthalten weder das NVIDIA Kubernetes-Geräte-Plugin noch den NVIDIA DRA-Treiber und diese müssen separat installiert werden. Weitere Informationen finden Sie unter [NVIDIA-GPUs auf Amazon EKS verwalten](device-management-nvidia.md).
Zusätzlich zu den standardmäßigen EKS-AMI-Komponenten enthalten die EKS-optimized AL2023 NVIDIA-AMIs die folgenden Komponenten.
+ NVIDIA-Treiber
+ NVIDIA CUDA-Benutzermodus-Treiber
+ NVIDIA-Container-Toolkit
+ NVIDIA Fabric Manager
+ NVIDIA beharrte
+ NVIDIA IMEX-Treiber
+ NVIDIA NVLink Subnetzmanager
+ NVIDIA GDRCopy-Treiber
+ EFA minimal (Kernelmodul und RDMA-Core)
Einzelheiten zum NVIDIA CUDA-Benutzermodus-Treiber und zum CUDA, der in Anwendungscontainern runtime/libraries verwendet wird, finden Sie in der NVIDIA-Dokumentation. [https://docs.nvidia.com/deploy/cuda-compatibility/why-cuda-compatibility.html#why-cuda-compatibility](https://docs.nvidia.com/deploy/cuda-compatibility/why-cuda-compatibility.html#why-cuda-compatibility) Die von angezeigte CUDA-Version `nvidia-smi` ist die Version des auf dem Host installierten NVIDIA CUDA-Benutzermodus-Treibers, der mit dem in Anwendungscontainern verwendeten CUDA runtime/libraries kompatibel sein muss.
Die EKS-optimized AL2023 NVIDIA-AMIs unterstützen Kernel 6.12 für die Kubernetes-Versionen 1.33 bis 1.35 und Kernel 6.18 für Kubernetes-Versionen 1.36 und höher. Ein einzelnes AMI umfasst zwei NVIDIA-Treiberversionen.
Jeder Knoten wählt beim ersten Start automatisch den passenden Treiber für seine GPU aus und verwendet diese Version für die gesamte Lebensdauer des Knotens. Für den `g7` Instance-Typ ist die NVIDIA-Treiberversion 595 oder höher erforderlich, während für alle anderen unterstützten GPUs (einschließlich`g7e`) die NVIDIA-Treiberversion 580 erforderlich ist. Jeder Knoten wählt den Treiber automatisch auf der Grundlage seiner GPU aus. Sie müssen die Treiberversion nicht konfigurieren.
Die LTS-Treiberversion (Long-Term Support) ist derzeit 580, und die Treiberversion für den Produktionszweig ist derzeit 595. Für die Verwendung von CUDA 13\+ ist der NVIDIA 580-Treiber erforderlich.
Einzelheiten zu den in den EKS-optimized [ AMIs enthaltenen Komponentenversionen finden Sie in den AL2023-Versionen unter. ](https://github.com/awslabs/amazon-eks-ami/releases) GitHub Einzelheiten dazu, wie die EKS-AMIs die NVIDIA-Abhängigkeiten konfigurieren und die Treiberversion beim Booten auswählen, finden Sie im EKS AL2023 [ NVIDIA-AMI-Installationsskript ](https://github.com/awslabs/amazon-eks-ami/blob/main/templates/al2023/provisioners/install-nvidia-drivers.sh) und im [ Treiberauflösungsskript. ](https://github.com/awslabs/amazon-eks-ami/blob/main/templates/al2023/runtime/gpu/resolve-nvidia-driver.sh) Die Liste der installierten Pakete und ihrer Versionen auf einer laufenden EC2-Instance finden Sie mit dem `dnf list installed` Befehl.
Beim Erstellen benutzerdefinierter AMIs mit den EKS-optimized AMIs als Basis wird es nicht empfohlen oder unterstützt, ein Betriebssystem-Upgrade (d. h.`dnf upgrade`) durchzuführen oder eines der Kubernetes- oder GPU-Pakete zu aktualisieren, die in den EKS-optimized AMIs enthalten sind, da dadurch die Komponentenkompatibilität beeinträchtigt werden könnte. Wenn Sie das Betriebssystem oder die Pakete, die in den EKS-optimized AMIs enthalten sind, aktualisieren, wird empfohlen, vor der Bereitstellung in der Produktion gründliche Tests in einer Entwicklungs- oder Staging-Umgebung durchzuführen.
Beim Erstellen benutzerdefinierter AMIs für GPU-Instances wird empfohlen, separate benutzerdefinierte AMIs für jede Instance-Typgeneration und -Familie zu erstellen, die Sie ausführen werden. Die EKS-optimized beschleunigten AMIs installieren zur Laufzeit selektiv Treiber und Pakete auf der Grundlage der zugrunde liegenden Instance-Typgenerierung und -familie. Weitere Informationen finden Sie in den EKS-AMI-Skripten für [ Installation ](https://github.com/awslabs/amazon-eks-ami/blob/main/templates/al2023/provisioners/install-nvidia-drivers.sh) und [ Laufzeit](https://github.com/awslabs/amazon-eks-ami/blob/main/templates/al2023/runtime/gpu/resolve-nvidia-driver.sh).
## EKS Bottlerocket NVIDIA AMIs
Wenn Sie den [ NVIDIA-GPU-Operator ](https://docs.nvidia.com/datacenter/cloud-native/gpu-operator/latest/overview.html) mit den EKS-optimized Bottlerocket-NVIDIA-AMIs verwenden, müssen Sie die Operatorinstallation des Treibers, des Toolkits und des Geräte-Plug-ins deaktivieren, da diese bereits in den EKS-AMIs enthalten sind.
Zusätzlich zu den standardmäßigen EKS-AMI-Komponenten enthalten die EKS-optimized Bottlerocket-NVIDIA-AMIs die folgenden Komponenten. Die minimalen Abhängigkeiten für EFA (Kernelmodul und RDMA-Core) sind in allen Bottlerocket-Varianten installiert.
+ NVIDIA Kubernetes-Geräte-Plugin
+ NVIDIA-Treiber
+ NVIDIA CUDA-Benutzermodus-Treiber
+ NVIDIA-Container-Toolkit
+ NVIDIA Fabric Manager
+ NVIDIA beharrte
+ NVIDIA IMEX-Treiber
+ NVIDIA NVLink Subnetzmanager
+ NVIDIA MIG-Manager
Einzelheiten zum NVIDIA CUDA-Benutzermodus-Treiber und zum CUDA, der in Anwendungscontainern runtime/libraries verwendet wird, finden Sie in der [ NVIDIA-Dokumentation. ](https://docs.nvidia.com/deploy/cuda-compatibility/why-cuda-compatibility.html#why-cuda-compatibility) Die von angezeigte CUDA-Version `nvidia-smi` ist die Version des auf dem Host installierten NVIDIA CUDA-Benutzermodus-Treibers, der mit dem in Anwendungscontainern verwendeten CUDA runtime/libraries kompatibel sein muss.
Einzelheiten zu den installierten Paketen und ihren Versionen finden Sie in den Bottlerocket-Versionsinformationen in der [ Bottlerocket-Dokumentation](https://bottlerocket.dev/en/). Die EKS-optimized Bottlerocket NVIDIA-AMIs unterstützen Kernel 6.12 für die Kubernetes-Versionen 1.33 bis 1.35 und Kernel 6.18 für Kubernetes-Versionen 1.36 und höher. Zu diesen AMIs gehört die NVIDIA-Treiberversion 580 für die Kubernetes-Versionen 1.34 bis 1.36. Der NVIDIA 580-Treiber ist für die Verwendung von CUDA 13\+ erforderlich. Die EKS-optimized Bottlerocket NVIDIA-AMIs für 1.37 und höher unterstützen zusätzlich die NVIDIA-Treiberversion 595, die für den Instance-Typ benötigt wird. `g7`
## EKS-optimized Neuron-AMIs
Einzelheiten zur Ausführung von Trainings- und Inferenz-Workloads mithilfe von Neuron mit Amazon EKS finden Sie in den folgenden Referenzen:
+ [Container — Kubernetes — Erste Schritte in der Neuron-Dokumentation ](https://awsdocs-neuron.readthedocs-hosted.com/en/latest/containers/kubernetes-getting-started.html) AWS
+ [Trainingsbeispiel ](https://github.com/aws-neuron/aws-neuron-eks-samples/blob/master/README.md#training) in AWS Neuron EKS Samples auf GitHub
+ [Stellen Sie ML-Inferenz-Workloads mit Inferentia auf Amazon EKS bereit ](inferentia-support.md)
Die neuesten EKS-optimized Neuron-AMIs finden Sie unter und. [Rufen Sie das empfohlene Amazon Linux AMI ab IDs](retrieve-ami-id.md) [Empfohlene Bottlerocket-AMI-IDs abrufen](retrieve-ami-id-bottlerocket.md)
Wenn Sie Amazon Elastic Fabric Adapter (EFA) mit den EKS-optimized AL2023- oder Bottlerocket Neuron AMIs verwenden, müssen Sie das EFA-Geräte-Plug-In separat installieren. Weitere Informationen finden Sie unter [Ausführung von Machine-Learning-Trainings in Amazon EKS mit Elastic Fabric Adapter](node-efa.md).
## EKS AL2023 Neuron-AMIs
Die EKS-optimized AL2023 Neuron AMIs enthalten nicht den Neuron DRA-Treiber, das Neuron Kubernetes-Geräte-Plugin oder die Neuron Kubernetes Scheduler-Erweiterung, und [ diese müssen separat installiert werden. ](https://awsdocs-neuron.readthedocs-hosted.com/en/latest/containers/tutorials/k8s-neuron-scheduler.html) Weitere Informationen finden Sie unter [Neuron-Geräte auf Amazon EKS verwalten](device-management-neuron.md).
Zusätzlich zu den Standard-EKS-AMI-Komponenten enthalten die AL2023 Neuron AMIs die folgenden Komponenten. EKS-optimized
+ Neuronentreiber (aws-neuronx-dkms)
+ Neuronen-Tools (aws-neuronx-tools)
+ EFA minimal (Kernelmodul und RDMA-Core)
Einzelheiten zur Konfiguration der Neuron-Abhängigkeiten durch die EKS-AMIs finden Sie im EKS AL2023 Neuron [ AMI-Installationsskript](https://github.com/awslabs/amazon-eks-ami/blob/main/templates/al2023/provisioners/install-neuron-driver.sh). In den EKS-optimized [ AL2023-Versionen ](https://github.com/awslabs/amazon-eks-ami/releases) finden Sie die GitHub in den AMIs enthaltenen Komponentenversionen. Die Liste der installierten Pakete und ihrer Versionen auf einer laufenden EC2-Instance finden Sie mit dem `dnf list installed` Befehl.
## EKS Bottlerocket Neuron AMIs
Die Standard-Bottlerocket-Varianten (aws-k8s) enthalten die Neuron-Abhängigkeiten, die automatisch erkannt und geladen werden, wenn sie auf Inferentia- oder Trainium EC2-Instances ausgeführt werden. AWS
Die EKS-optimized Bottlerocket-AMIs enthalten nicht den Neuron DRA-Treiber, das Neuron Kubernetes-Geräte-Plugin oder die Neuron Kubernetes-Scheduler-Erweiterung. Diese müssen separat installiert werden. [https://awsdocs-neuron.readthedocs-hosted.com/en/latest/containers/tutorials/k8s-neuron-scheduler.html](https://awsdocs-neuron.readthedocs-hosted.com/en/latest/containers/tutorials/k8s-neuron-scheduler.html) Weitere Informationen finden Sie unter [Neuron-Geräte auf Amazon EKS verwalten](device-management-neuron.md).
Zusätzlich zu den Standard-EKS-AMI-Komponenten enthalten die Bottlerocket Neuron AMIs die folgenden Komponenten. EKS-optimized
+ Neuronentreiber (aws-neuronx-dkms)
+ EFA minimal (Kernelmodul und RDMA-Core)
Wenn Sie die EKS-optimized Bottlerocket-AMIs mit Neuron-Instances verwenden, muss Folgendes in den Bottlerocket-Benutzerdaten konfiguriert werden. Diese Einstellung ermöglicht es dem Container, die Verantwortung für das gemountete Neuron-Gerät auf der Grundlage der in der Workload-Spezifikation angegebenen Werte und zu übernehmen. `runAsUser` `runAsGroup` Weitere Informationen zur Neuron-Unterstützung in Bottlerocket finden Sie in der [ Quickstart-Readme-Datei auf EKS unter. ](https://github.com/bottlerocket-os/bottlerocket/blob/develop/QUICKSTART-EKS.md#neuron-support) GitHub
```
[settings]
[settings.kubernetes]
device-ownership-from-security-context = true
```
Informationen zur [ Neuron-Treiberversion, die in den Bottlerocket-AMIs enthalten ist, finden Sie im Changelog des ](https://github.com/bottlerocket-os/bottlerocket-kernel-kit/blob/develop/CHANGELOG.md) Bottlerocket-Kernel-Kits. EKS-optimized