Erste Schritte mit ML

Um in Machine Learning auf EKS einzusteigen, wählen Sie zunächst eines dieser präskriptiven Muster aus, um schnell einen EKS-Cluster sowie ML-Software und -Hardware für die Ausführung von ML-Workloads vorzubereiten. Die meisten dieser Muster basieren auf Terraform-Blueprints, die auf der Website Data on Amazon EKS verfügbar sind. Bevor Sie beginnen, sollten Sie einige Dinge beachten:

• GPUs oder Neuron-Instanzen sind erforderlich, um diese Prozeduren auszuführen. Mangelnde Verfügbarkeit dieser Ressourcen kann dazu führen, dass diese Verfahren bei der Clustererstellung oder bei der automatischen Skalierung von Knoten fehlschlagen.

• Neuron SDK (Tranium- und Inferentia-basierte Instances) kann Geld sparen und ist verfügbarer als NVIDIA. GPUs Wenn Ihre Workloads dies zulassen, empfehlen wir Ihnen, die Verwendung von Neuron für Ihre Machine Learning Learning-Workloads in Betracht zu ziehen (siehe Willkommen AWS bei Neuron).

• Für einige der ersten Erfahrungen hier ist es erforderlich, dass Sie Daten über Ihr eigenes Hugging Face Face-Konto abrufen.

Wählen Sie zunächst eines der folgenden Muster aus, die Ihnen den Einstieg in die Infrastruktur für die Ausführung Ihrer Machine Learning Learning-Workloads erleichtern sollen:

• JupyterHub auf EKS: Erkunden Sie den JupyterHub Blueprint, in dem Time Slicing- und MIG-Funktionen sowie mandantenfähige Konfigurationen mit Profilen vorgestellt werden. Dies ist ideal für die Bereitstellung großer JupyterHub Plattformen auf EKS.

• Große Sprachmodelle auf AWS Neuron und RayServe: Verwenden Sie AWS Neuron, um große Sprachmodelle (LLMs) auf Amazon EKS und AWS Trainium- und Inferentia-Beschleunigern auszuführen. AWS Anweisungen zum Einrichten einer Plattform für Inferenzanfragen LLMs mit folgenden Komponenten finden Sie unter Serving with RayServe und vLLM AWS on Neuron

  • AWS Neuron SDK-Toolkit für Deep Learning

  • AWS Inferentia- und Trainium-Beschleuniger

  • vLLM — Sprachmodell mit variabler Länge (siehe die vLLM-Dokumentationsseite)

  • RayServe Bibliothek zur Bereitstellung skalierbarer Modelle (siehe Website Ray Serve: Scalable and Programmable Serving)

  • Llama-3-Sprachmodell mit Ihrem eigenen Hugging Face Face-Konto.

  • Beobachtbarkeit mit einem Neuron Monitor AWS CloudWatch

  • WebUI öffnen

• Große Sprachmodelle auf NVIDIA und Triton: Stellen Sie mehrere große Sprachmodelle (LLMs) auf Amazon EKS und NVIDIA GPUs bereit. Anweisungen zum Einrichten einer Plattform für Inferenzanfragen mit folgenden Komponenten finden Sie unter Bereitstellen mehrerer großer Sprachmodelle mit NVIDIA Triton Server und vLLM

  • NVIDIA Triton Inference Server (siehe die Triton Inference Server-Website) GitHub

  • vLLM — Sprachmodell mit variabler Länge (siehe die vLLM-Dokumentationsseite)

  • Zwei Sprachmodelle: mistralai/Mistral-7B-Instruct-v0.2 and meta-llama/Llama -2-7b-chat-hf, mit deinem eigenen Hugging Face Face-Konto.

Weiter mit ML auf EKS

Neben der Auswahl aus den auf dieser Seite beschriebenen Blueprints gibt es auch andere Möglichkeiten, wie Sie die Dokumentation zu ML on EKS durchgehen können, wenn Sie dies bevorzugen. Beispielsweise ist Folgendes möglich:

• Probieren Sie Tutorials für ML auf EKS aus — Führen Sie andere end-to-end Tutorials zum Erstellen und Ausführen Ihrer eigenen Machine-Learning-Modelle auf EKS durch. Siehe Probieren Sie Tutorials zum Bereitstellen von Machine Learning Learning-Workloads auf EKS aus.

Informationen zur Verbesserung Ihrer Arbeit mit ML auf EKS finden Sie in den folgenden Abschnitten:

• Bereiten Sie sich auf ML vor — Erfahren Sie, wie Sie sich mit Funktionen wie benutzerdefinierten Reservierungen AMIs und GPU-Reservierungen auf ML auf EKS vorbereiten können. Siehe Bereiten Sie sich auf ML-Cluster vor.