Blogs, Beispiel-Notebooks und zusätzliche Ressourcen

Die folgenden Abschnitte enthalten Beispiele und zusätzliche Ressourcen, mit denen Sie mehr über Amazon erfahren können SageMaker.

Blogs und Fallstudien

In der folgenden Tabelle finden Sie Listen von Blogs und Fallstudien für verschiedene Funktionen in SageMaker Inference. Sie können die Blogs verwenden, um Lösungen zusammenzustellen, die für Ihren Anwendungsfall am besten geeignet sind.

Funktion	Ressourcen
Echtzeit-Inference	Erste Schritte mit der Bereitstellung von Echtzeitmodellen auf Amazon SageMaker Stellen Sie BLOOM-176B und OPT-30B auf Amazon SageMaker mit Deep Learning Containern für große Modellinferenzen und bereit DeepSpeed Erstellen einer auf Machine Learning basierenden REST-API mit Amazon API Gateway-Zuweisungsvorlagen und Amazon SageMaker
Auto Scaling	Konfigurieren von Auto-Scaling-Inferenzendpunkten in Amazon SageMaker
Serverlose Inferenz	Amazon SageMaker Serverless Inference – Machine Learning Inference, ohne sich um Server kümmern zu müssen Hosten von Hugging Face-Transformatormodellen mit Amazon SageMaker Serverless Inference Einführung in das Amazon SageMaker Serverless Inference Benchmarking Toolkit
Asynchrone Inferenz	Ausführen von Computer-Vision-Inferenzen auf großen Videos mit SageMaker asynchronen Amazon-Endpunkten Erstellen Sie eine prädiktive Wartungslösung mit Amazon Kinesis AWS Glue, und Amazon SageMaker Verbessern Sie die hochwertige Forschung mit Hugging Face und Amazon SageMaker Asynchronous Inference-Endpunkten
Batch-Transformation	Zuordnen von Prognoseergebnissen zu Eingabedaten mithilfe von Amazon SageMaker Batch Transform
Endpunkte mit mehreren Modellen	Einsparen von Inferenzkosten mithilfe von Amazon SageMaker -Multimodell-Endpunkten Ausführen mehrerer Deep-Learning-Modelle auf GPU mit Amazon SageMaker -Multimodell-Endpunkten So skalieren Sie die Inferenz für Machine Learning für SaaS-Anwendungsfälle mit mehreren Mandanten Ausführen und Optimieren der Multimodell-Inferenz mit Amazon- SageMaker Multimodell-Endpunkten
Serielle Pipelines Inferenz	Entwurfsmuster für serielle Inferenz auf Amazon SageMaker
Endpunkte mit mehreren Containern	Kosteneffiziente ML-Inferenz mit Multi-Framework-Modellen auf Amazon SageMaker
Modellensembles ausführen	Ensemble-ML-Modelle auf Amazon ausführen SageMaker
Inference Empfehlungsgeber	SageMaker Beispiel-Notebook für Inference Recommender SageMaker Beispiel-Notebook für Inference Recommender für HuggingFace BERT Sentiment Analysis Erreichen einer Hyperskalierungsleistung für die Modellbereitstellung mit NVIDIA Triton Inference Server auf Amazon SageMaker
Blogserie zum Hosten fortgeschrittener Modelle	Teil 1: Gemeinsame Entwurfsmuster für die Erstellung von ML-Anwendungen auf Amazon SageMaker Teil 2: Erste Schritte mit der Bereitstellung von Echtzeitmodellen auf SageMaker Teil 3: Ausführen und Optimieren der Multimodell-Inferenz mit Amazon- SageMaker Multimodell-Endpunkten Teil 4: Entwurfsmuster für serielle Inferenz auf Amazon SageMaker Teil 5: Kosteneffiziente ML-Inferenz mit Multi-Framework-Modellen auf Amazon SageMaker Teil 6: Bewährte Methoden beim Testen und Aktualisieren von Modellen auf SageMaker Teil 7: Ensemble-ML-Modelle auf Amazon ausführen SageMaker

Beispiel-Notebooks

In der folgenden Tabelle finden Sie Beispielnotizbücher, die Ihnen helfen können, mehr über SageMaker Inferenz zu erfahren.

Funktion	Beispiel-Notebooks
Inference Empfehlungsgeber	SageMaker Beispiel-Notebook für Inference Recommender SageMaker Beispiel-Notebook für Inference Recommender für HuggingFace BERT Sentiment Analysis
Optimieren von großen Sprachmodellen (LLMs) für SageMaker	LLM-Workshop zu generativer KI

Weitere Ressourcen

Weitere Informationen zu den einzelnen SageMaker Inferenzoptionen finden Sie im folgenden Video.