Schulen eines Modells mit Amazon SageMaker

Das folgende Diagramm veranschaulicht, wie Sie ein Modell schulen und bereitstellenmit Amazon SageMaker:

Im Bereich mit der Bezeichnung SageMaker werden die beiden Komponenten von SageMaker-Modellschulung angegeben: Modellschulung und Modellbereitstellung.

Um ein Modell in SageMaker zu schulen, erstellen Sie einen Schulungsauftrag. Der Schulungsauftrag enthält die folgenden Informationen:

• Die URL des Amazon Simple Storage Service (Amazon S3) -Buckets, in dem die Schulungsdaten gespeichert sind.

• Die Datenverarbeitungsressourcen, die SageMaker für die Modellschulung verwenden soll. Bei den Datenverarbeitungsressourcen handelt es sich um von SageMaker verwaltete ML-Compute-Instances.

• Die URL des S3-Buckets, in dem die Ausgabe des Schulungsauftrags gespeichert werden soll.

• Der Amazon Elastic Container-Registry-Pfad, unter dem der Schulungscode gespeichert ist. Weitere Informationen finden Sie unter Docker-Registrierungspfade und Beispielcode.

Bei einem Schulungsalgorithmus können Sie aus folgenden Optionen auswählen:

• Verwenden Sie einen von SageMaker bereitgestellten Algorithmus—SageMaker bietet Trainingsalgorithmen. Wenn einer davon Ihren Anforderungen entspricht, ist das eine gute und sofort einsetzbare Lösung für eine schnelle Modellschulung. Eine Liste der Algorithmen von SageMaker finden Sie unterVerwenden von integrierten Amazon SageMaker Algorithmen. Eine Übung, in der Sie einen Algorithmus von SageMaker ausprobieren können, finden Sie unterErste Schritte mit Amazon SageMaker.

• Verwenden des SageMaker Debuggers, um Trainingsparameter und Daten während des gesamten Schulungsprozesses zu überprüfen, wenn Sie mit den Lernframeworks TensorFlow, PyTorch und Apache MxNet oder dem XGBoost-Algorithmus arbeiten. Debugger erkennt häufig auftretende Fehler, z. B. zu groß oder zu klein werdende Parameterwerte, automatisch und weist Benutzer darauf hin. Weitere Hinweise zur Verwendung von Debugger finden Sie unter Amazon SageMaker Debugger. Debugger-Beispiel-Notebooks sind unter Amazon SageMaker Debugger Samples erhältlich.

• Verwenden von Apache Spark mit SageMaker—SageMaker verfügt über eine Bibliothek, die Sie nutzen können, um in Apache Spark Modelle mit SageMaker zu schulen. Die Nutzung der Bibliothek von SageMaker entspricht der Verwendung von Apache Spark MLLib. Weitere Informationen finden Sie unter Verwenden von Apache Spark mit Amazon SageMaker.

• Übermitteln Sie benutzerdefinierten Code, um mit Deep-Learning-Frameworks zu trainieren— Sie können benutzerdefinierten Python-Code mit TensorFlow, PyTorch oder Apache MXNet für die Modellschulung verwenden. Weitere Informationen finden Sie unter Verwenden von TensorFlow mit Amazon SageMaker, Verwenden von PyTorch mit Amazon SageMaker und Verwenden von Apache MXNet mit Amazon SageMaker.

• Verwenden eigener, benutzerdefinierter Algorithmen— Stellen Sie Ihren Code in einem Docker-Image zusammen und geben Sie den Image-Registrierungspfad in einem SageMaker Image an.CreateTrainingJob-API-Aufruf. Weitere Informationen finden Sie unter Verwenden von Docker-Containern mit SageMaker .

• Verwenden eines Algorithmus, den Sie von abonniert habenAWS MarketplaceWeitere Informationen finden Sie unterFinden und Beziehen von Algorithmen und Modellpaketen in AWS Marketplace.

Nach dem Erstellen des Schulungsauftrags startet SageMaker die ML-Compute-Instances und verwendet den Schulungscode sowie das Schulungsdataset, um das Modell zu schulen. Die resultierenden Modellartefakte und andere Ausgaben werden in dem S3-Bucket gespeichert, den Sie dafür angegeben haben.

Sie können einen Schulungsauftrag mit der SageMaker Konsole oder der API erstellen. Informationen zum Erstellen eines Schulungsauftrags mit der API finden Sie in der CreateTrainingJob-API.

Beim Erstellen eines Schulungsauftrags mit der API repliziert SageMaker standardmäßig das gesamte Dataset auf ML-Compute-Instances. Damit SageMaker eine Teilmenge der Daten auf jede ML-Compute-Instance repliziert, müssen Sie dieS3DataDistributionType-Feld aufShardedByS3Key. Sie können dieses Feld mithilfe des Low-Level-SDKs festlegen. Weitere Informationen finden Sie unter S3DataDistributionType im Abschnitt S3DataSource.

Wichtig

Um zu verhindern, dass Ihr Algorithmus-Container um Arbeitsspeicher konkurriert, reservieren wir Speicher für unsere kritischen SageMaker Prozesse auf Ihren ML-Compute-Instances und Sie können daher nicht erwarten, dass Sie den gesamten Speicher Ihres Instance-Typs sehen können.