Trainieren eines Modells mit Amazon SageMaker

Das folgende Diagramm veranschaulicht, wie Sie ein Modell schulen und bereitstellenmit Amazon SageMaker:

Der Bereich mit der Bezeichnung SageMaker unterstreicht die beiden Komponenten von SageMaker: Modellschulung und Modellbereitstellung.

Um ein Modell in SageMaker zu schulen, erstellen Sie einen Schulungsauftrag. Der Schulungsauftrag enthält die folgenden Informationen:

• Die URL des Amazon Simple Storage Service (Amazon S3) -Buckets, in dem die Schulungsdaten gespeichert sind.

• Die Datenverarbeitungsressourcen, die Sie wünschen SageMaker für Modelltraining zu verwenden. Beim Datenverarbeitungsressourcen handelt es sich um von SageMaker verwaltete ML-Compute-Instances.

• Die URL des S3-Buckets, in dem die Ausgabe des Schulungsauftrags gespeichert werden soll.

• Der Amazon Elastic Container-Registry-Pfad, unter dem der Schulungscode gespeichert ist. Weitere Informationen finden Sie unter Docker-Registrierungspfade und Beispielcode.

Bei einem Schulungsalgorithmus können Sie aus folgenden Optionen auswählen:

• Verwenden Sie einen von SageMaker bereitgestellten Algorithmus—SageMaker bietet Dutzende von integrierten Trainingsalgorithmen und Hunderte von vortrainierten Modellen. Wenn einer davon Ihren Anforderungen entspricht, ist es eine großartige out-of-the-box Lösung für schnelles Modelltraining. Eine Liste der Algorithmen von SageMaker finden Sie unterVerwenden von Amazon SageMaker Integrierte Algorithmen oder vorab trainierte Modelleaus. Eine Übung, in der Sie einen Algorithmus von SageMaker ausprobieren können, finden Sie unterErste Schritte mit Amazon SageMakeraus. Sie können auchSageMaker JumpStartum Algorithmen und Modelle über die Studio-Benutzeroberfläche zu verwenden.

• Verwenden von SageMaker Debugger— um Trainingsparameter und -daten während des gesamten Trainingsprozesses zu überprüfen, wenn Sie mit den Lernframeworks TensorFlow, PyTorch und Apache MXNet oder dem XgBoost-Algorithmus arbeiten. Debugger erkennt häufig auftretende Fehler, z. B. zu groß oder zu klein werdende Parameterwerte, automatisch und weist Benutzer darauf hin. Weitere Hinweise zur Verwendung von Debugger finden Sie unter Amazon SageMaker Debugger. Debugger-Beispiel-Notebooks sind unterAmazon SageMaker Debugger-Beispieleaus.

• Verwenden von Apache Spark mit SageMaker—SageMaker bietet eine Bibliothek, die Sie verwenden können, um Modelle mit SageMaker zu schulen. Verwenden der Bibliothek von SageMaker entspricht der Verwendung von Apache Spark MLLib. Weitere Informationen finden Sie unter Verwenden von Apache Spark mit Amazon SageMaker.

• Senden Sie benutzerdefinierten Code zum Trainieren mit Deep Learning-Frameworks— Sie können benutzerdefinierten Python-Code einreichen, der TensorFlow, PyTorch oder Apache MXNet für das Modelltraining verwendet. Weitere Informationen finden Sie unter Verwenden von TensorFlow mit Amazon SageMaker, Verwenden von PyTorch mit Amazon SageMaker und Verwenden von Apache MXNet mit Amazon SageMaker.

• Verwenden Sie Ihre eigenen benutzerdefinierten Algorithmen— Stellen Sie Ihren Code als Docker-Image zusammen und geben Sie den Registrierungspfad des Images in einem SageMaker CreateTrainingJobAPI-Aufruf. Weitere Informationen finden Sie unter Verwenden von Docker-Containern mit SageMaker.

• Verwenden eines Algorithmus, von dem aus Sie abonniert habenAWS Marketplace—Weitere Informationen finden Sie unterFinden und Beziehen von Algorithmen und Modellpaketen in AWS Marketplaceaus.

Nachdem Sie den Trainingsjob erstellt haben, SageMaker Startet die ML-Compute-Instances und verwendet den Schulungscode sowie das Schulungsdataset, um das Modell zu schulen. Die resultierenden Modellartefakte und andere Ausgaben werden in dem S3-Bucket gespeichert, den Sie dafür angegeben haben.

Sie können einen Schulungsauftrag mit der SageMaker -Konsole oder die API. Informationen zum Erstellen eines Schulungsauftrags mit der API finden Sie in der CreateTrainingJob-API.

Wenn Sie einen Schulungsauftrag mit der API erstellen, SageMaker repliziert das gesamte Dataset standardmäßig auf ML-Compute-Instances. Um zu machen SageMaker Eine Teilmenge der Daten auf jede ML-Compute-Instance repliziert, müssen Sie dieS3DataDistributionTypefield zuShardedByS3Keyaus. Sie können dieses Feld mithilfe des Low-Level-SDKs festlegen. Weitere Informationen finden Sie unter S3DataDistributionType in S3DataSource.

Wichtig

Um zu verhindern, dass Ihr Algorithmus-Container um Arbeitsspeicher konkurriert, reservieren wir Speicher für unsere SageMaker Kritische Prozesse auf Ihren ML-Compute-Instances und daher können Sie nicht erwarten, dass der gesamte Arbeitsspeicher für Ihren Instance-Typ angezeigt wird.