Führen Sie einen Trainingsjob mit einem Entrypoint-Skript aus, das im Docker-Container gebündelt ist Führen Sie einen Trainingsjob mit einem Einstiegspunktskript außerhalb des Docker-Containers aus

So SageMaker führt Amazon Ihr Trainings-Image aus

Sie können ein benutzerdefiniertes Einstiegspunkt-Skript verwenden, um die Infrastruktur für das Training in einer Produktionsumgebung zu automatisieren. Wenn Sie Ihr Einstiegspunktskript an Ihren Docker-Container übergeben, können Sie es auch als eigenständiges Skript ausführen, ohne Ihre Images neu zu erstellen. SageMaker verarbeitet Ihr Trainingsbild mit einem Docker-Container-Einstiegspunktskript.

In diesem Abschnitt erfahren Sie, wie Sie einen benutzerdefinierten Einstiegspunkt verwenden, ohne das Trainingstoolkit zu verwenden. Wenn Sie einen benutzerdefinierten Einstiegspunkt verwenden möchten, aber mit der manuellen Konfiguration eines Docker-Containers nicht vertraut sind, empfehlen wir Ihnen, stattdessen die SageMaker Trainings-Toolkit-Bibliothek zu verwenden. Weitere Informationen zur Verwendung des Trainingstoolkits finden Sie unter Passen Sie Ihren eigenen Trainingscontainer an.

Standardmäßig SageMaker sucht nach einem Skript namens train in Ihrem Container. Sie können Ihren eigenen benutzerdefinierten Einstiegspunkt auch manuell angeben, indem Sie die ContainerEntrypoint Parameter ContainerArguments und der AlgorithmSpecification API verwenden.

Sie haben die folgenden zwei Optionen, um Ihren Docker-Container manuell für die Ausführung Ihres Images zu konfigurieren.

Verwenden Sie die CreateTrainingJob API und einen Docker-Container mit einer darin enthaltenen Einstiegspunkt-Anweisung.
Verwenden Sie die CreateTrainingJob API und übergeben Sie Ihr Trainingsskript von außerhalb Ihres Docker-Containers.

Wenn Sie Ihr Trainingsskript von außerhalb Ihres Docker-Containers übergeben, müssen Sie den Docker-Container nicht neu erstellen, wenn Sie Ihr Skript aktualisieren. Sie können auch mehrere verschiedene Skripte verwenden, um sie im selben Container auszuführen.

Ihr Einstiegsskript sollte Trainingscode für Ihr Image enthalten. Wenn Sie den optionalen source_dir Parameter in einem Schätzer verwenden, sollte er auf den relativen Amazon S3 S3-Pfad zu dem Ordner verweisen, der Ihr Einstiegsskript enthält. Mit dem Parameter source_dir können Sie auf mehrere Dateien verweisen. Wenn Sie source_dir nicht verwenden, können Sie den Einstiegspunkt mithilfe des entry_point Parameters angeben. Ein Beispiel für ein benutzerdefiniertes Einstiegspunktskript, das einen Schätzer enthält, finden Sie unter Bring Your Own Model with SageMaker Script Mode.

Führen Sie einen Trainingsjob mit einem Entrypoint-Skript aus, das im Docker-Container gebündelt ist

SageMaker kann ein Einstiegspunktskript ausführen, das in Ihrem Docker-Container gebündelt ist.

Standardmäßig SageMaker führt Amazon den folgenden Container aus.
```
docker run image train
```
SageMaker überschreibt alle Standard-CMD-Anweisungen in einem Container, indem das train Argument nach dem Image-Namen angegeben wird. Verwenden Sie in Ihrem Docker-Container die folgende exec Form der ENTRYPOINT Anweisung.
```
ENTRYPOINT ["executable", "param1", "param2", ...]
```
Das folgende Beispiel zeigt, wie Sie eine k-means-algorithm.py genannte Python-Einstiegspunktanweisung angeben.
```
ENTRYPOINT ["python", "k-means-algorithm.py"]
```
Das exec-Formular der ENTRYPOINT-Anweisung startet die ausführbare Datei direkt, nicht als untergeordnetes Element von /bin/sh. Auf diese Weise kann es Signale wie SIGTERM und SIGKILL von SageMaker APIs empfangen. Bei Verwendung der SageMaker APIs gelten die folgenden Bedingungen.
- Die CreateTrainingJob API verfügt über eine Stoppbedingung, die SageMaker anweist, das Modelltraining nach einer bestimmten Zeit zu beenden.
- Im Folgenden wird die StopTrainingJob API dargestellt. Diese API gibt das Äquivalent des docker stop mit einer 2-minütigen Zeitüberschreitung aus, um den angegebenen Container ordnungsgemäß zu beenden.
```
docker stop -t 120
```
  Der Befehl versucht, den ausgeführten Container durch das Senden eines SIGTERM-Signals zu beenden. Nach der 2-minütigen Zeitüberschreitung sendet die API SIGKILL und hält die Container zwangsweise an. Wenn der Container SIGTERM ordnungsgemäß verarbeitet und sich innerhalb von 120 Sekunden nach Erhalt der Meldung beendet, wird kein SIGKILL gesendet.
Wenn Sie Zugriff auf die Zwischenmodellartefakte haben möchten, nachdem das Training SageMaker beendet hat, fügen Sie Code hinzu, um das Speichern von Artefakten in Ihrem SIGTERM Handler zu verwalten.
Wenn Sie vorhaben, GPU-Geräte für das Modelltraining zu verwenden, stellen Sie sicher, dass Ihre Container nvidia-docker-kompatibel sind. Binden Sie nur das CUDA-Toolkit in Container ein; bündeln Sie keine NVIDIA-Treiber mit dem Image. Mehr Informationen über nvidia-docker finden Sie unter NVIDIA/nvidia-docker.
Sie können den tini Initialisierer nicht als Einstiegspunktskript in SageMaker Containern verwenden, da serve er durch die Argumente train und verwirrt wird.
/opt/ml und alle Unterverzeichnisse sind für das SageMaker Training reserviert. Achten Sie beim Erstellen des Docker-Images Ihres Algorithmus darauf, dass Sie keine Daten, die für Ihren Algorithmus erforderlich sind, in diesem Verzeichnis ablegen. Denn wenn Sie dies tun, sind die Daten während des Trainings möglicherweise nicht mehr sichtbar.

Um Ihre Shell- oder Python-Skripte in Ihrem Docker-Image zu bündeln oder das Skript in einem Amazon S3 S3-Bucket oder mithilfe der AWS Command Line Interface (CLI) bereitzustellen, fahren Sie mit dem folgenden Abschnitt fort.

Bündeln Sie Ihr Shell-Skript in einem Docker-Container

Wenn Sie ein benutzerdefiniertes Shell-Skript in Ihrem Docker-Image bündeln möchten, gehen Sie wie folgt vor.

Kopieren Sie Ihr Shell-Skript aus Ihrem Arbeitsverzeichnis in Ihren Docker-Container. Der folgende Codeausschnitt kopiert ein benutzerdefiniertes Einstiegspunktskript custom_entrypoint.sh aus dem aktuellen Arbeitsverzeichnis in einen Docker-Container, der sich in mydir befindet. Im folgenden Beispiel wird davon ausgegangen, dass auf dem Docker-Basisabbild Python installiert ist.
```
FROM <base-docker-image>:<tag>

# Copy custom entrypoint from current dir to /mydir on container
COPY ./custom_entrypoint.sh /mydir/ 
```
Erstellen Sie einen Docker-Container und übertragen Sie ihn in die Amazon Elastic Container Registry (Amazon ECR), indem Sie den Anweisungen unter Pushing a Docker Image im Amazon ECR-Benutzerhandbuch folgen.

Starten Sie den Trainingsjob, indem Sie den folgenden Befehl AWS CLI ausführen.


aws --region <your-region> sagemaker create-training-job \
--training-job-name <your-training-job-name> \
--role-arn <your-execution-role-arn> \
--algorithm-specification '{ \ 
    "TrainingInputMode": "File", \
    "TrainingImage": "<your-ecr-image>", \
    "ContainerEntrypoint": ["/bin/sh"], \
    "ContainerArguments": ["/mydir/custom_entrypoint.sh"]}' \
--output-data-config '{"S3OutputPath": "s3://custom-entrypoint-output-bucket/"}' \
--resource-config '{"VolumeSizeInGB":10,"InstanceCount":1,"InstanceType":"ml.m5.2xlarge"}' \
--stopping-condition '{"MaxRuntimeInSeconds": 180}'

Bündeln Sie Ihr Python-Skript in einem Docker-Container

Gehen Sie wie folgt vor, um ein benutzerdefiniertes Python-Skript in Ihrem Docker-Image zu bündeln.

Kopieren Sie Ihr Python-Skript aus Ihrem Arbeitsverzeichnis in Ihren Docker-Container. Der folgende Codeausschnitt kopiert ein benutzerdefiniertes Einstiegspunktskript custom_entrypoint.py aus dem aktuellen Arbeitsverzeichnis in einen Docker-Container, der sich in mydir befindet.
```
FROM <base-docker-image>:<tag>
# Copy custom entrypoint from current dir to /mydir on container
COPY ./custom_entrypoint.py /mydir/
```

Starten Sie den Trainingsjob, indem Sie den folgenden Befehl AWS CLI ausführen.


--algorithm-specification '{ \ 
    "TrainingInputMode": "File", \
    "TrainingImage": "<your-ecr-image>", \
    "ContainerEntrypoint": ["python"], \
    "ContainerArguments": ["/mydir/custom_entrypoint.py"]}' \

Führen Sie einen Trainingsjob mit einem Einstiegspunktskript außerhalb des Docker-Containers aus

Sie können Ihren eigenen Docker-Container für das Training verwenden und ein Entrypoint-Skript von außerhalb des Docker-Containers übergeben. Die Strukturierung Ihres Entrypoint-Skripts außerhalb des Containers bietet einige Vorteile. Wenn Sie Ihr Einstiegs-Skript aktualisieren, müssen Sie den Docker-Container nicht neu erstellen. Sie können auch mehrere verschiedene Skripte verwenden, um sie im selben Container auszuführen.

Geben Sie den Speicherort Ihres Trainingsskripts mithilfe der ContainerArguments Parameter ContainerEntrypoint und der AlgorithmSpecification API an. Diese Einstiegspunkte und Argumente verhalten sich genauso wie Docker-Einstiegspunkte und Argumente. Die Werte in diesen Parametern überschreiben die entsprechenden Werte ENTRYPOINT oder CMD die als Teil des Docker-Containers bereitgestellten Werte.

Wenn Sie Ihr benutzerdefiniertes Einstiegspunkt-Skript an Ihren Docker-Trainingscontainer übergeben, bestimmen die von Ihnen angegebenen Eingaben das Verhalten des Containers.

Wenn Sie beispielsweise nur angebenContainerEntrypoint, sieht die Anforderungssyntax mithilfe der CreateTrainingJob API wie folgt aus.
```
{
    "AlgorithmSpecification": {
        "ContainerEntrypoint": ["string"],   
        ...     
        }       
}
```
Anschließend führt das SageMaker Trainings-Backend Ihren benutzerdefinierten Einstiegspunkt wie folgt aus.
```
docker run --entrypoint <ContainerEntrypoint> image
```
Anmerkung
Wenn angegeben ContainerEntrypoint ist, führt das SageMaker Trainings-Backend das Bild mit dem angegebenen Einstiegspunkt aus und überschreibt die Standardeinstellung ENTRYPOINT im Bild.
Wenn Sie nur angebenContainerArguments, SageMaker geht davon aus, dass der Docker-Container ein Einstiegspunktskript enthält. Die Anfragesyntax, die die CreateTrainingJob API verwendet, lautet wie folgt.
```
{
    "AlgorithmSpecification": {
        "ContainerArguments": ["arg1", "arg2"],
        ...
    }
}
```
Das SageMaker Trainings-Backend führt Ihren benutzerdefinierten Einstiegspunkt wie folgt aus.
```
docker run image <ContainerArguments>
```

Wenn Sie sowohl ContainerEntrypoint als auch ContainerArgumentsangeben, lautet die Anfragesyntax mithilfe der CreateTrainingJob API wie folgt.


{
    "AlgorithmSpecification": {
        "ContainerEntrypoint": ["string"],
        "ContainerArguments": ["arg1", "arg2"],
        ...
    }
}

Das SageMaker Trainings-Backend führt Ihren benutzerdefinierten Einstiegspunkt wie folgt aus.


docker run --entrypoint <ContainerEntrypoint> image <ContainerArguments>

Sie können jede unterstützte InputDataConfig Quelle in der CreateTrainingJob API verwenden, um ein Einstiegsskript zur Ausführung Ihres Trainings-Images bereitzustellen.

Stellen Sie Ihr Einstiegs-Skript in einem Amazon-S3-Bucket bereit

Um ein benutzerdefiniertes Einstiegspunktskript mithilfe eines S3-Buckets bereitzustellen, verwenden Sie den DataSource-S3DataSourceParameter der API, um den Speicherort des Skripts anzugeben. Wenn Sie den S3DataSource Parameter verwenden, ist Folgendes erforderlich.

Der InputMode muss vom Typ seinFile.
Der S3DataDistributionType muss seinFullyReplicated.

Im folgenden Beispiel befindet sich ein Skript namens custom_entrypoint.sh in einem Pfad zu einem s3://<bucket-name>/<bucket prefix>/custom_entrypoint.sh S3-Bucket.


#!/bin/bash
echo "Running custom_entrypoint.sh"
echo "Hello you have provided the following arguments: " "$@"

Als Nächstes müssen Sie die Konfiguration des Eingabedatenkanals für die Ausführung eines Trainingsjobs festlegen. Tun Sie dies entweder mit AWS CLI direkt oder mit einer JSON-Datei.

Konfigurieren Sie den Eingabedatenkanal mit AWS CLI mithilfe einer JSON-Datei

Um Ihren Eingabedatenkanal mit einer JSON-Datei zu konfigurieren, verwenden Sie AWS CLI ihn wie in der folgenden Codestruktur gezeigt. Stellen Sie sicher, dass alle der folgenden Felder die in der CreateTrainingJob API definierte Anforderungssyntax verwenden.


// run-my-training-job.json
{
 "AlgorithmSpecification": { 
        "ContainerEntrypoint": ["/bin/sh"],
        "ContainerArguments": ["/opt/ml/input/data/<your_channel_name>/custom_entrypoint.sh"],
         ...
   },
  "InputDataConfig": [ 
    { 
        "ChannelName": "<your_channel_name>",
        "DataSource": { 
            "S3DataSource": { 
                "S3DataDistributionType": "FullyReplicated",
                "S3DataType": "S3Prefix",
                "S3Uri": "s3://<bucket-name>/<bucket_prefix>"
            }
        },
        "InputMode": "File",
    },
    ...]
}

Führen Sie als Nächstes den AWS CLI Befehl aus, um den Trainingsjob aus der JSON-Datei wie folgt zu starten.


aws sagemaker create-training-job --cli-input-json file://run-my-training-job.json

Konfigurieren Sie den Eingabedatenkanal direkt mit AWS CLI

Verwenden Sie die folgende AWS CLI Codestruktur, um Ihren Eingabedatenkanal ohne JSON-Datei zu konfigurieren.


aws --region <your-region> sagemaker create-training-job \
--training-job-name <your-training-job-name> \
--role-arn <your-execution-role-arn> \
--algorithm-specification '{ \
    "TrainingInputMode": "File", \
    "TrainingImage": "<your-ecr-image>", \
    "ContainerEntrypoint": ["/bin/sh"], \
    "ContainerArguments": ["/opt/ml/input/data/<your_channel_name>/custom_entrypoint.sh"]}' \
--input-data-config '[{ \
    "ChannelName":"<your_channel_name>", \
    "DataSource":{ \
        "S3DataSource":{ \
            "S3DataType":"S3Prefix", \
            "S3Uri":"s3://<bucket-name>/<bucket_prefix>", \
            "S3DataDistributionType":"FullyReplicated"}}}]' \
--output-data-config '{"S3OutputPath": "s3://custom-entrypoint-output-bucket/"}' \
--resource-config '{"VolumeSizeInGB":10,"InstanceCount":1,"InstanceType":"ml.m5.2xlarge"}' \
--stopping-condition '{"MaxRuntimeInSeconds": 180}'

Warnung JavaScript ist in Ihrem Browser nicht verfügbar oder deaktiviert.

Zur Nutzung der AWS-Dokumentation muss JavaScript aktiviert sein. Weitere Informationen finden auf den Hilfe-Seiten Ihres Browsers.

Dokumentkonventionen

Verwenden Ihrer eigenen Trainingsalgorithmen

Bereitstellen von Trainingsinformationen