Container-Image-Kompatibilität

Fokusmodus

Container-Image-Kompatibilität - Amazon SageMaker KI

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Die folgende Tabelle zeigt eine Liste von SageMaker Trainingsbildern, die mit dem @remote -Decorator kompatibel sind.

Anmerkung

Um Jobs lokal mit AWS Deep Learning Containers (DLC) -Images auszuführen, verwenden Sie das Image URIs in der DLC-Dokumentation. Die DLC-Images unterstützen den Wert auto_capture für Abhängigkeiten nicht.

Jobs mit SageMaker AI Distribution in SageMaker Studio werden in einem Container als Nicht-Root-Benutzer mit dem Namen ausgeführt. sagemaker-user Dieser Benutzer benötigt volle Zugriffsrechte auf /opt/ml und/tmp. Erteilen Sie diese Berechtigung, indem sudo chmod -R 777 /opt/ml /tmp Sie der pre_execution_commands Liste etwas hinzufügen, wie im folgenden Codeausschnitt gezeigt:


@remote(pre_execution_commands=["sudo chmod -R 777 /opt/ml /tmp"])
def func():
    pass

Mit Ihren benutzerdefinierten Images können Sie auch Remote-Funktionen ausführen. Aus Gründen der Kompatibilität mit Remote-Funktionen sollten benutzerdefinierte Images mit der Python-Version 3.7.x-3.10.x erstellt werden. Im Folgenden finden Sie ein minimales Dockerfile-Beispiel, das Ihnen zeigt, wie Sie ein Docker-Image mit Python 3.10 verwenden können.


FROM python:3.10

#... Rest of the Dockerfile

Um conda Umgebungen in Ihrem Image zu erstellen und damit Jobs auszuführen, setzen Sie die Umgebungsvariable SAGEMAKER_JOB_CONDA_ENV auf den Umgebungsnamen conda. Wenn für Ihr Image der SAGEMAKER_JOB_CONDA_ENV Wert festgelegt wurde, kann die Remote-Funktion während der Laufzeit des Trainingsauftrags keine neue Conda-Umgebung erstellen. Schauen Sie sich das folgende Dockerfile-Beispiel an, das eine conda Umgebung mit Python Version 3.10 verwendet.


FROM continuumio/miniconda3:4.12.0  

ENV SHELL=/bin/bash \
    CONDA_DIR=/opt/conda \
    SAGEMAKER_JOB_CONDA_ENV=sagemaker-job-env

RUN conda create -n $SAGEMAKER_JOB_CONDA_ENV \
   && conda install -n $SAGEMAKER_JOB_CONDA_ENV python=3.10 -y \
   && conda clean --all -f -y \

Damit SageMaker KI Mamba zur Verwaltung Ihrer virtuellen Python-Umgebung im Container-Image verwenden kann, installieren Sie das Mamba-Toolkit von Miniforge. Um Mamba zu verwenden, fügen Sie zu Ihrer Dockerfile den folgenden Beispielcode hinzu. Dann erkennt SageMaker KI die mamba Verfügbarkeit zur Laufzeit und verwendet sie stattdessen. conda


#Mamba Installation
RUN curl -L -O "https://github.com/conda-forge/miniforge/releases/latest/download/Mambaforge-Linux-x86_64.sh" \
    && bash Mambaforge-Linux-x86_64.sh -b -p "/opt/conda"  \
    && /opt/conda/bin/conda init bash

Die Verwendung eines benutzerdefinierten Conda-Kanals in einem Amazon-S3-Bucket ist nicht mit Mamba kompatibel, wenn eine Remote-Funktion verwendet wird. Wenn Sie Mamba verwenden möchten, achten Sie darauf, dass Sie keinen benutzerdefinierten Conda-Kanal auf Amazon S3 verwenden. Weitere Informationen finden Sie im Abschnitt Voraussetzungen unter Benutzerdefiniertes Conda-Repository mit Amazon S3.

Im Folgenden finden Sie ein vollständiges Dockerfile-Beispiel, das zeigt, wie Sie ein kompatibles Docker-Image erstellen können.


FROM python:3.10

RUN apt-get update -y \
    # Needed for awscli to work
    # See: https://github.com/aws/aws-cli/issues/1957#issuecomment-687455928
    && apt-get install -y groff unzip curl \
    && pip install --upgrade \
        'boto3>1.0<2' \
        'awscli>1.0<2' \
        'ipykernel>6.0.0<7.0.0' \
#Use ipykernel with --sys-prefix flag, so that the absolute path to 
    #/usr/local/share/jupyter/kernels/python3/kernel.json python is used
    # in kernelspec.json file
    && python -m ipykernel install --sys-prefix

#Install Mamba
RUN curl -L -O "https://github.com/conda-forge/miniforge/releases/latest/download/Mambaforge-Linux-x86_64.sh" \
    && bash Mambaforge-Linux-x86_64.sh -b -p "/opt/conda"  \
    && /opt/conda/bin/conda init bash

#cleanup
RUN apt-get clean \
    && rm -rf /var/lib/apt/lists/* \
    && rm -rf ${HOME}/.cache/pip \
    && rm Mambaforge-Linux-x86_64.sh

ENV SHELL=/bin/bash \
    PATH=$PATH:/opt/conda/bin

Das aus der Ausführung des vorherigen Dockerfile-Beispiels resultierende Image kann auch als SageMaker Studio Classic-Kernel-Image verwendet werden.

Warnung JavaScript ist in Ihrem Browser nicht verfügbar oder deaktiviert.

Zur Nutzung der AWS-Dokumentation muss JavaScript aktiviert sein. Weitere Informationen finden auf den Hilfe-Seiten Ihres Browsers.

Dokumentkonventionen

Passen Sie Ihre Laufzeitumgebung an

Protokollierung von Parametern und Metriken mit Amazon SageMaker Experiments

Wählen Sie Ihre Cookie-Einstellungen aus

Cookie-Einstellungen anpassen

Essenziell

Leistung

Funktional

Werbung

Cookie-Einstellungen konnten nicht gespeichert werden

Container-Image-Kompatibilität

Anmerkung

Related resources

Hat Ihnen diese Seite geholfen?

Related resources

Nächstes Thema:

Vorheriges Thema:

Brauchen Sie Hilfe?

Name	Python-Version	Image URI – CPU	Image URI – GPU
Datenwissenschaft	3.7(py37)	Nur für SageMaker Studio Classic-Notebooks. Das Python-SDK wählt automatisch den Image-URI aus, wenn es als SageMaker Studio Classic Notebook-Kernel-Image verwendet wird.	Nur für SageMaker Studio Classic-Notebooks. Das Python-SDK wählt automatisch den Image-URI aus, wenn es als SageMaker Studio Classic Notebook-Kernel-Image verwendet wird.
Datenwissenschaft 2.0	3.8(py38)	Nur für SageMaker Studio Classic-Notebooks. Das Python-SDK wählt automatisch den Image-URI aus, wenn es als SageMaker Studio Classic Notebook-Kernel-Image verwendet wird.	Nur für SageMaker Studio Classic-Notebooks. Das Python-SDK wählt automatisch den Image-URI aus, wenn es als SageMaker Studio Classic Notebook-Kernel-Image verwendet wird.
Data Science 3.0	3.10(py310)	Nur für SageMaker Studio Classic-Notebooks. Das Python-SDK wählt automatisch den Image-URI aus, wenn es als SageMaker Studio Classic Notebook-Kernel-Image verwendet wird.	Nur für SageMaker Studio Classic-Notebooks. Das Python-SDK wählt automatisch den Image-URI aus, wenn es als SageMaker Studio Classic Notebook-Kernel-Image verwendet wird.
Base Python 2.0	3.8(py38)	Python SDK wählt dieses Image aus, wenn es feststellt, dass die Entwicklungsumgebung die Python 3.8-Laufzeit verwendet. Andernfalls wählt das Python-SDK dieses Image automatisch aus, wenn es als SageMaker Studio Classic Notebook-Kernel-Image verwendet wird.	Nur für SageMaker Studio Classic-Notebooks. Das Python-SDK wählt automatisch den Image-URI aus, wenn es als SageMaker Studio Classic Notebook-Kernel-Image verwendet wird.
Base Python 3.0	3.10(py310)	Python SDK wählt dieses Image aus, wenn es feststellt, dass die Entwicklungsumgebung die Python 3.8-Laufzeit verwendet. Andernfalls wählt das Python-SDK dieses Image automatisch aus, wenn es als SageMaker Studio Classic Notebook-Kernel-Image verwendet wird.	Nur für SageMaker Studio Classic-Notebooks. Das Python-SDK wählt automatisch den Image-URI aus, wenn es als Studio Classic Notebook-Kernel-Image verwendet wird.
DLC- TensorFlow 2.12.0 für Schulungen SageMaker	3.10(py310)	763104351884.dkr.ecr.<region>.amazonaws.com/tensorflow-training:2.12.0-cpu-py310-ubuntu20.04-sagemaker	763104351884.dkr.ecr.<region>.amazonaws.com/tensorflow-training:2.12.0-gpu-py310-cu118-ubuntu20.04-sagemaker
DLC-TensorFlow 2.11.0 für Schulungen SageMaker	3.9(py39)	763104351884.dkr.ecr.<region>.amazonaws.com/tensorflow-training:2.11.0-cpu-py39-ubuntu20.04-sagemaker	763104351884.dkr.ecr.<region>.amazonaws.com/tensorflow-training:2.11.0-gpu-py39-cu112-ubuntu20.04-sagemaker
DLC- 2.10.1 TensorFlow für das Training SageMaker	3.9(py39)	763104351884.dkr.ecr.<region>.amazonaws.com/tensorflow-training:2.10.1-cpu-py39-ubuntu20.04-sagemaker	763104351884.dkr.ecr.<region>.amazonaws.com/tensorflow-training:2.10.1-gpu-py39-cu112-ubuntu20.04-sagemaker
DLC- TensorFlow 2.9.2 für das Training SageMaker	3.9(py39)	763104351884.dkr.ecr.<region>.amazonaws.com/tensorflow-training:2.9.2-cpu-py39-ubuntu20.04-sagemaker	763104351884.dkr.ecr.<region>.amazonaws.com/tensorflow-training:2.9.2-gpu-py39-cu112-ubuntu20.04-sagemaker
DLC- TensorFlow 2.8.3 für das Training SageMaker	3.9(py39)	763104351884.dkr.ecr.<region>.amazonaws.com/tensorflow-training:2.8.3-cpu-py39-ubuntu20.04-sagemaker	763104351884.dkr.ecr.<region>.amazonaws.com/tensorflow-training:2.8.3-gpu-py39-cu112-ubuntu20.04-sagemaker
DLC- PyTorch 2.0.0 für das Training SageMaker	3.10(py310)	763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-training:2.0.0-cpu-py310-ubuntu20.04-sagemaker	763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-training:2.0.0-gpu-py310-cu118-ubuntu20.04-sagemaker
DLC- PyTorch 1.13.1 für das Training SageMaker	3.9(py39)	763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-training:1.13.1-cpu-py39-ubuntu20.04-sagemaker	763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-training:1.13.1-gpu-py39-cu117-ubuntu20.04-sagemaker
DLC- 1.12.1 für das Training PyTorch SageMaker	3.8(py38)	763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-training:1.12.1-cpu-py38-ubuntu20.04-sagemaker	763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-training:1.12.1-gpu-py38-cu113-ubuntu20.04-sagemaker
DLC- 1.11.0 für das Training PyTorch SageMaker	3.8(py38)	763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-training:1.11.0-cpu-py38-ubuntu20.04-sagemaker	763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-training:1.11.0-gpu-py38-cu113-ubuntu20.04-sagemaker
DLC- 1.9.0 für das Training MXNet SageMaker	3.8(py38)	763104351884.dkr.ecr.<region>.amazonaws.com/mxnet-training:1.9.0-cpu-py38-ubuntu20.04-sagemaker	763104351884.dkr.ecr.<region>.amazonaws.com/mxnet-training:1.9.0-gpu-py38-cu112-ubuntu20.04-sagemaker