Images Docker Amazon SageMaker préconçues pour scikit-learn et Spark ML - Amazon SageMaker

Images Docker Amazon SageMaker préconçues pour scikit-learn et Spark ML

SageMaker fournit des images Docker préconçues qui installent les bibliothèques scikit-learn et Spark ML. Ces bibliothèques incluent également les dépendances nécessaires à la création d'images Docker compatibles avec SageMaker à l'aide du kit SDK Amazon SageMaker Python. Avec ce kit SDK, vous pouvez utiliser scikit-learn pour les tâches de machine learning et Spark ML pour créer et régler des pipelines de machine learning. Pour obtenir des instructions sur l'installation et l'utilisation du kit SDK, consultez Kit SDK SageMaker Python.

Utilisation du kit SDK SageMaker Python

Le tableau suivant contient des liens vers les référentiels GitHub avec le code source des conteneurs scikit-learn et Spark ML. Le tableau contient également des liens vers des instructions sur la façon d'utiliser ces conteneurs avec des estimateurs du kit SDK Python pour exécuter vos propres algorithmes d'entraînement et héberger vos propres modèles.

Spécification manuelle des images préconçues

Si vous n'utilisez pas le kit SDK SageMaker Python et l'un de ses estimateurs pour gérer le conteneur, vous devez récupérer le conteneur préconçu correspondant manuellement. Les images Docker préconçues de SageMaker sont stockées dans Amazon Elastic Container Registry (Amazon ECR). Elles peuvent être transmises ou extraites à l'aide des adresses de registre de leurs noms complets. SageMaker utilise les modèles d'URL d'image Docker suivants pour scikit-learn et Spark ML :

  • <ACCOUNT_ID>.dkr.ecr.<REGION_NAME>.amazonaws.com/sagemaker-scikit-learn:<SCIKIT-LEARN_VERSION>-cpu-py<PYTHON_VERSION>

    Par exemple, 746614075791.dkr.ecr.us-west-1.amazonaws.com/sagemaker-scikit-learn:0.23-1-cpu-py3

  • <ACCOUNT_ID>.dkr.ecr.<REGION_NAME>.amazonaws.com/sagemaker-sparkml-serving:<SPARK-ML_VERSION>

    Par exemple, 341280168497.dkr.ecr.ca-central-1.amazonaws.com/sagemaker-sparkml-serving:2.4

Le tableau suivant répertorie les valeurs prises en charge pour les ID de compte et les noms de régions AWS correspondants.

ID_COMPTE REGION_NAME
746614075791 us-west-1
246618743249 us-west-2
683313688378 us-east-1
257758044811 us-east-2
354813040037 ap-northeast-1
366743142698 ap-northeast-2
121021644041 ap-southeast-1
783357654285 ap-southeast-2
720646828776 ap-south-1
141502667606 eu-west-1
764974769150 eu-west-2
492215442770 eu-central-1
341280168497 ca-central-1
414596584902 us-gov-west-1

Recherche d'images disponibles

Utilisez les commandes suivantes pour connaître les versions d'images disponibles. Par exemple, utilisez les éléments suivants pour rechercher l'image sagemaker-sparkml-serving disponible dans la région ca-central-1 :

aws \ ecr describe-images \ --region ca-central-1 \ --registry-id 341280168497 \ --repository-name sagemaker-sparkml-serving