Transformation de modèle à l'aide de la commande modeltransform - Amazon Neptune
Créer une tâche de transformation de modèleObtenir le statut d'une tâcheArrêter une tâcheListe des tâches

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Transformation de modèle à l'aide de la commande modeltransform

Vous utilisez la commande Neptune ML modeltransform pour créer une tâche de transformation de modèle, vérifier son statut, l'arrêter ou répertorier toutes les tâches de transformation de modèle actives.

Création d'une tâche de transformation de modèle à l'aide de la commande Neptune ML modeltransform

Une commande Neptune ML modeltransform permettant de créer une tâche de transformation incrémentielle, sans réentraînement de modèle, ressemble à ceci :

curl \
  -X POST https://(your Neptune endpoint)/ml/modeltransform
  -H 'Content-Type: application/json' \
  -d '{
        "id" : "(a unique model-transform job ID)",
        "dataProcessingJobId" : "(the job-id of a completed data-processing job)",
        "mlModelTrainingJobId" : "(the job-id of a completed model-training job)",
        "modelTransformOutputS3Location" : "s3://(your Amazon S3 bucket)/neptune-model-transform"
      }'

Une commande Neptune ML modeltransform permettant de créer une tâche à partir d'une tâche d'entraînement SageMaker terminée ressemble à ceci :

curl \
  -X POST https://(your Neptune endpoint)/ml/modeltransform
  -H 'Content-Type: application/json' \
  -d '{
        "id" : "(a unique model-transform job ID)",
        "trainingJobName" : "(name of a completed SageMaker training job)",
        "modelTransformOutputS3Location" : "s3://(your Amazon S3 bucket)/neptune-model-transform",
        "baseProcessingInstanceType" : ""
      }'

Une commande Neptune ML modeltransform permettant de créer une tâche qui utilise une implémentation de modèle personnalisée ressemble à ceci :

curl \
  -X POST https://(your Neptune endpoint)/ml/modeltransform
  -H 'Content-Type: application/json' \
  -d '{
        "id" : "(a unique model-training job ID)",
        "trainingJobName" : "(name of a completed SageMaker training job)",
        "modelTransformOutputS3Location" : "s3://(your Amazon S3 bucket)/neptune-model-transform/"
        "customModelTransformParameters" : {
          "sourceS3DirectoryPath": "s3://(your Amazon S3 bucket)/(path to your Python module)",
          "transformEntryPointScript": "(your transform script entry-point name in the Python module)"
        }
      }'
Paramètres de création d'une tâche modeltransform

  • id : (facultatif) identifiant unique de la nouvelle tâche.

    Type : string. Valeur par défaut : un UUID généré automatiquement.

  • dataProcessingJobId   –   ID de tâche d'une tâche de traitement de données terminée.

    Type : string.

    Remarque : Vous devez inclure dataProcessingJobId et mlModelTrainingJobId, ou trainingJobName.

  • mlModelTrainingJobId   –   ID de tâche d'une tâche d'entraînement de modèle terminée.

    Type : string.

    Remarque : Vous devez inclure dataProcessingJobId et mlModelTrainingJobId, ou trainingJobName.

  • trainingJobName   –   Nom d'une tâche d'entraînement SageMaker terminée.

    Type : string.

    Remarque : Vous devez inclure à la fois les paramètres dataProcessingJobId et mlModelTrainingJobId, ou le paramètre trainingJobName.

  • sagemakerIamRoleArn : (facultatif) ARN d'un rôle IAM pour l'exécution de SageMaker.

    Type : string. Remarque : Il doit être répertorié dans le groupe de paramètres de votre cluster de bases de données, sinon une erreur se produira.

  • neptuneIamRoleArn : (facultatif) ARN d'un rôle IAM permettant à Neptune d'accéder aux ressources SageMaker et Amazon S3..

    Type : string. Remarque : Il doit être répertorié dans le groupe de paramètres de votre cluster de bases de données, sinon une erreur se produira.

  • customModelTransformParameters  : (facultatif) informations de configuration d'une transformation de modèle à l'aide d'un modèle personnalisé. L'objet customModelTransformParameters contient les champs suivants, dont les valeurs doivent être compatibles avec les paramètres de modèle enregistrés lors de la tâche d'entraînement :

    • sourceS3DirectoryPath : (obligatoire) chemin de l'emplacement Amazon S3 où se trouve le module Python implémentant votre modèle. Il doit pointer vers un emplacement Amazon S3 existant valide contenant, au minimum, un script d'entraînement, un script de transformation et un fichier model-hpo-configuration.json.

    • transformEntryPointScript : (facultatif) nom du point d'entrée dans le module d'un script qui doit être exécuté une fois que le modèle le plus approprié issu de la recherche par hyperparamètres a été identifié, afin de calculer les artefacts de modèle nécessaires au déploiement du modèle. Il devrait pouvoir s'exécuter sans arguments de ligne de commande.

      Par défaut : transform.py.

  • baseProcessingInstanceType : (facultatif) type d'instance ML utilisé pour préparer et gérer l'entraînement de modèles ML.

    Type : string. Remarque : Il s'agit d'une instance de CPU choisie en fonction des besoins en mémoire pour le traitement des données et du modèle de transformation. Consultez Sélection d'une instance pour l'entraînement de modèle et la transformation de modèle.

  • baseProcessingInstanceVolumeSizeInGB : (facultatif) taille du volume de disque de l'instance d'entraînement. Les données d'entrée et le modèle de sortie étant toutes stockées sur disque, la taille du volume doit être suffisante pour contenir les deux jeux de données.

    Type : entier. Par défaut : 0.

    Remarque : Si elle n'est pas spécifiée ou si elle est égale à 0, Neptune ML sélectionne une taille de volume de disque en fonction de la recommandation générée lors de l'étape de traitement de données. Consultez Sélection d'une instance pour l'entraînement de modèle et la transformation de modèle.

  • subnets : (facultatif) ID des sous-réseaux dans le VPC Neptune.

    Type : liste de chaînes. Valeur par défaut : aucune.

  • securityGroupIds : (facultatif) ID des groupes de sécurité du VPC.

    Type : liste de chaînes. Valeur par défaut : aucune.

  • volumeEncryptionKMSKey : (facultatif) clé AWS Key Management Service (AWS KMS) utilisée par SageMaker pour chiffrer les données sur le volume de stockage attaché aux instances de calcul ML qui exécutent la tâche de transformation.

    Type : string. Valeur par défaut : aucune.

  • enableInterContainerTrafficEncryption : (facultatif) activez ou désactivez le chiffrement du trafic entre conteneurs dans les tâches d'entraînement ou de réglage des hyperparamètres.

    Type : booléen. Valeur par défaut : True.

    Note

    Le paramètre enableInterContainerTrafficEncryption est disponible uniquement dans la version 1.2.0.2.R3 du moteur.

  • s3OutputEncryptionKMSKey : (facultatif) clé AWS Key Management Service (AWS KMS) utilisée par SageMaker pour chiffrer la sortie de la tâche de traitement.

    Type : string. Valeur par défaut : aucune.

Obtention du statut d'une tâche de transformation de modèle à l'aide de la commande Neptune ML modeltransform

Voici un exemple de commande Neptune ML modeltransform pour obtenir le statut d'une tâche :

curl -s \
  "https://(your Neptune endpoint)/ml/modeltransform/(the job ID)" \
  | python -m json.tool
Paramètres d'obtention du statut de la tâche modeltransform

  • id : (obligatoire) identifiant unique de la tâche de transformation de modèle.

    Type : string.

  • neptuneIamRoleArn : (facultatif) ARN d'un rôle IAM permettant à Neptune d'accéder aux ressources SageMaker et Amazon S3..

    Type : string. Remarque : Il doit être répertorié dans le groupe de paramètres de votre cluster de bases de données, sinon une erreur se produira.

Arrêt d'une tâche de transformation de modèle à l'aide de la commande Neptune ML modeltransform

Voici un exemple de commande Neptune ML modeltransform permettant d'arrêter une tâche :

curl -s \
  -X DELETE "https://(your Neptune endpoint)/ml/modeltransform/(the job ID)"

Ou encore :

curl -s \
  -X DELETE "https://(your Neptune endpoint)/ml/modeltransform/(the job ID)?clean=true"
Paramètres d'arrêt de la tâche modeltransform

  • id : (obligatoire) identifiant unique de la tâche de transformation de modèle.

    Type : string.

  • neptuneIamRoleArn : (facultatif) ARN d'un rôle IAM permettant à Neptune d'accéder aux ressources SageMaker et Amazon S3..

    Type : string. Remarque : Il doit être répertorié dans le groupe de paramètres de votre cluster de bases de données, sinon une erreur se produira.

  • clean : (facultatif) cet indicateur spécifie que tous les artefacts Amazon S3 doivent être supprimés lorsque la tâche est arrêtée.

    Type : booléen. Par défaut : FALSE.

Répertorier les tâches de transformation de modèle actives à l'aide de la commande Neptune ML modeltransform

Voici un exemple de commande Neptune ML modeltransform permettant de répertorier les tâches actives :

curl -s "https://(your Neptune endpoint)/ml/modeltransform" | python -m json.tool

Ou encore :

curl -s "https://(your Neptune endpoint)/ml/modeltransform?maxItems=3" | python -m json.tool
Paramètres pour répertorier les tâches modeltransform

  • maxItems : (facultatif) nombre maximal d'éléments à renvoyer.

    Type : entier. Par défaut : 10. Valeur maximale autorisée : 1024.

  • neptuneIamRoleArn : (facultatif) ARN d'un rôle IAM permettant à Neptune d'accéder aux ressources SageMaker et Amazon S3..

    Type : string. Remarque : Il doit être répertorié dans le groupe de paramètres de votre cluster de bases de données, sinon une erreur se produira.