Trasformazione dei modelli con il comando modeltransform

È possibile utilizzare il comando modeltransform in Neptune ML per creare un processo di trasformazione dei modelli, controllarne lo stato, arrestarlo o elencare tutti i processi di trasformazione dei modelli attivi.

Creazione di un processo di trasformazione dei modelli con il comando modeltransform in Neptune ML

Un comando modeltransform in Neptune ML per la creazione di un processo di trasformazione incrementale senza riaddestramento dei modelli ha il seguente aspetto:

curl \
  -X POST https://(your Neptune endpoint)/ml/modeltransform
  -H 'Content-Type: application/json' \
  -d '{
        "id" : "(a unique model-transform job ID)",
        "dataProcessingJobId" : "(the job-id of a completed data-processing job)",
        "mlModelTrainingJobId" : "(the job-id of a completed model-training job)",
        "modelTransformOutputS3Location" : "s3://(your Amazon S3 bucket)/neptune-model-transform"
      }'

Un comando modeltransform in Neptune ML per la creazione di un processo da un processo di addestramento SageMaker completato ha il seguente aspetto:

curl \
  -X POST https://(your Neptune endpoint)/ml/modeltransform
  -H 'Content-Type: application/json' \
  -d '{
        "id" : "(a unique model-transform job ID)",
        "trainingJobName" : "(name of a completed SageMaker training job)",
        "modelTransformOutputS3Location" : "s3://(your Amazon S3 bucket)/neptune-model-transform",
        "baseProcessingInstanceType" : ""
      }'

Un comando modeltransform in Neptune ML per la creazione di un processo che usa l'implementazione di un modello personalizzato ha il seguente aspetto:

curl \
  -X POST https://(your Neptune endpoint)/ml/modeltransform
  -H 'Content-Type: application/json' \
  -d '{
        "id" : "(a unique model-training job ID)",
        "trainingJobName" : "(name of a completed SageMaker training job)",
        "modelTransformOutputS3Location" : "s3://(your Amazon S3 bucket)/neptune-model-transform/"
        "customModelTransformParameters" : {
          "sourceS3DirectoryPath": "s3://(your Amazon S3 bucket)/(path to your Python module)",
          "transformEntryPointScript": "(your transform script entry-point name in the Python module)"
        }
      }'

Parametri per il comando modeltransform per la creazione del processo

• id (facoltativo): identificatore univoco per il nuovo processo.

  Tipo: stringa. Impostazione predefinita: un UUID generato automaticamente.

• dataProcessingJobId: ID di un processo di elaborazione dei dati completato.

  Tipo: stringa.

  Nota: è necessario includere sia dataProcessingJobId che mlModelTrainingJobId, o trainingJobName.

• mlModelTrainingJobId: ID di un processo di addestramento del modello completato.

  Tipo: stringa.

  Nota: è necessario includere sia dataProcessingJobId che mlModelTrainingJobId, o trainingJobName.

• trainingJobName: nome di un processo di addestramento SageMaker completato.

  Tipo: stringa.

  Nota: è necessario includere entrambi i parametri dataProcessingJobId e mlModelTrainingJobId oppure il parametro trainingJobName.

• sagemakerIamRoleArn (facoltativo): nome ARN di un ruolo IAM per l'esecuzione di SageMaker.

  Tipo: stringa. Nota: deve essere elencato nel gruppo di parametri del cluster database o si verificherà un errore.

• neptuneIamRoleArn (facoltativo): nome ARN di un ruolo IAM che fornisce a Neptune l'accesso alle risorse SageMaker e Amazon S3.

  Tipo: stringa. Nota: deve essere elencato nel gruppo di parametri del cluster database o si verificherà un errore.

• customModelTransformParameters (facoltativo): informazioni di configurazione per una trasformazione del modello mediante un modello personalizzato. L'oggetto customModelTransformParameters contiene i seguenti campi, che devono avere valori compatibili con i parametri del modello salvati durante il processo di addestramento:

  • sourceS3DirectoryPath (obbligatorio): percorso della posizione Amazon S3 in cui si trova il modulo Python che implementa il modello. Deve indicare una posizione Amazon S3 esistente valida che contenga almeno uno script di addestramento, uno script di trasformazione e un file model-hpo-configuration.json.

  • transformEntryPointScript (facoltativo): nome del punto di ingresso nel modulo di uno script che deve essere eseguito dopo aver identificato il modello migliore ottenuto dalla ricerca degli iperparametri, in modo da calcolare gli artefatti del modello necessari per l'implementazione del modello. Deve poter essere eseguito senza argomenti della riga di comando.

    Default: transform.py

• baseProcessingInstanceType (facoltativo): tipo di istanza ML utilizzata nella preparazione e nella gestione dell'addestramento dei modelli ML.

  Tipo: stringa. Nota: si tratta di un'istanza CPU scelta in base ai requisiti di memoria per l'elaborazione dei dati e del modello di trasformazione. Per informazioni, consultare Selezione di un'istanza per l'addestramento e la trasformazione del modello.

• baseProcessingInstanceVolumeSizeInGB (facoltativo): dimensioni del volume del disco dell'istanza di addestramento. Sia i dati di input che il modello di output vengono archiviati su disco, quindi le dimensioni del volume devono essere sufficientemente grandi da contenere entrambi i set di dati.

  Tipo: numero intero. Default: 0

  Nota: se non è specificato o è pari a 0, Neptune ML seleziona le dimensioni del volume del disco in base alla raccomandazione generata nella fase di elaborazione dati. Per informazioni, consultare Selezione di un'istanza per l'addestramento e la trasformazione del modello.

• subnets (facoltativo): ID delle sottoreti nel VPC Neptune.

  Tipo: elenco di stringhe. Impostazione predefinita: none.

• securityGroupIds (facoltativo): ID del gruppo di sicurezza del VPC.

  Tipo: elenco di stringhe. Impostazione predefinita: none.

• volumeEncryptionKMSKey (facoltativo): chiave AWS Key Management Service (AWS KMS) usata da SageMaker per crittografare i dati nel volume di archiviazione collegato alle istanze di calcolo ML che eseguono il processo di trasformazione.

  Tipo: stringa. Impostazione predefinita: none.

• enableInterContainerTrafficEncryption (facoltativo): abilita o disabilita la crittografia del traffico tra container nei processi di addestramento o di ottimizzazione degli iperparametri.

  Tipo: booleano. Impostazione predefinita: True.

  Nota

  Il parametro enableInterContainerTrafficEncryption è disponibile solo nel rilascio del motore 1.2.0.2.R3.

• s3OutputEncryptionKMSKey (facoltativo): chiave AWS Key Management Service (AWS KMS) utilizzata da SageMaker per crittografare l'output del processo di elaborazione.

  Tipo: stringa. Impostazione predefinita: none.

Recupero dello stato di un processo di trasformazione dei modelli con il comando modeltransform in Neptune ML

Un comando modeltransform di esempio in Neptune ML per lo stato di un processo ha il seguente aspetto:

curl -s \
  "https://(your Neptune endpoint)/ml/modeltransform/(the job ID)" \
  | python -m json.tool

Parametri per il comando modeltransform per lo stato del processo

• id (obbligatorio): identificatore univoco del processo di trasformazione dei modelli.

  Tipo: stringa.

• neptuneIamRoleArn (facoltativo): nome ARN di un ruolo IAM che fornisce a Neptune l'accesso alle risorse SageMaker e Amazon S3.

  Tipo: stringa. Nota: deve essere elencato nel gruppo di parametri del cluster database o si verificherà un errore.

Arresto di un processo di trasformazione dei modelli con il comando modeltransform in Neptune ML

Un comando modeltransform di esempio in Neptune ML per l'arresto di un processo ha il seguente aspetto:

curl -s \
  -X DELETE "https://(your Neptune endpoint)/ml/modeltransform/(the job ID)"

Oppure questo:

curl -s \
  -X DELETE "https://(your Neptune endpoint)/ml/modeltransform/(the job ID)?clean=true"

Parametri per il comando modeltransform per l'arresto del processo

• id (obbligatorio): identificatore univoco del processo di trasformazione dei modelli.

  Tipo: stringa.

• neptuneIamRoleArn (facoltativo): nome ARN di un ruolo IAM che fornisce a Neptune l'accesso alle risorse SageMaker e Amazon S3.

  Tipo: stringa. Nota: deve essere elencato nel gruppo di parametri del cluster database o si verificherà un errore.

• clean (facoltativo): questo flag specifica che tutti gli artefatti Amazon S3 devono essere eliminati quando il processo viene arrestato.

  Tipo: Boolean Default: FALSE

Elenco dei processi di trasformazione dei modelli attivi con il comando modeltransform in Neptune ML

Un comando modeltransform di esempio in Neptune ML per l'elenco dei processi attivi ha il seguente aspetto:

curl -s "https://(your Neptune endpoint)/ml/modeltransform" | python -m json.tool

Oppure questo:

curl -s "https://(your Neptune endpoint)/ml/modeltransform?maxItems=3" | python -m json.tool

Parametri per il comando modeltransform per l'elenco dei processi

• maxItems (facoltativo): numero massimo di elementi da restituire.

  Tipo: numero intero. Default: 10 Valore massimo consentito: 1024.

• neptuneIamRoleArn (facoltativo): nome ARN di un ruolo IAM che fornisce a Neptune l'accesso alle risorse SageMaker e Amazon S3.

  Tipo: stringa. Nota: deve essere elencato nel gruppo di parametri del cluster database o si verificherà un errore.