Uso di un algoritmo per eseguire un processo di addestramento

Puoi creare una risorsa algoritmica per creare un processo di formazione utilizzando la SageMaker console Amazon, l' SageMaker API Amazon di basso livello o l'SDK Amazon SageMaker Python.

Uso di un algoritmo per eseguire un processo di addestramento (console)

Per usare un algoritmo per eseguire un processo di addestramento (console)

1. Apri la SageMaker console all'indirizzo https://console.aws.amazon.com/sagemaker/.

2. Scegli Algoritmi.

3. Scegli un algoritmo che hai creato dall'elenco nella scheda I miei algoritmi o scegli un algoritmo a cui è stato effettuato l'abbonamento nella scheda Abbonamenti Marketplace AWS .

4. Scegli Crea processo di addestramento.

   L'algoritmo scelto verrà automaticamente selezionato.

5. Nella pagina Crea processo di addestramento, inserisci le seguenti informazioni:

   1. Per Nome processo, digita un nome per il processo di addestramento.

   2. Per il ruolo IAM, scegli un ruolo IAM con le autorizzazioni necessarie per eseguire lavori di formazione oppure scegli Crea un nuovo ruolo per consentire la creazione di un ruolo SageMaker a cui è associata la policy AmazonSageMakerFullAccess gestita. SageMaker Per informazioni, consulta Come utilizzare i ruoli di SageMaker esecuzione.

   3. Per Configurazione delle risorse, specifica le seguenti informazioni:

      1. Per Tipo di istanza, scegli il tipo di istanza da utilizzare per l’addestramento.

      2. Per Conteggio istanze, digita il numero di istanze ML da utilizzare per il processo di addestramento.

      3. Per Volume aggiuntivo per istanza (GB), digita le dimensioni del volume di storage ML da assegnare. I volumi di storage ML memorizzano gli artefatti di modello e gli stati incrementali.

      4. Per la chiave di crittografia, se desideri che Amazon SageMaker utilizzi una AWS chiave del servizio di gestione delle chiavi per crittografare i dati nel volume di archiviazione ML collegato all'istanza di formazione, specifica la chiave.

      5. Per Condizione di arresto, specifica il periodo di tempo massimo in secondi, minuti, ore o giorni che può durare l'esecuzione del processo di addestramento.

   4. Per VPC, scegli un Amazon VPC a cui il container di addestramento può accedere. Per ulteriori informazioni, consulta Offri ai SageMaker corsi di formazione l'accesso alle risorse nel tuo Amazon VPC.

   5. Per Iperparametri, specifica i valori degli iperparametri da utilizzare per il processo di addestramento.

   6. Per Configurazione dei dati di input, specifica i valori riportati di seguito per ogni canale di dati di input da utilizzare per il processo di addestramento. Puoi vedere quali canali sono supportati dall'algoritmo in uso per i processi di addestramento, il tipo di contenuto, il tipo di compressione supportato e le modalità di input supportate per ciascun canale, nella sezione Specifica del canale della pagina Riepilogo dell'algoritmo per l'algoritmo.

      1. Per Nome canale digita il nome del canale di input.

      2. Per Tipo di contenuto digita il tipo di contenuto dei dati previsti dall'algoritmo per il canale.

      3. Per Tipo di compressione, scegli il tipo di compressione dei dati da utilizzare, se presente.

      4. Per Wrapper dei record, scegli RecordIO se l'algoritmo prevede dati nel formato RecordIO.

      5. Per Tipo di dati S3, Tipo di distribuzione dei dati S3 e Percorso S3, specifica i valori appropriati. Per informazioni sul significato dei valori, consulta S3DataSource.

      6. Per Modalità di input, scegli File per scaricare i dati dal volume di storage ML assegnato e montare la directory su un volume Docker. Scegli Pipe per eseguire lo streaming dei dati direttamente da Amazon S3 al container.

      7. Per aggiungere un altro canale di input, scegli Aggiungi canale. Una volta terminata l'aggiunta dei canali di input, scegli Fatto.

   7. Per il percorso di output, specifica i seguenti valori:

      1. Per Percorso di output S3, scegli il percorso S3 in cui il processo di addestramento archivia l'output, ad esempio gli artefatti del modello.

         Nota

         Gli artefatti del modello memorizzati in questa posizione vengono utilizzati per creare un modello o un pacchetto di modelli da questo processo di addestramento.

      2. Per la chiave di crittografia, se desideri SageMaker utilizzare una AWS KMS chiave per crittografare i dati di output inattivi nella posizione S3.

   8. Per Tag, specifica uno o più tag per gestire il processo di addestramento. Ciascun tag è formato da una chiave e da un valore facoltativo. Le chiavi dei tag devono essere univoche per ogni risorsa.

   9. Scegli Crea processo di addestramento per eseguire il processo di addestramento.

Uso di un algoritmo per eseguire un processo di addestramento (API)

Per utilizzare un algoritmo per eseguire un processo di formazione utilizzando l' SageMaker API, specifica il nome o Amazon Resource Name (ARN) come AlgorithmName campo dell'AlgorithmSpecificationoggetto a cui passi. CreateTrainingJob Per informazioni sui modelli di addestramento in SageMaker, consultaAddestra un modello con Amazon SageMaker.

Usa un algoritmo per eseguire un processo di formazione (Amazon SageMaker Python SDK)

Usa un algoritmo che hai creato o a cui ti sei iscritto Marketplace AWS per creare un processo di formazione, crea un AlgorithmEstimator oggetto e specifica Amazon Resource Name (ARN) o il nome dell'algoritmo come valore dell'algorithm_arnargomento. Quindi, richiama il metodo fit dello strumento di valutazione. Per esempio:

from sagemaker import AlgorithmEstimator
data_path = os.path.join(DATA_DIR, 'marketplace', 'training')

algo = AlgorithmEstimator(
algorithm_arn='arn:aws:sagemaker:us-east-2:012345678901:algorithm/my-algorithm',
        role='SageMakerRole',
        instance_count=1,
        instance_type='ml.c4.xlarge',
        sagemaker_session=sagemaker_session,
        base_job_name='test-marketplace')

train_input = algo.sagemaker_session.upload_data(
path=data_path, key_prefix='integ-test-data/marketplace/train')

algo.fit({'training': train_input})