Formazione iterativa

La formazione iterativa consente lo sviluppo di sofisticate pipeline di formazione per i modelli Amazon Nova concatenando più tecniche di formazione in sequenza. Questo approccio consente di sovrapporre diversi metodi di personalizzazione per ottenere modelli su misura con precisione.

Il processo inizia con l'addestramento di un modello Amazon Nova utilizzando una delle tecniche standard (come SFT, PEFT o DPO). Al termine, troverai un manifest.json file nella posizione di output S3 specificata. Questo file contiene un checkpoint_s3_bucket valore che indica dove è archiviato il modello addestrato.

È quindi possibile utilizzare questa posizione del checkpoint come model_name_or_path parametro nelle sessioni di formazione successive, basandosi efficacemente sul lavoro di personalizzazione precedente. Questo crea una catena di miglioramenti progressivi, con ogni fase di formazione che perfeziona ulteriormente il modello in base ai requisiti specifici.

La formazione iterativa consente di sviluppare pipeline di formazione più sofisticate per ottimizzare i modelli Amazon Nova. Concatenando i moduli di formazione, sei in grado di stratificare le tecniche di formazione per personalizzare i modelli esattamente in base alle tue esigenze.

Inizia addestrando Amazon Nova utilizzando una delle tecniche descritte inPersonalizzazione di Amazon Nova su Amazon SageMaker HyperPod. Nella posizione di output S3 definita durante l'addestramento, individua il manifest.json file. Questo file contiene il valore checkpoint_s3_bucket che indica dove è definito il modello di output. È possibile utilizzare questa posizione di output come model_name_or_path valore nelle future sessioni di formazione.

Esempio

L'esempio seguente illustra un flusso di lavoro che definisce i corsi di formazione iterativi Supervised Fine-Tuning (SFT) > SFT > Direct Preference Optimization (DPO) per un modello Amazon Nova Lite. Innanzitutto, devi definire la ricetta di esecuzione per l'addestramento SFT iniziale del modello di base.

## Run config
run:
  name: "my-fullrank-run-sft"             # A descriptive name for your training job
  model_type: "amazon.nova-lite-v1:0:300k"  # Model variant specification, do not change
  model_name_or_path: "nova-lite/prod"      # Base model path, do not change
  replicas: 4                               # Number of compute instances for training, allowed values are 4, 8, 16
  data_s3_path: "s3://Path to training data"          # Your training data path
  output_s3_path: "s3://Path to output data location" # Output artifact path

Questo processo di formazione produrrà un manifest.json file nel percorso definito in output_s3_path che è simile al seguente:

{"checkpoint_s3_bucket":"s3://<escrow bucket>/<job id>/outputs/checkpoints"}

Questo percorso di checkpoint può essere utilizzato nella successiva fase iterativa di addestramento come. model_name_or_path In questo modo si indirizza l'addestramento a utilizzare il checkpoint precedente come modello di base per il metodo di allenamento successivo anziché il modello base.

Il passaggio seguente dell'esempio definisce un'esecuzione di addestramento SFT su un diverso set di dati, che può essere utilizzato per addestrare un modello attraverso vari set di interazioni.

## Run config
run:
  name: "my-fullrank-run-sft-2"             # A descriptive name for your training job
  model_type: "amazon.nova-lite-v1:0:300k"  # Model variant specification, do not change
  model_name_or_path: "s3://customer-escrow-bucket-unique_id/my-fullrank-run-sft-unique id/outputs/checkpoints"      # Model checkpoint after 1st SFT run
  replicas: 4                               # Number of compute instances for training, allowed values are 4, 8, 16
  data_s3_path: "s3://Path to training data #2"       # Customer data path
  output_s3_path: "s3://Path to output data location" # Output artifact path

Come il primo set di addestramento, questo produrrà un manifest.json file simile nella posizione di output:

{"checkpoint_s3_bucket":"s3://<escrow bucket>/<job id>/outputs/checkpoints"}

Questo può quindi essere utilizzato come input finale per l'ultima sessione di formazione iterativa utilizzando DPO:

## Run config
run:
  name: "my-fullrank-run-dpo"             # A descriptive name for your training job
  model_type: "amazon.nova-lite-v1:0:300k"  # Model variant specification, do not change
  model_name_or_path: "s3://customer-escrow-bucket-unique_id/my-fullrank-run-sft-2-unique id/outputs/checkpoints"      # Model checkpoint after 2nd SFT run
  replicas: 4                               # Number of compute instances for training, allowed values are 4, 8, 16
  data_s3_path: "s3://Path to training data #2"       # Your training data path
  output_s3_path: "s3://Path to output data location" # Output artifact path

L'output in qualsiasi fase di questa pipeline di formazione iterativa può essere utilizzato sia per l'inferenza che per la valutazione, nonché per verificare l'avanzamento del modello lungo il percorso e garantire che converga verso l'output desiderato.

Limitazioni

La formazione iterativa può essere eseguita con uno qualsiasi dei metodi di allenamento disponibili in qualsiasi ordine, per tutte le iterazioni necessarie per ottenere il risultato desiderato. Durante l'allenamento iterativo, sia il modello che la tecnica (ovvero a pieno titolo rispetto a LoRa PEFT) devono rimanere coerenti. Ad esempio, se si tenta di allenarsi in modo iterativo con la messa a punto completa dopo un corso di formazione LoRa PEFT, il processo di formazione genererà un errore. Allo stesso modo, se desideri definire un processo di formazione su Amazon Nova Lite in aggiunta a un checkpoint Amazon Nova Micro, riceverai un errore.