Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Personalizzazione di Amazon Nova su SageMaker HyperPod
Puoi personalizzare i modelli Amazon Nova, inclusi i modelli Nova 2.0 migliorati, utilizzando le ricette di Amazon Nova e addestrarli su Hyperpod. Una ricetta è un file di configurazione YAML che fornisce dettagli all' SageMaker IA su come eseguire il processo di personalizzazione del modello. SageMaker HyperPod supporta due tipi di servizi: Forge e non-Forge.
Hyperpod offre elaborazione ad alte prestazioni con istanze GPU ottimizzate e storage FSx Amazon for Lustre, monitoraggio affidabile attraverso l'integrazione con strumenti TensorBoard come la gestione flessibile dei checkpoint per il miglioramento iterativo, l'implementazione senza interruzioni su Amazon Bedrock per l'inferenza e una formazione distribuita efficiente e scalabile a più nodi, il tutto in sinergia per fornire alle organizzazioni un ambiente sicuro, performante e flessibile per personalizzare i modelli Nova in base alle loro specifiche esigenze aziendali.
La personalizzazione di Amazon Nova su SageMaker HyperPod archivia gli artefatti del modello, inclusi i checkpoint del modello, in un bucket Amazon S3 gestito dal servizio. Gli artefatti nel bucket gestito dal servizio sono crittografati con chiavi gestite dall'intelligenza artificiale. SageMaker AWS KMS I bucket Amazon S3 gestiti dal servizio attualmente non supportano la crittografia dei dati tramite chiavi KMS gestite dal cliente. È possibile utilizzare questa posizione di checkpoint per processi di valutazione o per l’inferenza Amazon Bedrock.
I prezzi standard possono essere applicati per le istanze di calcolo, lo storage Amazon S3 e Lustre. FSx Per i dettagli sui prezzi, consulta i prezzi di Hyperpod, i prezzi
Requisiti di calcolo per i modelli Amazon Nova 1
Le tabelle seguenti riassumono i requisiti computazionali e la formazione per i lavori di formazione sull' SageMaker intelligenza artificiale per i modelli Nova 1.0.
Modello |
Lunghezza della sequenza |
Nodi |
Istanza |
Accelerator |
|---|---|---|---|---|
Amazon Nova Micro |
8,192 |
8 |
ml.p5.48xlarge |
GPU H100 |
Amazon Nova Lite |
8,192 |
16 |
ml.p5.48xlarge |
GPU H100 |
Amazon Nova Pro |
8,192 |
12 |
ml.p5.48xlarge |
GPU H100 |
Modello |
Lunghezza della sequenza |
Numero di nodi |
Istanza |
Accelerator |
|---|---|---|---|---|
Ottimizzazione diretta delle preferenze (completa) |
32,768 |
2, 4 o 6 |
ml.p5.48xlarge |
GPU H100 |
Ottimizzazione diretta delle preferenze (LoRA) |
32,768 |
2, 4 o 6 |
ml.p5.48xlarge |
GPU H100 |
Modello |
Tecnica |
Lunghezza della sequenza |
Numero di nodi |
Istanza |
Accelerator |
|---|---|---|---|---|---|
| Amazon Nova 1 Micro |
Fine-tuning supervisionato (LoRA) |
65.536 |
2 |
ml.p5.48xlarge |
GPU H100 |
| Amazon Nova 1 Micro |
Fine-tuning supervisionato (completo) |
65.536 |
2 |
ml.p5.48xlarge |
GPU H100 |
| Amazon Nova 1 Lite |
Fine-tuning supervisionato (LoRA) |
32,768 |
4 |
ml.p5.48xlarge |
GPU H100 |
| Amazon Nova 1 Lite |
Fine-tuning supervisionato (completo) |
65.536 |
4 |
ml.p5.48xlarge |
GPU H100 |
| Amazon Nova 1 Pro |
Fine-tuning supervisionato (LoRA) |
65.536 |
6 |
ml.p5.48xlarge |
GPU H100 |
| Amazon Nova 1 Pro |
Fine-tuning supervisionato (completo) |
65.536 |
6 |
ml.p5.48xlarge |
GPU H100 |
Modello |
Nodi |
Istanza |
|---|---|---|
Distillazione di modelli per il post-addestramento |
1 |
ml.r5.24xlarge |
Modello |
Lunghezza della sequenza |
Nodi |
Istanza |
Accelerator |
|---|---|---|---|---|
Ricetta di benchmark testuali generali |
8,192 |
1 |
ml.p5.48xlarge |
GPU H100 |
Ricetta di benchmark Bring-Your-Own-Dataset (gen_qa) |
8,192 |
1 |
ml.p5.48xlarge |
GPU H100 |
Ricetta Amazon Nova LLM-as-a-judge |
8,192 |
1 |
ml.p5.48xlarge |
GPU H100 |
Benchmark testuali standard |
8,192 |
1 |
ml.p5.48xlarge |
GPU H100 |
Valutazione dei set di dati personalizzati |
8,192 |
1 |
ml.p5.48xlarge |
GPU H100 |
Benchmark multimodali |
8,192 |
1 |
ml.p5.48xlarge |
GPU H100 |
Modello |
Numero di istanze del modello di critica |
Numero di istanze del modello di ricompensa |
Numero di istanze del modello di ancoraggio |
Addestramento attori |
Generazione attori |
Numero di istanze |
Ore totali per esecuzione |
Ore P5 |
Tipo di istanza |
|---|---|---|---|---|---|---|---|---|---|
Amazon Nova Micro |
1 |
1 |
1 |
2 |
2 |
7 |
8 |
56 |
ml.p5.48xlarge |
Amazon Nova Lite |
1 |
1 |
1 |
2 |
2 |
7 |
16 |
112 |
ml.p5.48xlarge |
Amazon Nova Pro |
1 |
1 |
1 |
6 |
2 |
11 |
26 |
260 |
ml.p5.48xlarge |
Argomenti
