Amazon Nova-Anpassung bei Amazon SageMaker HyperPod - Amazon SageMaker KI

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Amazon Nova-Anpassung bei Amazon SageMaker HyperPod

Sie können Amazon Nova-Modelle mithilfe von Amazon Nova-Rezepten anpassen und sie bei Amazon trainieren SageMaker HyperPod. Ein Rezept ist eine YAML-Konfigurationsdatei, die der SageMaker KI Einzelheiten zur Ausführung Ihrer Modellanpassung zur Verfügung stellt.

Amazon SageMaker HyperPod bietet Hochleistungsdatenverarbeitung mit optimierten GPU-Instances und Amazon FSx for Lustre-Speicher, robuste Überwachung durch Integration mit Tools wie TensorBoard flexiblem Checkpoint-Management für iterative Verbesserungen, nahtlose Bereitstellung auf Amazon Bedrock für Inferenz und effizientes, skalierbares verteiltes Training mit mehreren Knoten — alles zusammen bietet Unternehmen eine sichere, leistungsstarke und flexible Umgebung, in der sie Nova-Modelle an ihre spezifischen Geschäftsanforderungen anpassen können.

Die Amazon Nova-Anpassung auf Amazon SageMaker HyperPod speichert Modellartefakte, einschließlich Modell-Checkpoints, in einem serviceverwalteten Amazon S3 S3-Bucket. Artefakte im vom Service verwalteten Bucket werden mit SageMaker -verwalteten Schlüsseln verschlüsselt. AWS KMS Serviceverwaltete Amazon S3 S3-Buckets unterstützen derzeit keine Datenverschlüsselung mit kundenverwalteten KMS-Schlüsseln. Sie können diesen Checkpoint-Standort für Bewertungsaufträge oder Amazon Bedrock-Inferenz verwenden.

Standardpreise können für Compute-Instances, Amazon S3 S3-Speicher und FSx für Lustre gelten. Preisdetails finden Sie unter SageMaker HyperPod Preise, Amazon S3 S3-Preise und FSx Lustre-Preise.

Anforderungen für die Datenverarbeitung

In den folgenden Tabellen sind die Rechenanforderungen für SageMaker HyperPod das Training zusammengefasst.

Vor dem Training

Modell

Länge der Reihenfolge

Knoten

Instance

Accelerator

Amazon Nova Micro

8,192

8

ml.p 5.48x groß

GPU H100

Amazon Nova Lite

8,192

16

ml.p 5.48x groß

GPU H100

Amazon Nova Pro

8,192

24

ml.p 5.48x groß

GPU H100
Direkte Präferenzoptimierung (DPO)

Modell

Länge der Reihenfolge

Anzahl der Knoten

Instance

Accelerator

Direkte Präferenzoptimierung (vollständig)

32.768

2, 4 oder 6

ml.p 5.48x groß

GPU H100

Direkte Präferenzoptimierung (LoRa)

32.768

2, 4 oder 6

ml.p 5.48x groß

GPU H100
Feinabstimmung

Modell

Länge der Reihenfolge

Anzahl der Knoten

Instance

Accelerator

Überwachte Feinabstimmung (LoRa)

65.536

2

ml.p 5,48x groß

GPU H100

Überwachte Feinabstimmung (vollständig)

65.536

2

ml.p 5,48x groß

GPU H100

Überwachte Feinabstimmung (LoRa)

32.768

4

ml.p 5.48x groß

GPU H100

Überwachte Feinabstimmung (vollständig)

65.536

4

ml.p 5,48x groß

GPU H100

Überwachte Feinabstimmung (LoRa)

65.536

6

ml.p 5,48x groß

GPU H100

Überwachte Feinabstimmung (vollständig)

65.536

6

ml.p 5,48x groß

GPU H100
Destillation

Modell

Knoten

Instance

Modelldestillation für die Zeit nach dem Training

1

ml.r5.24xlarge
Bewertung

Modell

Länge der Reihenfolge

Knoten

Instance

Accelerator

Allgemeines Text-Benchmark-Rezept

8,192

1

ml.p5.48xlarge

GPU H100

Bringen Sie Ihr eigenes Benchmark-Rezept für Datensätze (gen_qa) mit

8,192

1

ml.p 5.48x groß

GPU H100

Amazon Nova LLM als Richterrezept

8,192

1

ml.p 5.48x groß

GPU H100

Standard-Textbenchmarks

8,192

1

ml.p 5.48x groß

GPU H100

Auswertung benutzerdefinierter Datensätze

8,192

1

ml.p5.48xlarge

GPU H100

Multimodale Benchmarks

8,192

1

ml.p 5.48x groß

GPU H100
Optimierung der Richtlinien im Bereich Proximal

Modell

Anzahl der Instanzen von Critic Model

Anzahl der Instanzen im Prämienmodell

Anzahl der Instanzen im Ankermodell

Schauspieler Train

Schauspieler-Generation

Anzahl der Instanzen

Gesamtzahl der Stunden pro Lauf

P5-Stunden

Instance-Typ

Amazon Nova Micro

1

1

1

2

2

7

8

56

ml.p 5.48x groß

Amazon Nova Lite

1

1

1

2

2

7

16

112

ml.p 5.48x groß

Amazon Nova Pro

1

1

1

6

2

11

26

260

ml.p 5.48x groß
Themen