SageMaker HyperPod recettes

Utilisez les SageMaker HyperPod recettes Amazon pour commencer à vous former et à peaufiner les modèles de base accessibles au public. Pour consulter les recettes disponibles, consultez la section SageMaker HyperPodrecettes.

Les recettes sont des configurations d'entraînement préconfigurées pour les familles de modèles suivantes :

• Lama 3.1

• Lama 3.2

• Mistral

• Mixtral

Vous pouvez exécuter des recettes dans le cadre de tâches de SageMaker formation SageMaker HyperPod ou en tant que telles. Vous utilisez l'adaptateur de SageMaker HyperPod formation Amazon comme cadre pour vous aider à gérer les flux de travail de end-to-end formation. L'adaptateur d'entraînement est basé sur le NeMoframework NVIDIA et le package Neuronx Distributed Training. Si vous êtes habitué à l'utiliser NeMo, le processus d'utilisation de l'adaptateur d'entraînement est le même. L'adaptateur d'entraînement exécute la recette sur votre cluster.

Vous pouvez également entraîner votre propre modèle en définissant votre propre recette personnalisée.

Les tableaux suivants présentent les recettes prédéfinies et les scripts de lancement SageMaker HyperPod actuellement pris en charge.

Modèles de pré-formation, recettes et scripts de lancement disponibles

Modèle	Size	Séquence	Nœuds	Instance	Accélérateur	Recipe	Script
Lama 3.2	11b	8192	4	ml.p 5,48 x large	Nvidia H100	lien	lien
Lama 3.2	90b	8192	32	ml.p 5,48 x large	Nvidia H100	lien	lien
Lama 3.2	1 b	8192	1	ml.p 5,48 x large	Nvidia H100	lien	lien
Lama 3.2	3b	8192	1	ml.p 5,48 x large	Nvidia H100	lien	lien
Lama 3.1	70b	16384	32	ml.p 5,48 x large	Nvidia H100	lien	lien
Lama 3.1	70b	16384	64	ml.p 5,48 x large	Nvidia H100	lien	lien
Lama 3.1	70b	8192	32	ml.p 5,48 x large	Nvidia H100	lien	lien
Lama 3.1	70b	8192	64	ml.p 5,48 x large	Nvidia H100	lien	lien
Lama 3	70b	8192	16	ml.trn 1,32 x large	AWS TRN	lien	lien
Lama 3.1	8b	16384	16	ml.p 5,48 x large	Nvidia H100	lien	lien
Lama 3.1	8b	16384	32	ml.p 5,48 x large	Nvidia H100	lien	lien
Lama 3.1	8b	8192	16	ml.p 5,48 x large	Nvidia H100	lien	lien
Lama 3.1	8b	8192	32	ml.p 5,48 x large	Nvidia H100	lien	lien
Lama 3	8b	8192	4	ml.trn 1,32 x large	AWS TRN	lien	lien
Lama 3.1	8b	8192	16	ml.p 5,48 x large	Nvidia H100	lien	N/A
Mistral	7b	16384	16	ml.p 5,48 x large	Nvidia H100	lien	lien
Mistral	7b	16384	32	ml.p 5,48 x large	Nvidia H100	lien	lien
Mistral	7b	8192	16	ml.p 5,48 x large	Nvidia H100	lien	lien
Mistral	7b	8192	32	ml.p 5,48 x large	Nvidia H100	lien	lien
Mixtral	22b	16384	32	ml.p 5,48 x large	Nvidia H100	lien	lien
Mixtral	22b	16384	64	ml.p 5,48 x large	Nvidia H100	lien	lien
Mixtral	22b	8192	32	ml.p 5,48 x large	Nvidia H100	lien	lien
Mixtral	22b	8192	64	ml.p 5,48 x large	Nvidia H100	lien	lien
Mixtral	7b	16384	16	ml.p 5,48 x large	Nvidia H100	lien	lien
Mixtral	7b	16384	32	ml.p 5,48 x large	Nvidia H100	lien	lien
Mixtral	7b	8192	16	ml.p 5,48 x large	Nvidia H100	lien	lien
Mixtral	7b	8192	32	ml.p 5,48 x large	Nvidia H100	lien	lien

Modèles de réglage précis, recettes et scripts de lancement disponibles

Modèle	Méthode	Size	Durée de la séquence	Nœuds	Instance	Accélérateur	Recipe	Script
Lama 3.1	QLoRA	405b	131072	2	ml.p 5,48 x large	Nvidia H100	lien	lien
Lama 3.1	LoRa	405b	16384	6	ml.p 5,48 x large	Nvidia H100	lien	lien
Lama 3.1	QLoRA	405b	16384	2	ml.p 5,48 x large	Nvidia H100	lien	lien
Lama 3.1	LoRa	405b	16384	6	ml.p 5,48 x large	Nvidia H100	lien	lien
Lama 3.1	QLoRA	405b	8192	2	ml.p 5,48 x large	Nvidia H100	lien	lien
Lama 3.1	SOFT	70b	16384	16	ml.p 5,48 x large	Nvidia H100	lien	lien
Lama 3.1	LoRa	70b	16384	2	ml.p 5,48 x large	Nvidia H100	lien	lien
Lama 3.1	SOFT	70b	8192	10	ml.p 5,48 x large	Nvidia H100	lien	lien
Lama 3.1	LoRa	70b	8192	1	ml.p 5,48 x large	Nvidia H100	lien	lien
Lama 3.1	SOFT	8b	16384	1	ml.p 5,48 x large	Nvidia H100	lien	lien
Lama 3.1	LoRa	8b	16384	1	ml.p 5,48 x large	Nvidia H100	lien	lien
Lama 3.1	SOFT	8b	8192	1	ml.p 5,48 x large	Nvidia H100	lien	lien
Lama 3.1	LoRa	8b	8192	1	ml.p 5,48 x large	Nvidia H100	lien	lien
Lama 3.1	SOFT	70b	8192	32	ml.p4d.24xlarge	Nvidia A100	lien	lien
Lama 3.1	LoRa	70b	8192	20	ml.p4d.24xlarge	Nvidia A100	lien	lien
Lama 3.1	SOFT	8b	8192	4	ml.p4d.24xlarge	Nvidia A100	lien	lien
Lama 3.1	LoRa	8b	8192	1	ml.p4d.24xlarge	Nvidia A100	lien	lien
Lama 3	SOFT	8b	8192	1	ml.trn 1,32 x large	AWS TRN	lien	lien

Pour démarrer avec un didacticiel, voirDidacticiels.

Rubriques

• Didacticiels

• Configurations par défaut

• Configurations spécifiques aux clusters

• Considérations spéciales

• Paramètres avancés

• Annexe