Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
L'adaptateur de SageMaker HyperPod recettes est construit sur les frameworks Nvidia Nemo et PyTorch-Lightning. Si vous avez déjà utilisé ces frameworks, l'intégration de vos modèles ou fonctionnalités personnalisés dans l'adaptateur de SageMaker HyperPod recettes est un processus similaire. En plus de modifier l'adaptateur de recette, vous pouvez modifier votre propre script de pré-entraînement ou de peaufinage. Pour obtenir des conseils sur la rédaction de votre script d'entraînement personnalisé, consultez les exemples
Utilisez l' SageMaker HyperPod adaptateur pour créer votre propre modèle
Dans l'adaptateur de recettes, vous pouvez personnaliser les fichiers suivants aux emplacements suivants :
-
collections/data: contient un module chargé du chargement des ensembles de données. Actuellement, il ne prend en charge que les ensembles de données provenant de HuggingFace. Si vous avez des exigences plus avancées, la structure du code vous permet d'ajouter des modules de données personnalisés dans le même dossier. -
collections/model: inclut les définitions de différents modèles linguistiques. Actuellement, il prend en charge les grands modèles de langage courants tels que Llama, Mixtral et Mistral. Vous avez la possibilité d'introduire vos propres définitions de modèles dans ce dossier. -
collections/parts: Ce dossier contient des stratégies pour les modèles de formation de manière distribuée. La stratégie Fully Sharded Data Parallel (FSDP) en est un exemple. Elle permet de répartir un grand modèle de langage sur plusieurs accélérateurs. De plus, les stratégies prennent en charge diverses formes de parallélisme des modèles. Vous avez également la possibilité d'introduire vos propres stratégies d'entraînement personnalisées pour l'entraînement des modèles. -
utils: contient divers utilitaires destinés à faciliter la gestion d'un poste de formation. Il sert de référentiel pour vos propres outils. Vous pouvez utiliser vos propres outils pour des tâches telles que le dépannage ou l'analyse comparative. Vous pouvez également ajouter vos propres rappels PyTorch Lightning personnalisés dans ce dossier. Vous pouvez utiliser les rappels PyTorch Lightning pour intégrer de manière fluide des fonctionnalités ou des opérations spécifiques dans le cycle de vie de la formation. -
conf: contient les définitions du schéma de configuration utilisées pour valider des paramètres spécifiques dans le cadre d'une tâche de formation. Si vous introduisez de nouveaux paramètres ou configurations, vous pouvez ajouter votre schéma personnalisé dans ce dossier. Vous pouvez utiliser le schéma personnalisé pour définir les règles de validation. Vous pouvez valider les types de données, les plages ou toute autre contrainte de paramètre. Vous pouvez également définir votre propre schéma personnalisé pour valider les paramètres.
