Fonctionnement de l'apprentissage linéaire

Il existe trois étapes associées à la mise en œuvre de l'algorithme d'apprentissage linéaire : prétraiter, entraîner et valider.

Étape 1 : Prétraiter

La normalisation, ou dimensionnement de fonction, est une étape de prétraitement importante pour certaines fonctions de perte, qui garantit que le modèle entraîné sur un ensemble de données ne soit pas dominé par le poids d'une seule fonction. L'algorithme d'apprentissage linéaire Amazon SageMaker comporte une option de normalisation pour faciliter cette étape de prétraitement. Si la normalisation est activée, l'algorithme traite d'abord un petit échantillon de données pour apprendre la valeur moyenne et l'écart type pour chaque fonction et pour l'étiquette. Chacune des fonctions de l'ensemble de données complet est ensuite déplacée pour avoir une moyenne égale à zéro et dimensionnée de sorte à avoir un écart type unitaire.

Note

Pour obtenir de meilleurs résultats, assurez-vous que vos données sont réorganisées aléatoirement avant l'entraînement. Un entraînement avec des données non réorganisée peut entraîner l'échec de l'entraînement.

Vous pouvez configurer si l'algorithme d'apprentissage linéaire normalise les données de fonction et les étiquettes à l'aide des hyperparamètres normalize_data et normalize_label, respectivement. La normalisation est activée par défaut pour les fonctions et les étiquettes pour la régression. Seules les fonctions peuvent être normalisées pour la classification binaire et il s'agit du comportement par défaut.

Étape 2 : Entraîner

Avec l'algorithme d'apprentissage linéaire, vous entraînez à l'aide d'une implémentation de l'algorithme de gradient stochastique (SGD, Stochastic Gradient Descent). Vous pouvez contrôler le processus d'optimisation en choisissant l'algorithme d'optimisation. Par exemple, vous pouvez choisir d'utiliser Adam, AdaGrad, le gradient stochastique ou d'autres algorithmes d'optimisation. Vous spécifiez également leurs hyperparamètres, tels que la vitesse (momentum), le taux d'apprentissage (learning rate) et la planification du taux d'apprentissage (learning rate schedule). Si vous n'êtes pas sûr de l'algorithme ou de la valeur d'hyperparamètre à utiliser, choisissez une valeur par défaut qui fonctionne pour la majorité des ensembles de données.

Pendant l'entraînement, vous optimisez simultanément plusieurs modèles, chacun avec des objectifs légèrement différents. Par exemple, vous variez la régularisation L1 ou L2 et testez différents paramètres de l'optimiseur.

Étape 3 : Validation et définition du seuil

Lors de l'entraînement de plusieurs modèles en parallèle, les modèles sont évalués par rapport à un ensemble de validation afin de sélectionner le modèle optimal une fois l'entraînement terminé. Pour la régression, le modèle optimal est celui qui permet d'obtenir la meilleure perte sur l'ensemble de validation. Pour la classification, un échantillon de l'ensemble de validation est utilisé pour calibrer le seuil de classification. Le modèle optimal sélectionné est celui qui atteint les meilleurs critères de sélection de classification binaire sur l'ensemble de validation. Parmi les exemples de ces critères, citons la mesure F1, l'exactitude et la perte d'entropie croisée.

Note

Si aucun ensemble de validation n'est fourni pour l'algorithme, il est impossible d'évaluer et de sélectionner le modèle optimal. Pour tirer parti de l'entraînement parallèle et de la sélection de modèle, veillez à fournir un ensemble de validation à l'algorithme.