Hyperparamètres de l'apprentissage linéaire - Amazon SageMaker

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Hyperparamètres de l'apprentissage linéaire

Le tableau suivant contient les hyper-paramètres pour l'algorithme d'apprentissage linéaire. Il s'agit des paramètres qui sont définis par les utilisateurs pour faciliter l'estimation des paramètres modèles issus des données. Les hyperparamètres requis qui doivent être définies sont les premiers répertoriés, dans l'ordre alphabétique. Les hyperparamètres facultatifs qui peuvent être définis sont répertoriés ensuite, également dans l'ordre alphabétique. Lorsqu'un hyperparamètre est défini sur auto, Amazon SageMaker calcule et définit automatiquement la valeur de cet hyperparamètre.

Nom du paramètre Description
num_classes

Nombre de classes de la variable de réponse. L'algorithme suppose que les classes sont étiquetées 0, ..., num_classes - 1.

Obligatoire quand predictor_type est multiclass_classifier. Dans le cas contraire, l'algorithme l'ignore.

Valeurs valides : entiers compris entre 3 et 1 000 000

predictor_type

Spécifie le type de variable cible sous la forme de classification binaire, de classification multiclasse ou de régression.

Obligatoire

Valeurs valides : binary_classifier, multiclass_classifier ou regressor

accuracy_top_k

Lors du calcul de la métrique d'exactitude top-k pour la classification multiclasse, la valeur de k. Si le modèle attribue l'un des top-k scores à l'étiquette true, un exemple est marqué comme correct.

Facultatif

Valeurs valides : nombre entiers positifs

Valeur par défaut : 3

balance_multiclass_weights

Spécifie s'il faut utiliser les pondérations de classe, qui donnent à chaque classe une importance égale dans la fonction perte (loss). Utilisé uniquement si le predictor_type est multiclass_classifier.

Facultatif

Valeurs valides : true, false

Valeur par défaut : false

beta_1

Taux exponentiel de dégradation pour les estimations du premier moment. S'applique uniquement lorsque la valeur de optimizer est adam.

Facultatif

Valeurs valides : auto ou valeur à virgule flottante comprise entre 0 et 1,0

Valeur par défaut : auto

beta_2

Taux exponentiel de déclin pour les estimations du second moment. S'applique uniquement lorsque la valeur de optimizer est adam.

Facultatif

Valeurs valides : auto ou entier à virgule flottante compris entre 0 et 1,0

Valeur par défaut : auto

bias_lr_mult

Autorise un autre taux d'apprentissage pour le terme biaisé. Le taux d'apprentissage réel pour le biais est learning_rate * bias_lr_mult.

Facultatif

Valeurs valides : auto ou entier à virgule flottante positif

Valeur par défaut : auto

bias_wd_mult

Autorise différentes régularisations pour le terme biaisé. La pondération réelle de la régularisation L2 pour le biais est wd * bias_wd_mult. Par défaut, il n'y a pas de régularisation sur le terme biaisé.

Facultatif

Valeurs valides : auto ou entier à virgule flottante non négatif

Valeur par défaut : auto

binary_classifier_model_selection_criteria

Lorsque predictor_type a la valeur binary_classifier, les critères d'évaluation du modèle pour le jeu de données de validation (ou le jeu de données d'entraînement si vous ne fournissez pas d'ensemble de données de validation). Les critères comprennent :

  • accuracy—Le modèle avec la plus haute précision.

  • f_beta—Le modèle avec le score F1 le plus élevé. La valeur par défaut est F1.

  • precision_at_target_recall—Le modèle avec la précision la plus élevée à une cible de rappel donnée.

  • recall_at_target_precision—Le modèle avec le rappel le plus élevé à une cible de précision donnée.

  • loss_function—Le modèle avec la valeur la plus basse de la fonction perte (loss) utilisée dans l'entraînement.

Facultatif

Valeurs valides : accuracy, f_beta, precision_at_target_recall, recall_at_target_precision ou loss_function

Valeur par défaut : accuracy

early_stopping_patience Si aucune amélioration n'est apportée à la métrique appropriée, le nombre de périodes (epoch) à attendre avant la fin de l'entraînement. Si vous avez fourni une valeur pour binary_classifier_model_selection_criteria, la métrique est cette valeur. Dans le cas contraire, la métrique est identique à la valeur indiquée pour l'hyperparamètre loss.

La métrique est évaluée sur les données de validation. Si vous n'avez pas fourni de données de validation, la métrique est toujours identique à la valeur indiquée pour l'hyperparamètre loss et elle est évaluée sur les données d'entraînement. Pour désactiver l'arrêt anticipé, définissez early_stopping_patience avec une valeur supérieure à la valeur spécifiée pour epochs.

Facultatif

Valeurs valides : nombre entier positif

Valeur par défaut : 3

early_stopping_tolerance

Tolérance relative pour mesurer une amélioration de la fonction perte (loss). Si le ratio d'amélioration de la fonction perte (loss) divisé par la meilleure perte précédente est inférieur à cette valeur, l'arrêt anticipé considère l'amélioration comme égale à zéro.

Facultatif

Valeurs valides : entier à virgule flottante positif

Valeur par défaut : 0.001

epochs

Nombre maximal de passages sur les données d'entraînement.

Facultatif

Valeurs valides : nombre entier positif

Valeur par défaut : 15

f_beta

La valeur bêta à utiliser lors du calcul des métriques de score F pour la classification binaire ou multiclasse. Également utilisé si la valeur spécifiée pour binary_classifier_model_selection_criteria est f_beta.

Facultatif

Valeurs valides : entiers à virgule flottante positifs

Valeur par défaut : 1.0

feature_dim

Nombre de caractéristiques des données d'entrée.

Facultatif

Valeurs valides : auto ou entier positif

Valeurs par défaut : auto

huber_delta

Paramètre pour la fonction de perte Huber. Pendant l'entraînement et l'évaluation des métriques, calculez la perte L2 pour les erreurs plus petites que delta et la perte L1 pour les erreurs supérieures à delta.

Facultatif

Valeurs valides : entier à virgule flottante positif

Valeur par défaut : 1.0

init_bias

Pondération initiale pour le terme biaisé.

Facultatif

Valeurs valides : entier à virgule flottante

Valeur par défaut : 0

init_method

Définit la fonction de distribution initiale utilisée pour les pondérations de modèle. Les fonctions incluent :

  • uniform—Distribution uniforme entre (-scale, +scale)

  • normal—Distribution normale, avec moyenne 0 et sigma

Facultatif

Valeurs valides : uniform ou normal

Valeur par défaut : uniform

init_scale

Dimensionne une distribution uniforme initiale pour les pondérations de modèle. S'applique uniquement quand l'hyperparamètre init_method a la valeur uniform.

Facultatif

Valeurs valides : entier à virgule flottante positif

Valeur par défaut : 0.07

init_sigma

Écart-type initial pour la distribution normale. S'applique uniquement quand l'hyperparamètre init_method a la valeur normal.

Facultatif

Valeurs valides : entier à virgule flottante positif

Valeur par défaut : 0.01

l1

Paramètre de régularisation L1. Si vous ne voulez pas utiliser la régularisation L1, définissez la valeur sur 0.

Facultatif

Valeurs valides : auto ou flottante non négative

Valeur par défaut : auto

learning_rate

Taille d'étape utilisée par l'optimiseur pour les mises à jour de paramètre.

Facultatif

Valeurs valides : auto ou entier à virgule flottante positif

Valeur par défaut : auto, dont la valeur dépend de l'optimiseur choisi.

loss

Spécifie la fonction perte.

Les fonctions perte disponibles et leurs valeurs par défaut dépendent de la valeur de predictor_type :

  • Si predictor_type a la valeur regressor, les options disponibles sont auto, squared_loss, absolute_loss, eps_insensitive_squared_loss, eps_insensitive_absolute_loss, quantile_loss et huber_loss. La valeur par défaut de auto est squared_loss.

  • Si predictor_type a la valeur binary_classifier, les options disponibles sont auto, logistic et hinge_loss. La valeur par défaut de auto est logistic.

  • Si predictor_type a la valeur multiclass_classifier, les options disponibles sont auto et softmax_loss. La valeur par défaut de auto est softmax_loss.

Valeurs valides : auto, logistic, squared_loss, absolute_loss, hinge_loss, eps_insensitive_squared_loss, eps_insensitive_absolute_loss, quantile_loss ou huber_loss

Facultatif

Valeur par défaut : auto

loss_insensitivity

Paramètre pour le type de perte insensible epsilon. Pendant l'entraînement et l'évaluation des métriques, toute erreur inférieure à cette valeur est considérée comme égale à zéro.

Facultatif

Valeurs valides : entier à virgule flottante positif

Valeur par défaut : 0.01

lr_scheduler_factor

Pour chaque hyperparamètre lr_scheduler_step, le taux d'apprentissage est diminué de cette quantité. S'applique uniquement quand l'hyperparamètre use_lr_scheduler a la valeur true.

Facultatif

Valeurs valides : auto ou entier positif à virgule flottante compris entre 0 et 1

Valeur par défaut : auto

lr_scheduler_minimum_lr

Le taux d'apprentissage ne diminue jamais à une valeur inférieure à celle définie pour lr_scheduler_minimum_lr. S'applique uniquement quand l'hyperparamètre use_lr_scheduler a la valeur true.

Facultatif

Valeurs valides : auto ou entier à virgule flottante positif

Valeurs par défaut : auto

lr_scheduler_step

Nombre d'étapes entre les diminutions du taux d'apprentissage. S'applique uniquement quand l'hyperparamètre use_lr_scheduler a la valeur true.

Facultatif

Valeurs valides : auto ou entier positif

Valeur par défaut : auto

margin

Marge de la fonction hinge_loss.

Facultatif

Valeurs valides : entier à virgule flottante positif

Valeur par défaut : 1.0

mini_batch_size

Nombre d'observations par mini-lot pour l'itérateur de données.

Facultatif

Valeurs valides : nombre entier positif

Valeur par défaut : 1000

momentum

Vitesse de l'optimiseur sgd.

Facultatif

Valeurs valides : auto ou entier à virgule flottante compris entre 0 et 1,0

Valeur par défaut : auto

normalize_data

Normalise les données de fonction avant l'entraînement. La normalisation déplace les données de chaque fonction pour avoir une moyenne égale à zéro et les dimensionne pour avoir un écart type unitaire.

Facultatif

Valeurs valides : auto, true ou false

Valeur par défaut : true

normalize_label

Normalise l'étiquette. La normalisation d'étiquette déplace l'étiquette pour obtenir une moyenne égale à 0 et la dimensionne pour avoir un écart type unitaire.

La valeur auto par défaut normalise l'étiquette pour les problèmes de régression, mais pas pour les problèmes de classification. Si vous définissez l'hyperparamètre normalize_label avec la valeur true pour les problèmes de classification, l'algorithme l'ignore.

Facultatif

Valeurs valides : auto, true ou false

Valeur par défaut : auto

num_calibration_samples

Nombre d'observations de l'ensemble de données de validation à utiliser pour le calibrage du modèle (lors de la recherche du meilleur seuil).

Facultatif

Valeurs valides : auto ou entier positif

Valeur par défaut : auto

num_models

Nombre de modèles à entraîner en parallèle. Pour la valeur par défaut, auto, l'algorithme décide du nombre de modèles parallèles à entraîner. Un modèle est entraîné selon le paramètre d'entraînement donné (régularisation, optimiseur, perte), et le reste par les paramètres proches.

Facultatif

Valeurs valides : auto ou entier positif

Valeurs par défaut : auto

num_point_for_scaler

Nombre de points de données à utiliser pour calculer la normalisation ou annuler le biais des termes.

Facultatif

Valeurs valides : nombre entier positif

Valeur par défaut : 10,000

optimizer

Algorithme d'optimisation à utiliser.

Facultatif

Valeurs valides :

  • auto—La valeur par défaut.

  • sgd—Descente de gradient stochastique.

  • adamEstimation adaptative de la vitesse.

  • rmsprop—Technique d'optimisation basée sur les gradients et qui utilise la moyenne mobile des carrés des gradients pour normaliser le gradient.

Valeur par défaut : auto. Le paramètre par défaut pour auto est adam.

positive_example_weight_mult

Pondération attribuée aux exemples positifs lors de l'entraînement d'un classificateur binaire. La pondération d'exemples négatifs est fixée à 1. Si vous souhaitez que l'algorithme choisisse une pondération afin que les erreurs de classification des exemples négatifs et des exemples positifs aient le même impact sur la perte d'entraînement, spécifiez balanced. Si vous voulez que l'algorithme choisisse la pondération qui optimise les performances, spécifiez auto.

Facultatif

Valeurs valides : balanced, auto ou entier positif à virgule flottante

Valeur par défaut : 1.0

quantile

Quantile pour la perte de quantile. Pour le quantile q, le modèle tente de produire des prédictions telles que la valeur de true_label soit supérieure à la prédiction avec la probabilité q.

Facultatif

Valeurs valides : entier à virgule flottante compris entre 0 et 1

Valeur par défaut : 0.5

target_precision

Précision de la cible. Si binary_classifier_model_selection_criteria a la valeur recall_at_target_precision, la précision est détenue à cette valeur tandis que le rappel est optimisé.

Facultatif

Valeurs valides : entier à virgule flottante compris entre 0 et 1.0

Valeur par défaut : 0.8

target_recall

Rappel de la cible. Si binary_classifier_model_selection_criteria a la valeur precision_at_target_recall, le rappel est détenu à cette valeur tandis que la précision est optimisée.

Facultatif

Valeurs valides : entier à virgule flottante compris entre 0 et 1.0

Valeur par défaut : 0.8

unbias_data

Annule le biais des caractéristiques avant l'entraînement si bien que la moyenne est 0. Par défaut, les données sont sans biais si l'hyperparamètre use_bias a la valeur true.

Facultatif

Valeurs valides : auto, true ou false

Valeur par défaut : auto

unbias_label

Annule le biais des étiquettes avant l'entraînement si bien que la moyenne est 0. S'applique uniquement quand l'hyperparamètre use_bias a la valeur true.

Facultatif

Valeurs valides : auto, true ou false

Valeur par défaut : auto

use_bias

Spécifie si le modèle doit inclure un terme biaisé, lequel est le terme d'interception de l'équation linéaire.

Facultatif

Valeurs valides : true ou false

Valeur par défaut : true

use_lr_scheduler

Spécifie s'il faut utiliser un planificateur pour le taux d'apprentissage. Si vous souhaitez utiliser un planificateur, spécifiez true.

Facultatif

Valeurs valides : true ou false

Valeur par défaut : true

wd

Paramètre weight decay, également connu sous le nom de paramètre de régularisation L2. Si vous ne voulez pas utiliser la régularisation L2, définissez la valeur sur 0.

Facultatif

Valeurs valides : auto ou entier à virgule flottante non négatif

Valeur par défaut : auto