Hyperparamètres NTM - Amazon SageMaker

Hyperparamètres NTM

Nom du paramètre Description

feature_dim

Taille de vocabulaire de l'ensemble de données.

Obligatoire

Valeurs valides : entier positif (min : 1, max : 1 000 000)

num_topics

Nombre de rubriques requises.

Obligatoire

Valeurs valides : entier positif (min : 2, max : 1 000)

batch_norm

Indique s'il faut utiliser la normalisation par lots au cours de la formation.

Facultatif

Valeurs valides : true ou false

Valeur par défaut : false

clip_gradient

Magnitude maximale pour chaque composant de gradient.

Facultatif

Valeurs valides : nombre flottant (min : 1e-3)

Valeur par défaut : infini

encoder_layers

Nombre de couches de l'encodeur et taille de sortie de chaque couche. Lorsque sa valeur est auto, l'algorithme utilise deux couches de taille 3 x num_topics et 2 x num_topics respectivement.

Facultatif

Valeurs valides : liste séparée par des virgules de nombres entiers positifs ou auto

Valeur par défaut : auto

encoder_layers_activation

Fonction d'activation à utiliser dans les couches de l'encodeur.

Facultatif

Valeurs valides :

Valeur par défaut: sigmoid

epochs

Nombre maximal de passages sur les données d'entraînement.

Facultatif

Valeurs valides : entier positif (min : 1)

Valeur par défaut : 50

learning_rate

Taux d'apprentissage de l'optimiseur.

Facultatif

Valeurs valides : nombre flottant (min : 1e-6, max : 1,0)

Valeur par défaut : 0.001

mini_batch_size

Nombre d'exemples dans chaque mini-lot.

Facultatif

Valeurs valides : entier positif (min : 1, max : 10 000)

Valeur par défaut : 256

num_patience_epochs

Nombre de dates epoch successives sur lesquelles le critère d'arrêt anticipé est évalué. Un arrêt anticipé est déclenché lorsque la modification de la fonction perte passe en-dessous de la tolerance spécifiée au sein du num_patience_epochs dernier nombre de périodes (epoch). Pour désactiver l'arrêt anticipé, définissez num_patience_epochs avec une valeur supérieure à epochs.

Facultatif

Valeurs valides : entier positif (min : 1)

Valeur par défaut : 3

optimizer

Optimiseur à utiliser pour la formation.

Facultatif

Valeurs valides :

Valeur par défaut: adadelta

rescale_gradient

Facteur de redimensionnement du gradient.

Facultatif

Valeurs valides : nombre flottant (min : 1e-3, max : 1,0)

Valeur par défaut : 1.0

sub_sample

La fraction des données de formation à échantillonner pour la formation par période (epoch).

Facultatif

Valeurs valides : nombre flottant (min : 0,0, max : 1.0)

Valeur par défaut : 1.0

tolerance

Modification relative maximale dans la fonction perte. Un arrêt anticipé est déclenché lorsque la modification de la fonction perte passe en-dessous de cette valeur au sein du num_patience_epochs dernier nombre de périodes (epoch).

Facultatif

Valeurs valides : nombre flottant (min : 1e-6, max : 0,1)

Valeur par défaut : 0.001

weight_decay

Coefficient de dégradation de pondération. Ajoute la régularisation L2.

Facultatif

Valeurs valides : nombre flottant (min : 0,0, max : 1.0)

Valeur par défaut : 0.0