Régler un modèle NTM

Le réglage de modèle automatique, ou réglage d'hyperparamètre, détecte la meilleure version d'un modèle en exécutant plusieurs tâches qui testent une plage d'hyperparamètres sur votre jeu de données. Vous choisissez les hyperparamètres réglables, une plage de valeurs pour chacun d'eux et une métrique d'objectif. Vous choisissez la métrique d'objectif parmi les métriques que calcule l'algorithme. Le réglage de modèle automatique recherche parmi les hyperparamètres choisis la combinaison de valeurs qui produira un modèle permettant d'optimiser la métrique d'objectif.

Amazon SageMaker NTM est un algorithme d'apprentissage non supervisé qui apprend les représentations latentes de vastes jeux de données distincts, tels qu'un corpus de documents. Les représentations latentes utilisent des variables qui ne sont pas directement mesurées pour modéliser les observations d'un ensemble de données. Le réglage de modèle automatique sur MNT vous aide à trouver le modèle qui minimise la perte sur les données de formation ou de validation. La perte de formation mesure jusqu'à quel point le modèle convient aux données de formation. La perte de validation mesure jusqu'à quel point le modèle peut généraliser jusqu'aux données sur lesquelles il n'est pas formé. Une perte de formation faible indique qu'un modèle est une bonne solution pour les données de formation. Une perte de validation faible indique qu'un modèle n'est pas surajusté aux données d'entraînement et, par conséquent, il doit être en mesure de modéliser avec succès les documents qui n'ont pas été entraînés. En général, il est préférable que les deux pertes soient de petite taille. Cependant, une réduction trop importante de la perte de formation peut se traduire par un surajustement et accroître la perte de validation, ce qui entraînerait une réduction de la généralité du modèle.

Pour plus d'informations sur le réglage de modèle, consultez Effectuez le réglage automatique du modèle avec SageMaker.

Métriques calculées par l'algorithme NTM

L'algorithme NTM rapporte une seule métrique calculée au cours de la formation : validation:total_loss. La perte totale correspond à la somme de la perte de reconstruction et de la divergence Kullback-Leibler. Lors du réglage des valeurs des hyperparamètres, choisissez cette métrique comme objectif.

Nom de la métrique	Description	Orientation de l'optimisation
validation:total_loss	Perte totale sur ensemble de validation	Réduire

Hyperparamètres NTM réglables

Vous pouvez régler les hyperparamètres suivants pour l'algorithme NTM. Généralement, la définition de valeurs basses pour mini_batch_size et learning_rate se traduit par des pertes de validation moindres, même si la formation peut prendre plus de temps. Les pertes de validation faibles ne produisent pas nécessairement plus de rubriques cohérentes telles qu'interprétées par les humains. L'effet des autres hyperparamètres sur la perte de formation et de validation peut varier d'un ensemble de données à un autre. Pour savoir quelles valeurs sont compatibles, consultez Hyperparamètres NTM.

Nom du paramètre	Type de paramètre	Plages recommandées
encoder_layers_activation	CategoricalParameterRanges	['sigmoid', 'tanh', 'relu']
learning_rate	ContinuousParameterRange	Valeur min. : 1e-4, Valeur max. : 0,1
mini_batch_size	IntegerParameterRanges	Valeur min. : 16, valeur max. : 2048
optimizer	CategoricalParameterRanges	['sgd', 'adam', 'adadelta']
rescale_gradient	ContinuousParameterRange	Valeur min. : 0.1, valeur max. : 1.0
weight_decay	ContinuousParameterRange	Valeur min. : 0, Valeur max. : 1