Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Régler un modèle seq2seq
Le réglage de modèle automatique, ou réglage d'hyperparamètre, détecte la meilleure version d'un modèle en exécutant plusieurs tâches qui testent une plage d'hyperparamètres sur votre jeu de données. Vous choisissez les hyperparamètres réglables, une plage de valeurs pour chacun d'eux et une métrique d'objectif. Vous choisissez la métrique d'objectif parmi les métriques que calcule l'algorithme. Le réglage de modèle automatique recherche parmi les hyperparamètres choisis la combinaison de valeurs qui produira un modèle permettant d'optimiser la métrique d'objectif.
Pour plus d'informations sur le réglage de modèle, consultez Effectuez le réglage automatique du modèle avec SageMaker.
Métriques calculées par l'algorithme seq2seq
L'algorithme seq2seq rapporte trois métriques qui sont calculées au cours de la formation. Choisissez l'une d'entre elles en tant qu'objectif à optimiser lors du réglage des valeurs des hyperparamètres.
Nom de la métrique | Description | Orientation de l'optimisation |
---|---|---|
validation:accuracy |
Précision calculée sur l'ensemble de données de validation. |
Agrandir |
validation:bleu |
Bleu |
Agrandir |
validation:perplexity |
Perplexity |
Réduire |
Hyperparamètres seq2seq réglables
Vous pouvez régler les hyperparamètres suivants pour l'algorithme SageMaker Sequence to Sequence. Les hyperparamètres ayant le plus d'impact sur les métriques d'objectif de seq2seq sont : batch_size
, optimizer_type
, learning_rate
, num_layers_encoder
et num_layers_decoder
.
Nom du paramètre | Type de paramètre | Plages recommandées |
---|---|---|
num_layers_encoder |
IntegerParameterRange |
[1-10] |
num_layers_decoder |
IntegerParameterRange |
[1-10] |
batch_size |
CategoricalParameterRange |
[16,32,64,128,256,512,1024,2048] |
optimizer_type |
CategoricalParameterRange |
['adam', 'sgd', 'rmsprop'] |
weight_init_type |
CategoricalParameterRange |
['xavier', 'uniform'] |
weight_init_scale |
ContinuousParameterRange |
Pour le type xavier : MinValue : 2.0, MaxValue : 3.0 Pour le type uniforme : MinValue : -1.0, MaxValue : 1.0 |
learning_rate |
ContinuousParameterRange |
MinValue: 0,00005, MaxValue 0,2 |
weight_decay |
ContinuousParameterRange |
MinValue: 0,0, MaxValue 0,1 |
momentum |
ContinuousParameterRange |
MinValue: 0,5, MaxValue 0,9 |
clip_gradient |
ContinuousParameterRange |
MinValue: 1,0, MaxValue 5,0 |
rnn_num_hidden |
CategoricalParameterRange |
Applicable uniquement aux réseaux neuronaux récurrents (RNN). [128,256,512,1024,2048] |
cnn_num_hidden |
CategoricalParameterRange |
Applicable uniquement aux réseaux neuronaux convolutifs (CNN). [128,256,512,1024,2048] |
num_embed_source |
IntegerParameterRange |
[256-512] |
num_embed_target |
IntegerParameterRange |
[256-512] |
embed_dropout_source |
ContinuousParameterRange |
MinValue: 0,0, MaxValue 0,5 |
embed_dropout_target |
ContinuousParameterRange |
MinValue: 0,0, MaxValue 0,5 |
rnn_decoder_hidden_dropout |
ContinuousParameterRange |
MinValue: 0,0, MaxValue 0,5 |
cnn_hidden_dropout |
ContinuousParameterRange |
MinValue: 0,0, MaxValue 0,5 |
lr_scheduler_type |
CategoricalParameterRange |
['plateau_reduce', 'fixed_rate_inv_t', 'fixed_rate_inv_sqrt_t'] |
plateau_reduce_lr_factor |
ContinuousParameterRange |
MinValue: 0,1, MaxValue 0,5 |
plateau_reduce_lr_threshold |
IntegerParameterRange |
[1-5] |
fixed_rate_lr_half_life |
IntegerParameterRange |
[10-30] |