調校序列對序列模型

「自動模型調校」，又稱為超參數調校，會透過在您的資料集上，執行許多測試超參數範圍的任務，來尋找最佳版本的模型。您可以選擇可調校的超參數、每一個超參數的值範圍，及目標指標。您可以從演算法運算的指標中選擇目標指標。自動模型調校會搜尋所選擇的超參數，以找出產生之模型可最佳化目標指標的值組合。

如需模型調校的詳細資訊，請參閱 執行自動模型調整 SageMaker。

序列對序列演算法所運算的指標

序列對序列演算法會報告三個在訓練期間運算的指標。請在調校超參數值時選擇其中一個做為目標，以進行最佳化。

指標名稱	描述	最佳化方向
validation:accuracy	驗證資料集上運算的準確度。	最大化
validation:bleu	驗證資料集上運算的 Bleu 分數。因為 BLEU 運算相當耗費資源，您可以選擇在驗證資料集的隨機部分樣本上運算 BLEU，來加速整體訓練程序。使用 bleu_sample_size 參數來指定部分樣本。	最大化
validation:perplexity	Perplexity，即在驗證資料集上運算的損失函數。Perplexity (困惑度) 會測量經驗樣本和模型所預測分布之間的交叉熵，藉此提供模型預測樣本值良好程度的指標。預測樣本時表現較佳的模型，困惑度較低。	最小化

可調校序列對序列超參數

您可以針對序列對序列演算法調整下 SageMaker 列超參數。對序列對序列目標指標影響程度最大的超參數為：batch_size、optimizer_type、learning_rate、num_layers_encoder 和 num_layers_decoder。

參數名稱	參數類型	建議範圍
num_layers_encoder	IntegerParameterRange	[1-10]
num_layers_decoder	IntegerParameterRange	[1-10]
batch_size	CategoricalParameterRange	[16,32,64,128,256,512,1024,2048]
optimizer_type	CategoricalParameterRange	['adam', 'sgd', 'rmsprop']
weight_init_type	CategoricalParameterRange	['xavier', 'uniform']
weight_init_scale	ContinuousParameterRange	對於較重的類型: MinValue: 2.0, MaxValue: 3.0 對於統一類型: MinValue: -1.0, MaxValue: 1.0
learning_rate	ContinuousParameterRange	MinValue: 零點 MaxValue
weight_decay	ContinuousParameterRange	MinValue：0， MaxValue
momentum	ContinuousParameterRange	MinValue MaxValue：
clip_gradient	ContinuousParameterRange	MinValue MaxValue：
rnn_num_hidden	CategoricalParameterRange	僅適用於遞歸神經網路 (RNN)。[128,256,512,1024,2048]
cnn_num_hidden	CategoricalParameterRange	僅適用於卷積神經網路 (CNN)。[128,256,512,1024,2048]
num_embed_source	IntegerParameterRange	[256-512]
num_embed_target	IntegerParameterRange	[256-512]
embed_dropout_source	ContinuousParameterRange	MinValue: 0, MaxValue: 0.5
embed_dropout_target	ContinuousParameterRange	MinValue: 0, MaxValue: 0.5
rnn_decoder_hidden_dropout	ContinuousParameterRange	MinValue: 0, MaxValue: 0.5
cnn_hidden_dropout	ContinuousParameterRange	MinValue: 0, MaxValue: 0.5
lr_scheduler_type	CategoricalParameterRange	['plateau_reduce', 'fixed_rate_inv_t', 'fixed_rate_inv_sqrt_t']
plateau_reduce_lr_factor	ContinuousParameterRange	MinValue：零 MaxValue
plateau_reduce_lr_threshold	IntegerParameterRange	[1-5]
fixed_rate_lr_half_life	IntegerParameterRange	[10-30]