Sequence to Sequence モデルを調整する

自動モデル調整は、ハイパーパラメータ調整とも呼ばれ、データセットのさまざまなハイパーパラメータをテストする多数のジョブを実行して、モデルの最適なバージョンを見つけます。調整可能なハイパーパラメータ、それぞれの値の範囲、および目標メトリクスを選択します。アルゴリズムが計算するメトリクスから目標メトリクスを選択します。自動モデル調整は、選択されたハイパーパラメータを検索して、目標メトリクスを最適化するモデルになる値の組み合わせを見つけます。

モデル調整の詳細については、「を使用して自動モデルチューニングを実行します。 SageMaker」を参照してください。

Sequence to Sequence アルゴリズムで計算されるメトリクス

Sequence to Sequence アルゴリズムは、トレーニング中に計算される 3 つのメトリクスを報告します。ハイパーパラメータ値を調整するときに最適化する目標として、いずれか 1 つを選択します。

メトリクス名	説明	最適化の方向
validation:accuracy	検証データセットで計算される精度。	最大化
validation:bleu	検証データセットで計算される BLEU スコア。BLEU の計算は高価であるため、検証データセットのランダムなサブサンプルに対して BLEU を計算するように選択すると、全体的なトレーニングプロセスを加速することができます。サブサンプルを指定するには、bleu_sample_size パラメータを使用します。	最大化
validation:perplexity	Perplexity は、検証データセットで計算される損失関数です。Perplexity は、経験的サンプルとモデル予測の分布との間の交差エントロピーを測定するため、モデルがサンプル値をどの程度予測できるかの尺度を提供します。サンプルの予測に優れたモデルは、Perplexity が低くなります。	最小化

Sequence to Sequence ハイパーパラメータを調整する

SageMaker Sequence to Sequence アルゴリズムでは、次のハイパーパラメータを調整できます。Sequence to Sequence の目標メトリクスに最も大きな影響を与えるハイパーパラメータは、batch_size、optimizer_type、learning_rate、num_layers_encoder、および num_layers_decoder です。

Parameter Name	パラメータタイプ	推奨範囲
num_layers_encoder	IntegerParameterRange	[1-10]
num_layers_decoder	IntegerParameterRange	[1-10]
batch_size	CategoricalParameterRange	[16,32,64,128,256,512,1024,2048]
optimizer_type	CategoricalParameterRange	['adam', 'sgd', 'rmsprop']
weight_init_type	CategoricalParameterRange	['xavier', 'uniform']
weight_init_scale	ContinuousParameterRange	xavier 型の場合： MinValue: 2.0, MaxValue: 3.0 ユニフォーム型の場合 MinValue: -1.0, MaxValue: 1.0
learning_rate	ContinuousParameterRange	MinValue: 0.0005、 MaxValue0.2
weight_decay	ContinuousParameterRange	MinValue: 0.0、 MaxValue: 0.1
momentum	ContinuousParameterRange	MinValue: 0.5、 MaxValue: 0.9
clip_gradient	ContinuousParameterRange	MinValue: 1.0、 MaxValue: 5.0
rnn_num_hidden	CategoricalParameterRange	再帰型ニューラルネットワーク (RNN) にのみ適用できます。[128,256,512,1024,2048]
cnn_num_hidden	CategoricalParameterRange	畳み込みニューラルネットワーク (CNN) にのみ適用できます。[128,256,512,1024,2048]
num_embed_source	IntegerParameterRange	[256-512]
num_embed_target	IntegerParameterRange	[256-512]
embed_dropout_source	ContinuousParameterRange	MinValue: 0.0、 MaxValue: 0.5
embed_dropout_target	ContinuousParameterRange	MinValue: 0.0、 MaxValue: 0.5
rnn_decoder_hidden_dropout	ContinuousParameterRange	MinValue: 0.0、 MaxValue: 0.5
cnn_hidden_dropout	ContinuousParameterRange	MinValue: 0.0、 MaxValue: 0.5
lr_scheduler_type	CategoricalParameterRange	['plateau_reduce', 'fixed_rate_inv_t', 'fixed_rate_inv_sqrt_t']
plateau_reduce_lr_factor	ContinuousParameterRange	MinValue: 0.1、 MaxValue: 0.5
plateau_reduce_lr_threshold	IntegerParameterRange	[1-5]
fixed_rate_lr_half_life	IntegerParameterRange	[10-30]