Object2Vec ハイパーパラメータ

CreateTrainingJob リクエストで、トレーニングアルゴリズムを指定します。アルゴリズム固有のハイパーパラメータをマップとして string-to-string指定することもできます。次の表に、Object2Vec トレーニングアルゴリズムのハイパーパラメータを示します。

Parameter Name	説明
enc0_max_seq_len	enc0 エンコーダーの最大シーケンス長。 必須 有効な値: 1 ≤ 整数 ≤ 5000
enc0_vocab_size	enc0 トークンの語彙サイズ。 必須 有効な値: 2 ≤ 整数 ≤ 3000000
bucket_width	バケット処理が有効になっている場合のデータシーケンス長の許容差。バケット処理を有効にするには、このパラメータにゼロ以外の値を指定します。 オプション 有効な値: 0 ≤ 整数 ≤ 100 デフォルト値: 0 (バケット処理なし)
comparator_list	2 つの埋め込みを比較する方法のカスタマイズに使用されるリスト。Object2Vec 比較演算子レイヤーは、両方のエンコーダーからエンコードを入力として受け取り、単一のベクトルを出力します。このベクトルはサブベクトルの連結です。comparator_list に渡される文字列値と、それらが渡される順序によって、これらのサブベクトルの組み立て方法が決まります。たとえば、comparator_list="hadamard, concat" の場合、比較演算子は、2 つのエンコーディングのアダマール積と 2 つのエンコーディングの連結を連結してベクトルを作成します。一方、comparator_list="hadamard" の場合、比較演算子は 2 つのエンコーディングのみのアダマール積としてベクトルを構成します。 オプション 有効な値: 3 つの 2 項演算子の名前の任意の組み合わせを含む文字列: hadamard、concat、または abs_diff。現在 Object2Vec アルゴリズムでは、2 つのベクトルエンコーディングのディメンションが同じになるよう義務付けています。これらの演算子によって、次のようにサブベクトルが生成されます。 hadamard: 2 つのエンコーディングのアダマール積（要素単位) としてベクトルを構築します。 concat: 2 つのエンコーディングの連結としてベクトルを構築します。 abs_diff: 2 つのエンコーディング間の絶対差としてベクトルを構築します。 デフォルト値: "hadamard, concat, abs_diff"
dropout	ネットワークレイヤーのドロップアウト確率。ドロップアウトは、ニューラルネットワークで使用される正則化の一種であり、共依存ニューロンをトリミングすることで過剰適合を減らします。 オプション 有効な値: 0.0 ≤ 浮動小数点数 ≤ 1.0 デフォルト値: 0.0
early_stopping_patience	早期停止前に許容される改善なしの連続エポック数が適用されます。改善は、early_stopping_tolerance ハイパーパラメータで定義されます。 オプション 有効な値: 1 ≤ 整数 ≤ 5 デフォルト値： 3
early_stopping_tolerance	early_stopping_patience ハイパーパラメータで指定される連続するエポックが複数回繰り返された後で早期停止が起きるのを回避するために、アルゴリズムが、連続するエポック間で達成しなければならない損失関数の減少。 オプション 有効な値: 0.000001 ≤ 浮動小数点数 ≤ 0.1 デフォルト値: 0.01
enc_dim	埋め込みレイヤーの出力の次元。 オプション 有効な値: 4 ≤ 整数 ≤ 10000 デフォルト値: 4096
enc0_network	enc0 エンコーダーのネットワークモデル。 オプション 有効な値: hcnn、bilstm、または pooled_embedding hcnn: 階層型畳み込みニューラルネットワーク。 bilstm: 双方向の長期メモリネットワーク (biLSTM）。信号は時間的に前後に伝播されます。これは、シーケンシャル学習タスクに適した再帰型ニューラルネットワーク (RNN) アーキテクチャです。 pooled_embedding: 入力内のすべてのトークンの埋め込みを平均化します。 デフォルト値: hcnn
enc0_cnn_filter_width	畳み込みニューラルネットワーク (CNN) enc0 エンコーダーのフィルター幅。 条件付き 有効な値: 1 ≤ 整数 ≤ 9 デフォルト値： 3
enc0_freeze_pretrained_embedding	enc0 の事前トレーニング済み埋め込み重みを凍結するかどうか。 条件付き 有効な値: True または False デフォルト値: True
enc0_layers	enc0 エンコーダーのレイヤーの数。 条件付き 有効な値: auto または 1 ≤ 整数 ≤ 4 hcnn では、auto は 4 を意味します。 bilstm では、auto は 1 を意味します。 pooled_embedding の auto では、レイヤーの数は無視されます。 デフォルト値: auto
enc0_pretrained_embedding_file	補助データチャネル内の事前トレーニング済み enc0 トークン埋め込みファイルのファイル名。 条件付き 有効な値: 英数字、アンダースコア、またはピリオドを含む文字列。[A-Za-z0-9\.\_] デフォルト値: "" (空の文字列)
enc0_token_embedding_dim	enc0 トークン埋め込みレイヤーの出力次元。 条件付き 有効な値: 2 ≤ 整数 ≤ 1000 デフォルト値: 300
enc0_vocab_file	事前トレーニング済みの enc0 トークン埋め込みベクトルを数値語彙 にマッピングするための語彙ファイルIDs。 条件付き 有効な値: 英数字、アンダースコア、またはピリオドを含む文字列。[A-Za-z0-9\.\_] デフォルト値: "" (空の文字列)
enc1_network	enc1 エンコーダーのネットワークモデル。enc1 エンコーダーで、enc0 と同じネットワークを使用する場合は (ハイパーパラメータ値を含む)、値を enc0 に設定します。 注記 enc0 および enc1 エンコーダーネットワークに同一の対称アーキテクチャがあっても、これらのネットワークの共有パラメータ値は共有されていません。 オプション 有効な値: enc0、hcnn、bilstm、または pooled_embedding enc0: enc0 エンコーダーのネットワークモデル。 hcnn: 階層型畳み込みニューラルネットワーク。 bilstm: 双方向の LSTM。信号が時間内で前後に伝播されます。これは、シーケンシャル学習タスクに適した再帰型ニューラルネットワーク (RNN) アーキテクチャです。 pooled_embedding: 入力内のすべてのトークンの埋め込みの平均。 デフォルト値: enc0
enc1_cnn_filter_width	enc1 CNN エンコーダーのフィルター幅。 条件付き 有効な値: 1 ≤ 整数 ≤ 9 デフォルト値： 3
enc1_freeze_pretrained_embedding	enc1 の事前トレーニング済み埋め込み重みを凍結するかどうか。 条件付き 有効な値: True または False デフォルト値: True
enc1_layers	enc1 エンコーダーのレイヤーの数。 条件付き 有効な値: auto または 1 ≤ 整数 ≤ 4 hcnn では、auto は 4 を意味します。 bilstm では、auto は 1 を意味します。 pooled_embedding の auto では、レイヤーの数は無視されます。 デフォルト値: auto
enc1_max_seq_len	enc1 エンコーダーの最大シーケンス長。 条件付き 有効な値: 1 ≤ 整数 ≤ 5000
enc1_pretrained_embedding_file	補助データチャネル内の事前トレーニング済み enc1 トークン埋め込みファイルのファイル名。 条件付き 有効な値: 英数字、アンダースコア、またはピリオドを含む文字列。[A-Za-z0-9\.\_] デフォルト値: "" (空の文字列)
enc1_token_embedding_dim	enc1 トークン埋め込みレイヤーの出力次元。 条件付き 有効な値: 2 ≤ 整数 ≤ 1000 デフォルト値: 300
enc1_vocab_file	事前トレーニング済みの enc1 トークン埋め込みを語彙 にマッピングするための語彙ファイルIDs。 条件付き 有効な値: 英数字、アンダースコア、またはピリオドを含む文字列。[A-Za-z0-9\.\_] デフォルト値: "" (空の文字列)
enc1_vocab_size	enc0 トークンの語彙サイズ。 条件付き 有効な値: 2 ≤ 整数 ≤ 3000000
epochs	トレーニングのために実行するエポックの数 オプション 有効な値: 1 ≤ 整数 ≤ 100 デフォルト値: 30
learning_rate	トレーニングの学習レート。 オプション 有効な値: 1.0E-6 ≤ 浮動小数点数 ≤ 1.0 デフォルト値: 0.0004
mini_batch_size	トレーニング中に optimizer 用に分割されるデータセットのバッチサイズ。 オプション 有効な値: 1 ≤ 整数 ≤ 10000 デフォルト値: 32
mlp_activation	多層パーセプトロン (MLP) レイヤーのアクティベーション関数のタイプ。 オプション 有効な値: tanh、relu、または linear tanh: 双曲線正接 relu: 整流線形ユニット (ReLU) linear: 線形関数 デフォルト値: linear
mlp_dim	MLP レイヤーからの出力のディメンション。 オプション 有効な値: 2 ≤ 整数 ≤ 10000 デフォルト値: 512
mlp_layers	ネットワーク内のMLPレイヤーの数。 オプション 有効な値: 0 ≤ 整数 ≤ 10 デフォルト値: 2
negative_sampling_rate	アルゴリズムのトレーニングを支援するために生成された、負のサンプルと、ユーザーから提供された正のサンプルの比率。負のサンプルは、実際には発生する可能性が低いデータを表し、トレーニング用に負のラベルが付けられています。観察された正のサンプルとそれ以外の負のサンプルを区別するためにモデルをトレーニングしやすくなります。トレーニングに使用される正のサンプルに対する負のサンプルの比率を指定するには、値を正の整数に設定します。たとえば、すべてのサンプルが正である入力データでアルゴリズムをトレーニングし、negative_sampling_rate を 2 に設定した場合、Object2Vec アルゴリズムでは、正のサンプルごとに 2 つの負のサンプルが内部で生成されます。トレーニング中に負のサンプルを生成または使用しない場合は、値を 0 に設定します。 オプション 有効な値: 0 ≤ 整数 デフォルト値: 0 (オフ)
num_classes	分類トレーニングのクラス数。Amazon SageMaker AI は、回帰の問題に対してこのハイパーパラメータを無視します。 オプション 有効な値: 2 ≤ 整数 ≤ 30 デフォルト値: 2
optimizer	オプティマイザのタイプ。 オプション 有効な値: adadelta、adagrad、adam、sgd、または rmsprop。 adadelta: 勾配降下の次元ごとの学習レート手法 adagrad: 適応勾配アルゴリズム adam: 適応モーメント推定アルゴリズム sgd: 確率的勾配降下法 rmsprop: 二乗平均平方根の伝搬 デフォルト値: adam
output_layer	タスクが回帰または分類であると指定する出力レイヤーのタイプ。 オプション 有効な値: softmax または mean_squared_error softmax: 分類に使用される Softmax 関数。 mean_squared_error: 回帰MSEに使用される 。 デフォルト値: softmax
tied_token_embedding_weight	両方のエンコーダーで共有埋め込みレイヤーを使用するかどうか。両方のエンコーダへの入力で同じトークンレベルのユニットを使用する場合は、共有トークン埋め込みレイヤーを使用します。たとえば、ドキュメントのコレクションで、1 つのエンコーダーでセンテンスをエンコードし、別のエンコーダーでドキュメント全体をエンコードする場合は、共有トークンの埋め込みレイヤーを使用できます。これは、ドキュメントとドキュメントのいずれも、同じ語彙からの単語トークンで構成されているためです。 オプション 有効な値: True または False デフォルト値: False
token_embedding_storage_type	トレーニング中に使用されるグラデーション更新のモード: dense モードが使用されると、グラデーションのほとんどの行の値がゼロであっても、オプティマイザはトークン埋め込みレイヤーのフルグラデーションのマトリックスを計算します。sparse モードを使用すると、オプティマイザはミニバッチで実際に使用されているグラデーションの行のみを保存します。アルゴリズムで遅延グラデーション更新を実行して、ゼロ以外の行でのみグラデーションを計算し、トレーニングはスピードアップする場合は、row_sparse を指定します。次のように、値を row_sparse に設定すると、他のハイパーパラメータに使用できる値が制限されます。 optimizer ハイパーパラメータはadam、adagrad、または sgd に設定する必要があります。それ以外の場合、アルゴリズムによって CustomerValueError がスローされます。 アルゴリズムによって、バケット作成は自動的に無効になり、bucket_width ハイパーパラメータは 0 に設定されます。 オプション 有効な値: dense または row_sparse デフォルト値: dense
weight_decay	最適化に使用される重み減衰パラメータ。 オプション 有効な値: 0 ≤ 浮動小数点数 ≤ 10000 デフォルト値: 0 (減衰なし)