文字分類 - TensorFlow 超參數 - Amazon SageMaker

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

文字分類 - TensorFlow 超參數

超參數是在機器學習模型開始學習之前設定的參數。Amazon SageMaker 內建物件偵測 TensorFlow 演算法支援下列超參數。如需有關超參數調校的資訊,請參閱調整文字分類 - TensorFlow 模型

參數名稱 描述
batch_size

訓練的批次大小。對於具有多個 的執行個體的訓練GPUs,整個 都會使用此批次大小GPUs。

有效值:正整數。

預設值:32

beta_1

"adam""adamw" 最佳化工具的 beta1。代表第一時間預估的指數衰減率。若是其他最佳化工具則忽略。

有效值:浮點數,範圍:[0.0,1.0]。

預設值:0.9

beta_2

"adam""adamw" 最佳化工具的 beta2。代表第二時間預估的指數衰減率。若是其他最佳化工具則忽略。

有效值:浮點數,範圍:[0.0,1.0]。

預設值:0.999

dropout_rate

頂部分類層中退出層的退出率。僅在將 reinitialize_top_layer 設定為 "True" 時使用。

有效值:浮動、範圍:[0.0, 1.0]。

預設值:0.2

early_stopping

設定為 "True" 以在訓練期間使用提前停止邏輯。如果 "False",則未使用提前停止。

有效值:字串,可以是任一:("True""False")。

預設值:"False"

early_stopping_min_delta 符合改善資格所需的變更下限。小於 early_stopping_min_delta 值的絕對變更不符合改善資格。僅在 early_stopping 設為 "True" 時才使用。

有效值:浮動、範圍:[0.0, 1.0]。

預設值:0.0

early_stopping_patience

在沒有任何改善的情況下,繼續訓練的週期數量。僅在 early_stopping 設為 "True" 時才使用。

有效值:正整數。

預設值:5

epochs

訓練 epoch 的數量。

有效值:正整數。

預設值:10

epsilon

用於 "adam""rmsprop""adadelta""adagrad" 最佳化工具的 epsilon。通常會設定為較小值,避免要將該值除以 0。若是其他最佳化工具則忽略。

有效值:浮點數,範圍:[0.0,1.0]。

預設值:1e-7

initial_accumulator_value

累加器的起始值或 "adagrad" 最佳化工具的每個參數動量值。若是其他最佳化工具則忽略。

有效值:浮點數,範圍:[0.0,1.0]。

預設值:0.0001

learning_rate 最佳化工具的學習速率。

有效值:浮點數,範圍:[0.0,1.0]。

預設值:0.001

momentum

"sgd""nesterov" 最佳化工具的動量。若是其他最佳化工具則忽略。

有效值:浮點數,範圍:[0.0,1.0]。

預設值:0.9

optimizer

最佳化工具類型。如需詳細資訊,請參閱 TensorFlow 文件中的 Optimizer

有效值:字串,下列任何一項:("adamw""adam""sgd""nesterov""rmsprop" "adagrad""adadelta")。

預設值:"adam"

regularizers_l2

分類層中密集層的 L2 正規化因素。僅在 reinitialize_top_layer 設為 "True" 時才使用。

有效值:浮動、範圍:[0.0, 1.0]。

預設值:0.0001

reinitialize_top_layer

如果設定為 "Auto",則在微調期間重新初始化頂部分類層參數。對於增量訓練,除非設定為 "True",否則不會重新初始化頂部分類層參數。

有效值:字串,下列任一項:("Auto""True""False")。

預設值:"Auto"

rho

"adadelta""rmsprop"最佳化工具的漸層折扣因素。若是其他最佳化工具則忽略。

有效值:浮點數,範圍:[0.0,1.0]。

預設值:0.95

train_only_on_top_layer

如果 "True",則僅對頂部分類層參數進行微調。如果 "False",則微調所有模型參數。

有效值:字串,可以是:("True""False")。

預設值:"False"

validation_split_ratio

要隨機分割以建立驗證資料的訓練資料分數。只有在未透過 validation 頻道提供驗證資料時才使用。

有效值:浮點數,範圍:[0.0,1.0]。

預設值:0.2

warmup_steps_fraction

漸層更新步驟總數的分數,其中學習速率從 0 增加到初始學習速率作為暖機。僅與 adamw 最佳化工具搭配使用。

有效值:浮點數,範圍:[0.0,1.0]。

預設值:0.1