因子分解机超参数 - Amazon SageMaker

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

因子分解机超参数

下表包含因子分解机算法的超参数。这些是由用户设置的参数,以便于从数据中评估模型参数。首先,按字母顺序列出必须设置的所需超参数。接下来,也按字母顺序列出可以设置的可选超参数。

参数名称 描述
feature_dim

输入特征空间的维度。对于稀疏输入,这可能非常高。

必填

有效值:正整数。建议的值范围:[10000,10000000]

num_factors

因子分解的维度。

必填

有效值:正整数。建议的值范围:[2,1000],值 64 通常会得到较好的结果,是一个很好的起点。

predictor_type

预测器的类型。

  • binary_classifier:对于二元分类任务。

  • regressor:对于回归任务。

必填

有效值:字符串:binary_classifierregressor

bias_init_method

偏置项的初始化方法:

  • normal:使用从正态分布采样的随机值对权重进行初始化,平均值为零且标准差由 bias_init_sigma 指定。

  • uniform:使用从 [-bias_init_scale, +bias_init_scale] 指定的范围均匀采样的随机值对权重进行初始化。

  • constant:将权重初始化为 bias_init_value 指定的标量值。

可选

有效值:uniformnormalconstant

默认值:normal

bias_init_scale

偏置项的初始化范围。在 bias_init_method 设置为 uniform 时生效。

可选

有效值:非负浮点值。建议的值范围:[1e-8, 512]。

默认值:无。

bias_init_sigma

偏置项的初始化标准差。在 bias_init_method 设置为 normal 时生效。

可选

有效值:非负浮点值。建议的值范围:[1e-8, 512]。

默认值:0.01

bias_init_value

偏置项的初始值。在 bias_init_method 设置为 constant 时生效。

可选

有效值:浮点值。建议的值范围:[1e-8, 512]。

默认值:无。

bias_lr

偏置项的学习率。

可选

有效值:非负浮点值。建议的值范围:[1e-8, 512]。

默认值:0.1

bias_wd

偏置项的权重衰减。

可选

有效值:非负浮点值。建议的值范围:[1e-8, 512]。

默认值:0.01

clip_gradient

梯度裁剪优化程序参数。通过投射到间隔 [-clip_gradient, +clip_gradient] 来剪辑梯度。

可选

有效值:浮点值

默认值:无。

epochs

要运行的训练纪元数。

可选

有效值:正整数

默认值:1

eps

Epsilon 参数,以避免被 0 除。

可选

有效值:浮点值。建议的值:小。

默认值:无。

factors_init_method

因子分解项的初始化方法:

  • normal 使用从正态分布采样的随机值对权重进行初始化,平均值为零且标准差由 factors_init_sigma 指定。

  • uniform:使用从 [-factors_init_scale, +factors_init_scale] 指定的范围均匀采样的随机值对权重进行初始化。

  • constant:将权重初始化为 factors_init_value 指定的标量值。

可选

有效值:uniformnormalconstant

默认值:normal

factors_init_scale

因子分解项的初始化范围。在 factors_init_method 设置为 uniform 时生效。

可选

有效值:非负浮点值。建议的值范围:[1e-8, 512]。

默认值:无。

factors_init_sigma

因子分解项的初始化标准差。在 factors_init_method 设置为 normal 时生效。

可选

有效值:非负浮点值。建议的值范围:[1e-8, 512]。

默认值:0.001

factors_init_value

因子分解项的初始值。在 factors_init_method 设置为 constant 时生效。

可选

有效值:浮点值。建议的值范围:[1e-8, 512]。

默认值:无。

factors_lr

因子分解项的学习率。

可选

有效值:非负浮点值。建议的值范围:[1e-8, 512]。

默认值:0.0001

factors_wd

因子分解项的权重衰减。

可选

有效值:非负浮点值。建议的值范围:[1e-8, 512]。

默认值:0.00001

linear_lr

线性项的学习率。

可选

有效值:非负浮点值。建议的值范围:[1e-8, 512]。

默认值:0.001

linear_init_method

线性项的初始化方法:

  • normal 使用从正态分布采样的随机值对权重进行初始化,平均值为零且标准差由 linear_init_sigma 指定。

  • uniform 使用从 [-linear_init_scale, +linear_init_scale] 指定的范围均匀采样的随机值对权重进行初始化。

  • constant 将权重初始化为 linear_init_value 指定的标量值。

可选

有效值:uniformnormalconstant

默认值:normal

linear_init_scale

线性项的初始化范围。在 linear_init_method 设置为 uniform 时生效。

可选

有效值:非负浮点值。建议的值范围:[1e-8, 512]。

默认值:无。

linear_init_sigma

线性项的初始化标准差。在 linear_init_method 设置为 normal 时生效。

可选

有效值:非负浮点值。建议的值范围:[1e-8, 512]。

默认值:0.01

linear_init_value

线性项的初始值。在 linear_init_method 设置为 constant 时生效。

可选

有效值:浮点值。建议的值范围:[1e-8, 512]。

默认值:无。

linear_wd

线性项的权重衰减。

可选

有效值:非负浮点值。建议的值范围:[1e-8, 512]。

默认值:0.001

mini_batch_size

用于训练的小批次大小。

可选

有效值:正整数

默认值:1000

rescale_grad

梯度重新扩展优化程序参数。如果设置,则在更新之前将梯度与 rescale_grad 相乘。通常选择为 1.0/batch_size

可选

有效值:浮点值

默认值:无。