BlazingText 超參數 - Amazon SageMaker

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

BlazingText 超參數

開始以 CreateTrainingJob 請求進行訓練工作時,會指定訓練演算法。您也可以將演算法特定的超參數指定為 map。 string-to-string BlazingText 演算法的超參數取決於您使用的模式:Word2Vec (無監督) 和文字分類 (受監督)。

Word2Vec 超參數

下表列出 Amazon 提供的 BlazingText Word2Vec 培訓演算法的超參數。 SageMaker

參數名稱 描述
mode

用於訓練的 Word2vec 架構。

必要

有效值:batch_skipgramskipgramcbow

batch_size

mode 設為 batch_skipgram 時,每批次的量。請設定為介於 10 至 20 之間的數字。

選用

有效值:正整數

預設值:11

buckets

針對部分字組使用的雜湊儲存貯體數。

選用

有效值:正整數

預設值:2000000

epochs

完整通過訓練資料傳遞的次數。

選用

有效值:正整數

預設值:5

evaluation

是否使用 WordSimilarity-353 測試評估訓練過的模型。

選用

有效值:(布林值) TrueFalse

預設值:True

learning_rate

用於參數更新的步驟大小。

選用

有效值:正浮點

預設值:0.05

min_char

用於部分字組/字元 n-grams 的最小字元數。

選用

有效值:正整數

預設值:3

min_count

出現次數小於 min_count 的文字會遭到捨棄。

選用

有效值:非負整數

預設值:5

max_char

用於部分字組/字元 n-grams 的最大字元數。

選用

有效值:正整數

預設值:6

negative_samples

負面樣本共享策略的負面樣本數。

選用

有效值:正整數

預設值:5

sampling_threshold

文字出現次數的閾值。訓練資料中出現頻率較高的文字會隨機縮小抽樣。

選用

有效值:正分數。建議範圍是 (0, 1e-3]

預設值:0.0001

subwords

是否要學習部分字組內嵌。

選用

有效值:(布林值) TrueFalse

預設值:False

vector_dim

演算法所學習的詞向量的維度。

選用

有效值:正整數

預設值:100

window_size

上下文範圍的大小。內容範圍是指訓練所用目標文字前後的文字數量。

選用

有效值:正整數

預設值:5

文字分類超參數

下表列出 Amazon SageMaker 提供的文字分類訓練演算法的超參數。

注意

雖然有些參數在文字分類和 Word2Vec 模式中都有出現,但根據內容,可能會有不同的意義。

參數名稱 描述
mode

訓練模式。

必要

有效值:supervised

buckets

針對文字 n-grams 使用的雜湊儲存貯體數。

選用

有效值:正整數

預設值:2000000

early_stopping

若驗證準確度並未在 patience 個 epoch 數之後改善,是否要停止訓練。請注意,如果使用提前停止,則需要驗證通道。

選用

有效值:(布林值) TrueFalse

預設值:False

epochs

通過訓練資料的完成次數。

選用

有效值:正整數

預設值:5

learning_rate

用於參數更新的步驟大小。

選用

有效值:正浮點

預設值:0.05

min_count

出現次數小於 min_count 的文字會遭到捨棄。

選用

有效值:非負整數

預設值:5

min_epochs

呼叫提前停止邏輯前要訓練的最小 epoch 數。

選用

有效值:正整數

預設值:5

patience

驗證組上沒有任何進展時,在套用提前停止前應等待的 epoch 數。只有在 early_stoppingTrue 時才會使用。

選用

有效值:正整數

預設值:4

vector_dim

內嵌層的維度。

選用

有效值:正整數

預設值:100

word_ngrams

要使用的文字 n-gram 特徵數。

選用

有效值:正整數

預設值:2