Optimieren eines BlazingText Modells

Die automatische Modelloptimierung, auch bekannt als Hyperparameter-Optimierung, sucht die beste Version eines Modells, indem viele Aufträge ausgeführt werden, die einen Bereich von Hyperparametern in Ihrem Dataset testen. Sie wählen die optimierbaren Hyperparameter, eine Reihe von Werten für jeden Parameter und eine objektive Metrik aus. Sie wählen die objektive Metrik aus den Metriken aus, die der Algorithmus berechnet. Die automatische Modelloptimierung durchsucht die ausgewählten Hyperparameter nach der Kombination von Werten, die das Modell ergeben, das die objektive Metrik optimiert.

Mehr Informationen über die Modelloptimierung finden Sie unter Führen Sie eine automatische Modelloptimierung durch mit SageMaker.

Vom Algorithmus berechnete BlazingText Metriken

Der BlazingText Word2Vec-Algorithmus (skipgram-cbow, - und -batch_skipgramModi) berichtet während des Trainings über eine einzelne Metrik: train:mean_rho. Diese Metrik wird für WS-353 Word Similarity-Datasets berechnet. Verwenden Sie bei der Optimierung der Hyperparameterwerte für den Word2Vec-Algorithmus diese Metrik als Ziel.

Der BlazingText Textklassifizierungsalgorithmus (supervised-Modus) berichtet während des Trainings auch über eine einzelne Metrik: die validation:accuracy. Verwenden Sie bei der Optimierung der Hyperparameterwerte für den Textklassifizierungsalgorithmus diese Metriken als Ziel.

Metrikname	Beschreibung	Optimierungsrichtung
train:mean_rho	Der mittlere rho (Rangkorrelationskoeffizient von Spearman) in WS-353 Word Similarity-Datasets	Maximieren
validation:accuracy	Die Klassifizierungsgenauigkeit im vom Benutzer angegebenen Validierungsdataset	Maximieren

Optimierbare BlazingText Hyperparameter

Optimierbare Hyperparameters für den Word2Vec-Algorithmus

Optimieren Sie ein Amazon SageMaker BlazingText Word2Vec-Modell mit den folgenden Hyperparametern. Die Hyperparameter, die den größten Einfluss auf die objektiven Word2Vec-Metriken haben, sind: mode, learning_rate, window_size, vector_dim und negative_samples.

Name des Parameters	Parametertyp	Empfohlene Bereiche oder Werte
batch_size	IntegerParameterRange	[8-32]
epochs	IntegerParameterRange	[5-15]
learning_rate	ContinuousParameterRange	MinValue: 0,005, MaxValue0,01
min_count	IntegerParameterRange	[0-100]
mode	CategoricalParameterRange	['batch_skipgram', 'skipgram', 'cbow']
negative_samples	IntegerParameterRange	[5-25]
sampling_threshold	ContinuousParameterRange	MinValue: 0.0001, MaxValue0.001
vector_dim	IntegerParameterRange	[32-300]
window_size	IntegerParameterRange	[1-10]

Optimierbare Hyperparameters für den Textklassifizierungsalgorithmus

Optimieren Sie ein Amazon- SageMaker BlazingText Textklassifizierungsmodell mit den folgenden Hyperparametern.

Name des Parameters	Parametertyp	Empfohlene Bereiche oder Werte
buckets	IntegerParameterRange	[1000000-10000000]
epochs	IntegerParameterRange	[5-15]
learning_rate	ContinuousParameterRange	MinValue: 0,005, MaxValue0,01
min_count	IntegerParameterRange	[0-100]
vector_dim	IntegerParameterRange	[32-300]
word_ngrams	IntegerParameterRange	[1-3]