Optimieren eines LDA-Modells

Die automatische Modelloptimierung, auch bekannt als Hyperparameteroptimierung, sucht die beste Version eines Modells, indem viele Aufträge ausgeführt werden, die einen Bereich von Hyperparametern in Ihrem Datensatz testen. Sie wählen die optimierbaren Hyperparameter, eine Reihe von Werten für jeden Parameter und eine objektive Metrik aus. Sie wählen die objektive Metrik aus den Metriken aus, die der Algorithmus berechnet. Die automatische Modelloptimierung durchsucht die ausgewählten Hyperparameter nach der Kombination von Werten, die das Modell ergeben, das die objektive Metrik optimiert.

LDA ist ein unüberwachter Themenmodellierungsalgorithmus, der versucht, eine Reihe von Beobachtungen (Dokumente) als Mischung unterschiedlicher Kategorien (Themen) zu beschreiben. Die "per-word log-likelihood" (PWLL)-Metrik misst die Wahrscheinlichkeit, dass eine gelernte Reihe von Themen (ein LDA-Modell) ein Testdokument-Datensatz genau beschreibt. Größere PWLL-Werte weisen darauf hin, dass die Testdaten mit größerer Wahrscheinlichkeit vom LDA-Modell beschrieben werden.

Mehr Informationen über die Modelloptimierung finden Sie unter Führen Sie eine automatische Modelloptimierung durch mit SageMaker.

Vom LDA-Algorithmus berechnete Metriken

Der LDA-Algorithmus meldet eine einzelnen Metrik während des Trainings: test:pwll. Wählen Sie beim Optimieren eines Modells diese Metrik als objektive Metrik aus.

Metrikname	Beschreibung	Optimierungsrichtung
test:pwll	Per-word log-likelihood des Testdatensatzes. Die Wahrscheinlichkeit, dass der Testdatensatz vom gelernten LDA-Modell genau beschrieben wird.	Maximieren

Optimierbare LDA-Hyperparameter

Sie können die folgenden Hyperparameter für den LDA-Algorithmus optimieren. Beide Hyperparameter, alpha0 und num_topics, können die objektive LDA-Metrik (test:pwll) beeinflussen. Wenn Sie die optimalen Werte für diese Hyperparameter, die die per-word log-likelihood maximieren und ein präzises LDA-Modell erzeugen, noch nicht kennen, kann die automatische Modelloptimierung weiterhelfen.

Name des Parameters	Parametertyp	Empfohlene Bereiche
alpha0	ContinuousParameterRanges	MinValue: 0,1,: 10 MaxValue
num_topics	IntegerParameterRanges	MinValue: 1, MaxValue: 150