Ottimizzazione di un modello LDA

L'ottimizzazione automatica dei modelli, nota anche come ottimizzazione degli iperparametri, trova la versione migliore di un modello eseguendo molti processi che testano un intervallo di iperparametri sul set di dati. Scegli gli iperparametri ottimizzabili, un intervallo di valori per ciascuno di essi e un parametro obiettivo. Puoi scegliere il parametro obiettivo tra i parametri calcolati dall'algoritmo. L'ottimizzazione automatica del modello ricerca gli iperparametri scelti per trovare la combinazione di valori che restituisce il modello che ottimizza il parametro obiettivo.

LDA è un algoritmo di modellazione dell'argomento non supervisionato che tenta di descrivere un set di osservazioni (documenti) come una combinazione di categorie distinte (argomenti). Il parametro "per-word log-likelihood" (PWLL) misura la probabilità che un set di argomenti addestrato (modello LDA) descriva accuratamente un set di dati del documento di test. I valori maggiori di PWLL indicano che i dati del test vengono descritti con maggiore probabilità dal modello LDA.

Per ulteriori informazioni sull'ottimizzazione del modello, consulta Esegui l'ottimizzazione automatica del modello con SageMaker.

Parametri calcolati dall'algoritmo LDA

L'algoritmo LDA usa un singolo parametro durante l’addestramento: test:pwll. Quando ottimizzi un modello, scegli questo parametro come obiettivo.

Nome parametro	Descrizione	Direzione dell'ottimizzazione
test:pwll	Per-word log-likelihood sul set di dati di test. La probabilità che il set di dati di test è accuratamente descritto dal modello LDA appreso.	Massimizza

Iperparametri LDA ottimizzabili

Puoi ottimizzare i seguenti iperparametri per l'algoritmo LDA. Entrambi gli iperparametri alpha0 e num_topics, possono interessare il parametro obiettivo LDA (test:pwll). Se non conosci i valori ottimali per questi iperparametri che massimizzano la per-word log-likelihood e producono un modello LDA accurato, l'ottimizzazione automatica dei modelli può aiutare a trovarli.

Nome parametro	Tipo parametro	Intervalli consigliati
alpha0	ContinuousParameterRanges	MinValue: MaxValue 0,1,: 10
num_topics	IntegerParameterRanges	MinValue: 1, MaxValue: 150