Ottimizzazione di un modello K-Means

L'ottimizzazione automatica dei modelli, nota anche come ottimizzazione degli iperparametri, trova la versione migliore di un modello eseguendo molti processi che testano un intervallo di iperparametri sul set di dati. Scegli gli iperparametri ottimizzabili, un intervallo di valori per ciascuno di essi e un parametro obiettivo. Puoi scegliere il parametro obiettivo tra i parametri calcolati dall'algoritmo. L'ottimizzazione automatica del modello ricerca gli iperparametri scelti per trovare la combinazione di valori che restituisce il modello che ottimizza il parametro obiettivo.

L'algoritmo Amazon SageMaker k-means è un algoritmo non supervisionato che raggruppa i dati in cluster i cui membri sono il più simili possibile. Poiché non è supervisionato, non utilizza un set di dati di convalida per ottimizzare gli iperparametri. Richiede invece un set di dati di test ed emette parametri che dipendono dalla distanza quadratica tra i punti di dati e i centroidi del cluster finale alla fine di ogni esecuzione di addestramento. Per trovare il modello che restituisce i cluster più stretti nel set di dati di test, puoi utilizzare un processo di ottimizzazione iperparametri. I cluster ottimizzano la somiglianza dei membri.

Per ulteriori informazioni sull'ottimizzazione del modello, consulta Esegui l'ottimizzazione automatica del modello con SageMaker.

Parametri calcolati dall'algoritmo K-Means

L'algoritmo k-means calcola i seguenti parametri durante l’addestramento. Quando ottimizzi un modello, scegli uno di questi parametri come obiettivo.

Nome parametro	Descrizione	Direzione dell'ottimizzazione
test:msd	Distanza quadratica media tra ciascun record nel set di test e il centro più vicino del modello.	Minimizza
test:ssd	Somma delle distanze quadratiche medie tra ciascun record nel set di test e il centro più vicino del modello.	Minimizza

Iperparametri K-Means ottimizzabili

Ottimizza il modello Amazon SageMaker k-means con i seguenti iperparametri. Gli iperparametri che hanno il maggiore impatto sui parametri obiettivo k-means sono: mini_batch_size, extra_center_factor e init_method. L'ottimizzazione dell'iperparametro epochs generalmente produce miglioramenti minori.

Nome parametro	Tipo parametro	Intervalli consigliati
epochs	IntegerParameterIntervalli	MinValue: 1:10 MaxValue
extra_center_factor	IntegerParameterIntervalli	MinValue: 4:10 MaxValue
init_method	CategoricalParameterIntervalli	['kmeans++', 'random']
mini_batch_size	IntegerParameterIntervalli	MinValue: 3000, 1500 MaxValue