Ajustar um modelo k-means

O ajuste automático de modelos, também conhecido como ajuste de hiperparâmetros, localiza a melhor versão de um modelo executando vários trabalhos que testam uma série de hiperparâmetros no seu conjunto de dados. Você escolhe os hiperparâmetros ajustáveis, um intervalo de valores para cada um e uma métrica objetiva. Você escolhe a métrica objetiva entre as métricas que o algoritmo calcula. O ajuste de modelo automático pesquisa os hiperparâmetros escolhidos para encontrar a combinação de valores que resultam no modelo que otimiza a métrica objetiva.

O algoritmo Amazon SageMaker AI k-means é um algoritmo não supervisionado que agrupa dados em clusters cujos membros são os mais semelhantes possíveis. Por não ser supervisionado, ele não usa um conjunto de dados de validação com o qual os hiperparâmetros podem otimizar. Porém, ele usa um conjunto de dados de teste e emite métricas que dependem da distância ao quadrado entre os pontos de dados e os centroides finais do cluster no final de cada execução de treinamento. Para encontrar o modelo que reporta os clusters mais apertados no conjunto de dados de teste, você pode usar um trabalho de ajuste de hiperparâmetros. Os clusters otimizam a similaridade de seus membros.

Para mais informações sobre o ajuste de modelos, consulte Ajuste automático do modelo com SageMaker IA.

Métricas calculadas pelo algoritmo k-means

O algoritmo k-means computa as seguintes métricas durante o treinamento. Ao ajustar um modelo, escolha uma dessas métricas como a métrica objetiva.

Nome da métrica	Descrição	Direção de otimização
test:msd	Média das distâncias quadradas entre cada registro no conjunto de teste e o centro mais próximo do modelo.	Minimizar
test:ssd	Soma das distâncias quadradas entre cada registro no conjunto de teste e o centro mais próximo do modelo.	Minimizar

Hiperparâmetros ajustáveis de k-means

Ajuste o modelo k-means do Amazon SageMaker AI com os seguintes hiperparâmetros. Os hiperparâmetros que têm o maior impacto nas métricas objetivas de k-means são: mini_batch_size, extra_center_factor e init_method. O ajuste do hiperparâmetro epochs geralmente resulta em pequenas melhorias.

Nome do parâmetro	Tipo de parâmetro	Intervalos recomendados
epochs	IntegerParameterRanges	MinValue: MaxValue 1,:10
extra_center_factor	IntegerParameterRanges	MinValue: MaxValue 4,:10
init_method	CategoricalParameterRanges	['kmeans++', 'random']
mini_batch_size	IntegerParameterRanges	MinValue: 3000, MaxValue :15000