Ajustar y NTM modelar

El ajuste de modelo automático, también conocido como ajuste de hiperparámetros, encuentra la mejor versión de un modelo ejecutando muchas tareas que probar una serie de hiperparámetros en su conjunto de datos. Usted elige los hiperparámetros que pueden ajustarse, un rango de valores para cada uno de ellos y una métrica objetiva. Puede elegir la métrica objetiva de las métricas que el algoritmo computa. El ajuste de modelo automático busca los hiperparámetros elegidos para encontrar la combinación de valores que obtienen el modelo que optimiza la métrica objetiva.

Amazon SageMaker NTM es un algoritmo de aprendizaje no supervisado que aprende las representaciones latentes de grandes colecciones de datos discretos, como un corpus de documentos. Las representaciones latentes usan variables inferidas que no se miden directamente para modelar las observaciones en un conjunto de datos. El ajuste automático del modelo le NTM ayuda a encontrar el modelo que minimiza las pérdidas en relación con los datos de entrenamiento o validación. La pérdida de capacitación mide la eficacia del modelo para encajar los datos de capacitación. La pérdida de validación de mide la eficacia del modelo para generalizar a datos en los que no está capacitado. Una pérdida de capacitación baja indica que un modelo es idóneo para los datos de capacitación. Una pérdida de validación baja indica que un modelo no ha sobreajustado los datos de entrenamiento y, por tanto, debería poder modelar correctamente documentos con los que no ha sido entrenado. Normalmente, es preferible que ambas pérdidas sean pequeñas. Sin embargo, minimizar demasiado la pérdida de capacitación podría dar lugar a sobreajustes y aumentar la pérdida de validación, lo que reduciría la generalidad del modelo.

Para obtener más información acerca del ajuste de modelos, consulte Ajuste automático del modelo con SageMaker.

Métricas calculadas por el algoritmo NTM

El NTM algoritmo informa de una única métrica que se calcula durante el entrenamiento:validation:total_loss. La pérdida total es la suma de la pérdida de reconstrucción y divergencia de Kullback-Leibler. Al ajustar los valores de hiperparámetro, elija esta métrica como el objetivo.

Nombre de métrica	Descripción	Dirección de optimización
validation:total_loss	Pérdida total en conjunto de validación	Minimizar

Hiperparámetros ajustables NTM

Puede ajustar los siguientes hiperparámetros para el algoritmo. NTM Normalmente, el ajuste de valores bajos mini_batch_size y pequeños learning_rate da como resultado pérdidas de validación inferiores, aunque puede tardarse más en capacitar. Las pérdidas de validación bajas no producen necesariamente más temas coherentes interpretados por humanos. El efecto de otros hiperparámetros en capacitación y pérdida de validación puede oscilar entre un conjunto de datos y otro. Para ver qué valores son compatibles, consulte NTMHiperparámetros.

Nombre del parámetro	Tipo de parámetro	Intervalos recomendados
encoder_layers_activation	CategoricalParameterRanges	["sigmoid", "tanh", "relu"]
learning_rate	ContinuousParameterRange	MinValue: 1e-4,: 0.1 MaxValue
mini_batch_size	IntegerParameterRanges	MinValue: 16,: 2048 MaxValue
optimizer	CategoricalParameterRanges	["sgd", "adam", "adadelta"]
rescale_gradient	ContinuousParameterRange	MinValue: 0,1, 1,0 MaxValue
weight_decay	ContinuousParameterRange	MinValue: 0,0, MaxValue 1,0