Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Además del cuaderno de exploración de datos, Piloto automático genera varios informes para el mejor modelo candidato de cada experimento.
-
Un informe de explicabilidad proporciona información sobre cómo hace pronósticos el modelo.
-
Un informe de rendimiento proporciona una evaluación cuantitativa de las capacidades de previsión del modelo.
-
Tras comprobar el rendimiento del modelo con datos históricos, se genera un informe de resultados históricos.
Informe de explicabilidad
El informe de explicabilidad de Piloto automático le ayuda a comprender mejor el impacto de los atributos de sus conjuntos de datos sobre las previsiones para series temporales (combinaciones de elementos y dimensiones) y puntos temporales. Piloto automático utiliza una métrica llamada puntuaciones de impacto para cuantificar el impacto relativo de cada atributo y determinar si aumentan o disminuyen los valores de previsión.
Por ejemplo, imaginemos un escenario de pronóstico en el que el objetivo es sales y hay dos atributos relacionados: price y color. Piloto automático puede detectar que el color del artículo tiene un gran impacto en las ventas de algunos artículos, pero un efecto insignificante en el caso de otros artículos. También puede descubrir que una promoción en verano tiene un gran impacto en las ventas, mientras que una promoción en invierno tiene poco efecto.
El informe de explicabilidad se genera solo en estas situaciones:
-
El conjunto de datos de series temporales incluye columnas de características adicionales o está asociado a un calendario de días festivos.
-
Los modelos base CNN-QR y DeepAR+ se incluyen en el conjunto final.
Interpretación de las puntuaciones de impacto
Las puntuaciones de impacto miden el impacto relativo que tienen los atributos en los valores de pronóstico. Por ejemplo, si el atributo price tiene una puntuación de impacto dos veces superior a la del atributo store location, podemos concluir que el precio de un artículo tiene el doble de impacto en los valores previstos que la ubicación de la tienda.
Las puntuaciones de impacto también proporcionan información sobre si los atributos aumentan o disminuyen los valores de previsión.
Las puntuaciones de impacto van de -1 a 1, y el signo indica la dirección del impacto. Una puntuación de 0 indica que no hay impacto, mientras que una puntuación cercana a 1 o -1 indica un impacto significativo.
Es importante tener en cuenta que las puntuaciones de impacto miden el impacto relativo de los atributos, no el impacto absoluto. Por lo tanto, las puntuaciones de impacto no se pueden utilizar para determinar si determinados atributos mejoran la precisión del modelo. Si un atributo tiene una puntuación de impacto baja, eso no significa necesariamente que tenga un impacto bajo en los valores de previsión; significa que tiene un impacto menor en los valores de previsión que otros atributos utilizados por el predictor.
Buscar el informe de explicabilidad
Puede encontrar el prefijo Amazon S3 de los artefactos de explicabilidad generados para el mejor candidato en la respuesta a DescribeAutoMLJobV2 en BestCandidate.CandidateProperties.CandidateArtifactLocations.Explainability.
Informe de rendimiento del modelo
Un informe de calidad de modelo de Piloto automático (también denominado informe de rendimiento) proporciona información valiosa y de calidad sobre el mejor candidato de modelo (mejor predictor) generado por un trabajo de AutoML. Incluye información sobre los detalles del trabajo, la función objetivo y las métricas de precisión (wQL, MAPE, WAPE, RMSE, MASE).
Puede encontrar el prefijo Amazon S3 de los artefactos de informe de calidad del modelo generados para el mejor candidato en la respuesta a DescribeAutoMLJobV2 en BestCandidate.CandidateProperties.CandidateArtifactLocations.ModelInsights.
Informe de resultados de pruebas retrospectivas
Los resultados de las pruebas retrospectivas proporcionan información sobre el rendimiento de un modelo de pronóstico de series temporales al evaluar su precisión y fiabilidad predictivas. Ayuda a los analistas y científicos de datos a evaluar su rendimiento con datos históricos y a comprender su rendimiento potencial con datos futuros y no observados.
Piloto automático utiliza pruebas retrospectivas (backtesting) para ajustar los parámetros y producir métricas de precisión. Durante las pruebas retrospectivas, Piloto automático divide automáticamente los datos de serie temporal en dos conjuntos: un conjunto de entrenamiento y un conjunto de pruebas. El conjunto de entrenamiento se usa para entrenar un modelo que, luego, se usará a fin de generar pronósticos para los puntos de datos del conjunto de pruebas. Piloto automático utiliza este conjunto de datos de prueba para evaluar la precisión del modelo comparando los valores pronosticados con los valores observados en el conjunto de pruebas.
Puede encontrar el prefijo Amazon S3 de los artefactos de informe de calidad del modelo generados para el mejor candidato en la respuesta a DescribeAutoMLJobV2 en BestCandidate.CandidateProperties.CandidateArtifactLocations.BacktestResults.
