Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
SageMaker Informe interactivo de Debugger para XGBoost
Reciba informes de entrenamiento generados automáticamente por el depurador. Los informes del depurador proporcionan información sobre sus trabajos de entrenamiento y sugieren recomendaciones para mejorar el rendimiento de su modelo.
nota
Puede descargar los informes de un depurador mientras se esté realizando su trabajo de entrenamiento o una vez finalizado el trabajo. Durante el entrenamiento, el depurador actualiza simultáneamente el informe para reflejar el estado de evaluación de las reglas actuales. Puede descargar un informe completo del depurador solo después de que se haya completado el trabajo de entrenamiento.
importante
En el informe, los gráficos y las recomendaciones se proporcionan con fines informativos y no son definitivos. Es responsabilidad suya realizar su propia evaluación independiente de la información.
SageMaker Informe de formación sobre Debugger XGBoost
Para los trabajos de formación de SageMaker XGBoost, utilice la CreateXgboostInforme regla del depurador para recibir un informe de formación completo con el progreso y los resultados del entrenamiento. Siguiendo esta guía, especifique la CreateXgboostInforme regla al crear un estimador XGBoost, descargue el informe mediante el SDK de Amazon SageMaker Python
importante
En el informe, los gráficos y las recomendaciones se proporcionan con fines informativos y no son definitivos. Es responsabilidad suya realizar su propia evaluación independiente de la información.
Temas
Cree un estimador SageMaker XGBoost con la regla Debugger XGBoost Report
La regla CreateXgboostInforme recopila los siguientes tensores de salida de su trabajo de entrenamiento:
-
hyperparameters
: se guarda en el primer paso. -
metrics
: ahorra pérdidas y precisión cada 5 pasos. -
feature_importance
: se guarda cada 5 pasos. -
predictions
: se guarda cada 5 pasos. -
labels
: se guarda cada 5 pasos.
Los tensores de salida se guardan en un bucket S3 predeterminado. Por ejemplo, s3://sagemaker-
.<region>
-<12digit_account_id>
/<base-job-name>
/debug-output/
Cuando cree un SageMaker estimador para un trabajo de entrenamiento con XGBoost, especifique la regla como se muestra en el siguiente código de ejemplo.
Descargue el informe de creación del depurador XGBoost
Descargue el informe de formación de Debugger XGBoost mientras se esté ejecutando el trabajo de formación o una vez finalizado el trabajo con el SDK y ( AWS Command Line Interface
CLI) de Amazon SageMaker Python
Guía del informe de entrenamiento de XGBoost del depurador
Esta sección le guía a través del informe de entrenamiento de XGBoost del depurador. El informe se agrega automáticamente según la expresión regular del tensor de salida, reconociendo qué tipo de trabajo de entrenamiento se encuentra entre clasificación binaria, clasificación multiclase y regresión.
importante
En el informe, los gráficos y las recomendaciones se proporcionan con fines informativos y no son definitivos. Es responsabilidad suya realizar su propia evaluación independiente de la información.
Temas
- Distribución de las etiquetas true del conjunto de datos
- Gráfico de pérdidas versus de pasos
- Importancia de las características
- Matriz de confusión
- Evaluación de la matriz de confusión
- Tasa de precisión de cada elemento diagonal a lo largo de la iteración
- Curva característica de funcionamiento del receptor
- Distribución de los residuos en el último paso guardado
- Error absoluto de validación por contenedor de etiquetas durante la iteración
Distribución de las etiquetas true del conjunto de datos
Este histograma muestra la distribución de las clases etiquetadas (para la clasificación) o los valores (para la regresión) en el conjunto de datos original. La asimetría del conjunto de datos podría provocar imprecisiones. Esta visualización está disponible para los siguientes tipos de modelos: clasificación binaria, multiclasificación y regresión.
![Un ejemplo de una distribución de etiquetas verdaderas del gráfico del conjunto de datos.](images/debugger/debugger-training-xgboost-report-walkthrough-dist-label.png)
Gráfico de pérdidas versus de pasos
Se trata de un gráfico de líneas que muestra la progresión de la pérdida en los datos de entrenamiento y los datos de validación a lo largo de los pasos del entrenamiento. La pérdida es lo que definió en su función objetivo, como el error cuadrático medio. Puede evaluar si el modelo está sobreajustado o insuficientemente ajustado a partir de esta gráfica. Esta sección también proporciona información que puede utilizar para determinar cómo resolver los problemas de sobreajuste y subajuste. Esta visualización está disponible para los siguientes tipos de modelos: clasificación binaria, multiclasificación y regresión.
![Ejemplo de un gráfico de pérdidas versus de pasos.](images/debugger/debugger-training-xgboost-report-walkthrough-loss-vs-step.png)
Importancia de las características
Se proporcionan tres tipos diferentes de visualizaciones de la importancia de las características: peso, ganancia y cobertura. Proporcionamos definiciones detalladas para cada uno de los tres en el informe. Las visualizaciones sobre la importancia de las funciones le ayudan a saber qué características de su conjunto de datos de entrenamiento contribuyeron a las predicciones. Las visualizaciones de importancia de las características están disponibles para los siguientes tipos de modelos: clasificación binaria, multiclasificación y regresión.
![Ejemplo de gráfico de importancia de características.](images/debugger/debugger-training-xgboost-report-walkthrough-feature-importance.png)
Matriz de confusión
Esta visualización solo es aplicable a los modelos de clasificación binarios y multiclase. La precisión por sí sola puede no ser suficiente para evaluar el rendimiento de los modelos. Para algunos casos de uso, como la atención médica y la detección de fraudes, también es importante conocer la tasa de falsos positivos y la tasa de falsos negativos. Una matriz de confusión le proporciona las dimensiones adicionales para evaluar el rendimiento de su modelo.
![Ejemplo de matriz de confusión.](images/debugger/debugger-training-xgboost-report-walkthrough-confusion-matrix.png)
Evaluación de la matriz de confusión
Esta sección le proporciona más información sobre las métricas microscópicas, macroeconómicas y ponderadas de precisión, recuperación y puntuación F1 de su modelo.
![Evaluación de la matriz de confusión.](images/debugger/debugger-training-xgboost-report-walkthrough-eval-conf-matrix.png)
Tasa de precisión de cada elemento diagonal a lo largo de la iteración
Esta visualización solo se aplica a los modelos de clasificación binaria y multiclase. Se trata de un gráfico de líneas que traza los valores diagonales de la matriz de confusión a lo largo de los pasos de entrenamiento de cada clase. Este gráfico muestra cómo progresa la precisión de cada clase a lo largo de los pasos del entrenamiento. Puede identificar las clases con un rendimiento inferior a partir de este gráfico.
![Ejemplo de la tasa de precisión de cada elemento de la diagonal en un gráfico de iteración.](images/debugger/debugger-training-xgboost-report-walkthrough-accuracy-rate.gif)
Curva característica de funcionamiento del receptor
Esta visualización solo es aplicable a los modelos de clasificación binaria. La curva de características operativas del receptor se utiliza habitualmente para evaluar el rendimiento del modelo de clasificación binaria. El eje y de la curva es True Positive Rate (TPF) o tasa de positivos verdaderos y el eje x es False Positive Rate (FPR) o tasa de positivos falsos. El gráfico también muestra el valor del Area Under the Curve (AUC) o área bajo la curva. Cuanto más alto sea el valor de AUC, más predictivo será su clasificador. También puede utilizar la curva ROC para comprender la compensación entre el TPR y el FPR e identificar el umbral de clasificación óptimo para su caso de uso. El umbral de clasificación se puede ajustar para adecuar el comportamiento del modelo y reducir más de uno u otro tipo de error (FP/FN).
![Un ejemplo es un gráfico de curvas características de funcionamiento del receptor.](images/debugger/debugger-training-xgboost-report-walkthrough-rec-op-char.png)
Distribución de los residuos en el último paso guardado
Esta visualización es un gráfico de columnas que muestra las distribuciones residuales del último paso que el depurador capta. En esta visualización, puede comprobar si la distribución residual está cerca de la distribución normal centrada en cero. Si los residuos están sesgados, es posible que sus características no sean suficientes para predecir las etiquetas.
![Un ejemplo de una distribución de los residuos en el último gráfico de pasos guardado.](images/debugger/debugger-training-xgboost-report-walkthrough-dist-residual.png)
Error absoluto de validación por contenedor de etiquetas durante la iteración
Esta visualización solo se aplica a los modelos de regresión. Los valores objetivo reales se dividen en 10 intervalos. Esta visualización muestra cómo progresan los errores de validación en cada intervalo a lo largo de los pasos de entrenamiento en gráficos de líneas. El error de validación absoluto es el valor absoluto de la diferencia entre la predicción y lo real durante la validación. Puede identificar los intervalos de bajo rendimiento a partir de esta visualización.
![Un ejemplo es un error de validación absoluto por contenedor de etiquetas en un gráfico de iteración.](images/debugger/debugger-training-xgboost-report-walkthrough-val-error-per-label-bin.png)