Régler un modèle XGBoost

Le réglage de modèle automatique, ou réglage d'hyperparamètre, détecte la meilleure version d'un modèle en exécutant plusieurs tâches qui testent une plage d'hyperparamètres sur vos jeu de données d'entraînement et de valisation. Vous choisissez trois types d'hyperparamètres :

• une fonction objective d'apprentissage à optimiser pendant l'entraînement du modèle ;

• une métrique eval_metric à utiliser pour évaluer les performances du modèle lors de la validation ;

• un ensemble d'hyperparamètres et une plage de valeurs à utiliser pour régler automatiquement le modèle.

Vous choisissez la métrique d'évaluation parmi un ensemble de métriques d'évaluation que l'algorithme calcule. Le réglage de modèle automatique recherche parmi les hyperparamètres choisis la combinaison de valeurs qui produira un modèle permettant d'optimiser la métrique d'évaluation.

Note

Le réglage de modèle automatique pour XGBoost 0.90 est disponible uniquement à partir des SageMaker kits SDK Amazon, et non pas de la SageMaker console.

Pour plus d'informations sur le réglage de modèle, consultez Réalisez un réglage automatique du modèle avec SageMaker.

Métriques d'évaluation calculées par l'algorithme XGBoost

L'algorithme XGBoost calcule les métriques suivantes à utiliser pour la validation de modèle. Lors du réglage du modèle, choisissez l'une de ces métriques pour évaluer le modèle. Pour obtenir la liste complète des valeurs eval_metric valides, reportez-vous à XGBoost Learning Task Parameters.

Nom de la métrique	Description	Orientation de l'optimisation
validation:accuracy	Taux de classification, calculé sous la forme #(right)/#(all cases).	Agrandir
validation:auc	Aire sous une courbe (AUC, Area Under a Curve).	Agrandir
validation:error	Taux d'erreurs de classification binaire, calculé comme Nbre cas erronés/Nbre total de cas.	Réduire
validation:f1	Indicateur de précision de classification, calculé en tant que moyenne harmonique de la précision et du rappel.	Agrandir
validation:logloss	Probabilité de journalisation négative.	Réduire
validation:mae	Erreur absolue moyenne.	Réduire
validation:map	Précision moyenne.	Agrandir
validation:merror	Taux d'erreurs de classification multiclasse, calculé comme Nbre cas erronés/Nbre total de cas.	Réduire
validation:mlogloss	Probabilité de journalisation négative pour la classification multiclasse.	Réduire
validation:mse	Erreur quadratique moyenne.	Réduire
validation:ndcg	NDCG (Normalized Discounted Cumulative Gain).	Agrandir
validation:rmse	Racine carrée de l'erreur quadratique moyenne (RMSE)	Réduire

Hyperparamètres XGBoost réglables

Réglez le modèle XGBoost avec les hyperparamètres suivants. Les hyperparamètres ayant le plus d'impact sur l'optimisation des métriques d'évaluation deXGBoost sont : alpha, min_child_weight, subsample, eta et num_round.

Nom du paramètre	Type de paramètre	Plages recommandées
alpha	ContinuousParameterRanges	MinValue: 0, MaxValue 100
colsample_bylevel	ContinuousParameterRanges	MinValue: 0,1, MaxValue 1
colsample_bynode	ContinuousParameterRanges	MinValue: 0,1, MaxValue 1
colsample_bytree	ContinuousParameterRanges	MinValue: 0,5, MaxValue 1
eta	ContinuousParameterRanges	MinValue: 0,1, MaxValue 0,5
gamma	ContinuousParameterRanges	MinValue: 0, MaxValue 5
lambda	ContinuousParameterRanges	MinValue: 0, MaxValue 100
max_delta_step	IntegerParameterRanges	[0, 10]
max_depth	IntegerParameterRanges	[0, 10]
min_child_weight	ContinuousParameterRanges	MinValue: 0, MaxValue 120
num_round	IntegerParameterRanges	[1, 4000]
subsample	ContinuousParameterRanges	MinValue: 0,5, MaxValue 1