Régler un TabTransformer modèle

Le réglage de modèle automatique, ou réglage d'hyperparamètre, détecte la meilleure version d'un modèle en exécutant plusieurs tâches qui testent une plage d'hyperparamètres sur vos jeu de données d'entraînement et de valisation. Le réglage du modèle se concentre sur les hyperparamètres suivants :

Note

La métrique d'évaluation et la fonction objective d'apprentissage sont toutes deux attribuées automatiquement en fonction du type de tâche de classification, qui est déterminé par le nombre d'entiers uniques dans la colonne d'étiquettes. Pour de plus amples informations, veuillez consulter TabTransformer hyperparamètres.

• une fonction objective d'apprentissage à optimiser pendant l'entraînement du modèle ;

• une métrique d'évaluation utilisée pour évaluer les performances du modèle lors de la validation ;

• un jeu d'hyperparamètres et une plage de valeurs pour chacun d'eux, à utiliser lors du réglage automatique du modèle.

Le réglage de modèle automatique recherche parmi les hyperparamètres que vous avez choisis la combinaison de valeurs qui produira un modèle permettant d'optimiser la métrique d'évaluation choisie.

Note

Le réglage automatique des modèles n' TabTransformer est disponible que depuis Amazon SageMaker AI SDKs, et non depuis la console SageMaker AI.

Pour plus d'informations sur le réglage de modèle, consultez Réglage automatique du modèle grâce à l' SageMaker IA.

Métriques d'évaluation calculées par l' TabTransformeralgorithme

L' TabTransformer algorithme d' SageMaker IA calcule les métriques suivantes à utiliser pour la validation du modèle. La métrique d'évaluation est attribuée automatiquement en fonction du type de tâche de classification, qui est déterminé par le nombre d'entiers uniques dans la colonne d'étiquettes.

Nom de la métrique	Description	Orientation de l'optimisation	Motif Regex
r2	r carré	agrandir	"metrics={'r2': (\\S+)}"
f1_score	entropie croisée binaire	agrandir	"metrics={'f1': (\\S+)}"
accuracy_score	entropie croisée multi-classes	agrandir	"metrics={'accuracy': (\\S+)}"

Hyperparamètres réglables TabTransformer

Réglez le TabTransformer modèle avec les hyperparamètres suivants. Les hyperparamètres qui ont le plus d'effet sur l'optimisation des métriques TabTransformer d'évaluation sont les suivants : learning_rateinput_dim,n_blocks,attn_dropout,mlp_dropout, etfrac_shared_embed. Pour obtenir la liste de tous les TabTransformer hyperparamètres, consultezTabTransformer hyperparamètres.

Nom du paramètre	Type de paramètre	Plages recommandées
learning_rate	ContinuousParameterRanges	MinValue: 0,001, MaxValue 0,01
input_dim	CategoricalParameterRanges	[16, 32, 64, 128, 256, 512]
n_blocks	IntegerParameterRanges	MinValue: 1, MaxValue 12
attn_dropout	ContinuousParameterRanges	MinValue: 0,0, MaxValue 0,8
mlp_dropout	ContinuousParameterRanges	MinValue: 0,0, MaxValue 0,8
frac_shared_embed	ContinuousParameterRanges	MinValue: 0,0, MaxValue 0,5