Nous ne mettons plus à jour le service Amazon Machine Learning et n'acceptons plus de nouveaux utilisateurs pour celui-ci. Cette documentation est disponible pour les utilisateurs existants, mais nous ne la mettons plus à jour. Pour plus d'informations, consultez [Qu'est-ce qu'Amazon Machine Learning](https://docs.aws.amazon.com/machine-learning/latest/dg/what-is-amazon-machine-learning.html) ?
Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
# Evaluation des modèles d'apprentissage-machine
Vous devez toujours *évaluer un modèle* pour déterminer s'il contribuera à prédire correctement la cible dans le cadre de nouvelles données à venir. Comme les instances futures ont des valeurs cibles inconnues, vous devez vérifier la métrique de précision du modèle d'apprentissage-machine sur des données dont vous connaissez déjà la réponse cible, puis utiliser cette évaluation comme indicateur de la précision prédictive des données futures.
Pour évaluer correctement un modèle, vous disposez d'un échantillon des données qui ont été étiquetées avec la cible (vérité du terrain) à partir de la source de données de formation. L'évaluation de la précision prédictive d'un modèle d'apprentissage-machine avec les mêmes données qui ont été utilisées pour la formation n'est pas utile. En effet, elle récompense les modèles qui peuvent « mémoriser » les données de formation, par opposition à une généralisation à partir de celles-ci. Une fois que vous avez terminé la formation du modèle d'apprentissage-machine, vous envoyez à ce modèle les observations mises de côté dont vous connaissez les valeurs cibles. Vous comparez alors les prédictions renvoyées par le modèle d'apprentissage-machine aux valeurs cibles connues. Enfin, vous calculez une métrique récapitulative indiquant la qualité de correspondance entre les valeurs prévues et les valeurs réelles.
Dans Amazon ML, vous évaluez un modèle de ML en *créant une évaluation*. Pour créer une évaluation pour un modèle d'apprentissage-machine, vous avez besoin d'un modèle d'apprentissage-machine à évaluer et de données étiquetées qui n'ont pas été utilisées pour la formation. Tout d'abord, créez une source de données à des fins d'évaluation en créant une source de données Amazon ML avec les données conservées. Les données utilisées dans l'évaluation doivent avoir le même schéma que les données utilisées dans la formation et inclure des valeurs réelles pour la variable cible.
Si toutes vos données se trouvent dans un seul fichier ou répertoire, vous pouvez utiliser la console Amazon ML pour les diviser. Le chemin par défaut dans l'assistant de création de modèle d'apprentissage-machine fractionne la source de données d'entrée et utilise les premiers 70 % comme source de données de formation et les autres 30 % comme source de données d'évaluation. Vous pouvez également personnaliser le rapport de fractionnement en utilisant l'option **Personnalisé** dans l'assistant de création de modèle d'apprentissage-machine. Vous pouvez alors choisir de sélectionner un échantillon aléatoire de 70 % pour la formation et d'utiliser les 30 % restants pour l'évaluation. Pour continuer à spécifier des rapports de fractionnement personnalisés, utilisez la chaîne de réorganisation des données dans l'API de [création d'une source de données](https://docs.aws.amazon.com/machine-learning/latest/APIReference/API_CreateDataSourceFromS3.html). Lorsque vous disposez d'une source d'évaluation et d'un modèle d'apprentissage-machine, vous pouvez créer une évaluation et passer en revue les résultats de cette évaluation.
**Topics**
+ [Analyse du modèle d'apprentissage-machine](ml-model-insights.md)
+ [Analyse du modèle binaire](binary-model-insights.md)
+ [Analyse du modèle multiclasse](multiclass-model-insights.md)
+ [Analyse du modèle de régression](regression-model-insights.md)
+ [Prévention d'un surajustement](#overfitting)
+ [Validation croisée](cross-validation.md)
+ [Alertes d'évaluation](evaluation-alerts.md)
# Analyse du modèle d'apprentissage-machine
Lorsque vous évaluez un modèle d'apprentissage-machine, Amazon ML fournit une métrique conforme aux normes du secteur et un certain nombre d'informations pour vérifier la précision prédictive de votre modèle. Dans Amazon ML, le résultat d'une évaluation contient les éléments suivants :
+ Une métrique de précision des prédictions pour établir un rapport sur la réussite globale du modèle
+ Des visualisations pour vous aider à étudier la précision de votre modèle au-delà de la métrique de précision de prédiction
+ La possibilité de passer en revue l'impact de la configuration d'un score seuil (uniquement pour la classification binaire)
+ Des alertes sur les critères permettant de vérifier la validité de l'évaluation
Le choix de la métrique et de la visualisation dépend du type de modèle d'apprentissage-machine que vous évaluez. Il est important de passer en revue ces visualisations pour déterminer si votre modèle est suffisamment performant pour répondre aux besoins de votre entreprise.
# Analyse du modèle binaire
## Interprétation des prédictions
La sortie réelle de nombreux algorithmes de classification binaire est un *score* de prédiction. Ce score indique la certitude du système que l'observation donnée appartient à la classe des positifs (la valeur cible réelle est 1). Les modèles de classification binaire d'Amazon ML génèrent un score compris entre 0 et 1. En tant que consommateur de ce score, pour décider si l'observation doit être classée comme 1 ou 0, vous interprétez le score en sélectionnant une limite de classification, ou *seuil*, et comparez le score à ce seuil. Toutes les observations avec des scores supérieurs au seuil sont prédites comme cible = 1, et les scores inférieurs au seuil sont prédits comme cible = 0.
Dans Amazon ML, le seuil de score par défaut est de 0,5. Vous pouvez choisir de mettre à jour cette limite en fonction des besoins de votre entreprise. Vous pouvez utiliser les visualisations disponibles dans la console pour comprendre comment le choix du seuil affectera votre application.
### Mesure de la précision du modèle d'apprentissage-machine
Amazon ML fournit une métrique de précision standard pour les modèles de classification binaire appelée Area Under the (Receiver Operating Characteristic) Curve (AUC). La métrique AUC mesure l'aptitude du modèle à prédire un score plus élevé pour les exemples positifs par rapport aux exemples négatifs. Comme cela est indépendant du score seuil, vous pouvez vous faire une idée de la précision des prédictions de votre modèle à partir de la métrique AUC, sans choisir de seuil.
Elle renvoie une valeur décimale comprise entre 0 et 1. Les valeurs AUC proches de 1 indiquent un modèle ML qui est très précis. Les valeurs proches de 0,5 indiquent un modèle d'apprentissage-machine qui n'est pas meilleur que de deviner au hasard. Les valeurs proches de 0 sont inhabituelles et indiquent généralement un problème avec les données. Fondamentalement, une valeur AUC proche de 0 indique que le modèle d'apprentissage-machine a appris les bonnes tendances, mais les utilise pour effectuer des prédictions inversées par rapport à la réalité (les « 0 » sont prédits comme des « 1 » et vice versa). Pour plus d'informations sur la métrique AUC, accédez à la page [Courbe ROC](http://en.wikipedia.org/wiki/Receiver_operating_characteristic) sur Wikipédia.
La métrique AUC de base pour un modèle binaire est 0,5. C'est la valeur correspondant à un modèle d'apprentissage-machine hypothétique qui prédit de façon aléatoire une réponse égale à 1 ou à 0. Votre modèle d'apprentissage-machine binaire doit avoir de meilleurs résultats que cette valeur pour commencer à être intéressant.
### Utilisation de la visualisation des performances
Pour découvrir la précision du modèle ML, vous pouvez consulter les graphiques sur la page **d'évaluation** de la console Amazon ML. Cette page montre deux histogrammes : a) un histogramme des scores pour les positifs observés (la cible est 1) et b) un histogramme des scores pour les négatifs observés (la cible est 0) dans les données d'évaluation.
Un modèle d'apprentissage-machine qui a une bonne précision prédictive prédira de meilleurs scores pour les « 1 » observés et des scores inférieurs pour les « 0 » observés. Un modèle parfait aura ces deux histogrammes aux deux extrémités de l'axe des x, montrant que les positifs observés ont tous eu des scores élevés et que les négatifs observés ont tous eu des scores bas. Cependant, les modèles d'apprentissage-machine commettent des erreurs et un graphique typique indiquera que les deux histogrammes se chevauchent pour certains scores. Un modèle extrêmement inefficace ne pourra pas distinguer entre les classes des positifs et des négatifs, et les deux classes auront des histogrammes majoritairement superposés.
![\[image49\]](http://docs.aws.amazon.com/fr_fr/machine-learning/latest/dg/images/image48b.png)
Grâce aux visualisations, vous pouvez identifier le nombre de prédictions qui appartiennent aux deux types de prédictions correctes et aux deux types de prédictions erronées.
**Prédictions correctes**
+ Vrai positif (TP) : Amazon ML a prédit la valeur comme 1, et la vraie valeur est 1.
+ Vrai négatif (TN) : Amazon ML a prédit la valeur comme 0, et la vraie valeur est 0.
**Prédictions erronées**
+ Faux positif (FP) : Amazon ML a prédit la valeur comme 1, mais la vraie valeur est 0.
+ Faux négatif (FN) : Amazon ML a prédit la valeur comme 0, mais la vraie valeur est 1.
**Note**
Le nombre de VP, VN, FP et FN dépend du score seuil sélectionné, et l'optimisation de l'un quelconque de ces nombres s'effectue aux dépens des autres. Un nombre élevé de TPs se traduit généralement par un nombre élevé FPs et un faible nombre de TNs.
### Ajustement du score seuil
Les modèles d'apprentissage-machine fonctionnent en générant des scores de prédiction numériques, puis en appliquant un seuil pour convertir ces scores en étiquettes 0/1 binaires. En changeant le score seuil, vous pouvez ajuster le comportement du modèle lorsqu'il effectue une erreur. Sur la page **d'évaluation** de la console Amazon ML, vous pouvez examiner l'impact des différents seuils de score, et vous pouvez enregistrer le seuil de score que vous souhaitez utiliser pour votre modèle.
Lorsque vous ajustez le score seuil, observez le compromis que cela représente entre les deux types d'erreurs. Déplacer le seuil vers la gauche capture plus de vrais positifs, mais la contre-partie est une augmentation du nombre d'erreurs de faux positifs. Le déplacer vers la droite capture moins d'erreurs de faux positifs, mais la contre-partie est de manquer certains vrais positifs. Pour votre application prédictive, vous décidez du type d'erreur qui est plus tolérable en sélectionnant un score seuil approprié.
### Revue des métriques avancées
Amazon ML fournit les mesures supplémentaires suivantes pour mesurer la précision prédictive du modèle de ML : exactitude, précision, rappel et taux de faux positifs.
#### Précision
La *précision* (ACC) mesure la fraction de prédictions correctes. La plage est comprise entre 0 et 1. Plus la valeur est grande et meilleure est la précision prédictive :
![\[image50\]](http://docs.aws.amazon.com/fr_fr/machine-learning/latest/dg/images/image49.png)
#### Précision
Le *taux de positifs prédits* mesure la fraction de positifs observés parmi les exemples prédits comme positifs. La plage est comprise entre 0 et 1. Plus la valeur est grande et meilleure est la précision prédictive :
![\[image51\]](http://docs.aws.amazon.com/fr_fr/machine-learning/latest/dg/images/image50.png)
#### Rappel
La *sensibilité* mesure la fraction de positifs observés qui sont prédits comme positifs. La plage est comprise entre 0 et 1. Plus la valeur est grande et meilleure est la précision prédictive :
![\[image52\]](http://docs.aws.amazon.com/fr_fr/machine-learning/latest/dg/images/image51.png)
#### Taux de faux positifs
Le *taux de faux positifs* (TFP) mesure le taux de fausses alertes ou la fraction de négatifs observés qui sont prédits comme positifs. La plage est comprise entre 0 et 1. Plus la valeur est petite et meilleure est la précision prédictive :
![\[image53\]](http://docs.aws.amazon.com/fr_fr/machine-learning/latest/dg/images/image52.png)
En fonction de votre problème, vous pouvez être plus intéressé par un modèle performant pour un sous-ensemble spécifique de ces métriques. Par exemple, deux applications métier peuvent avoir des exigences très différentes en matière de modèle d'apprentissage-machine :
+ Une application peut avoir besoin d'être extrêmement certaine que les prédictions positives soient effectivement positives (taux de positifs prédits élevé) et peut se permettre de mal classer certains exemples positifs comme négatifs (sensibilité moyenne).
+ Une autre application peut avoir besoin de prédire correctement autant d'exemples positifs que possible (haute sensibilité) et acceptera que certains exemples négatifs soient mal classés comme positifs (taux de positifs prédits moyen).
Amazon ML vous permet de choisir un seuil de score correspondant à une valeur particulière de l'un des indicateurs avancés précédents. Il montre également les compromis induits par l'optimisation d'une métrique quelconque. Par exemple, si vous sélectionnez un seuil qui correspond à un taux de positifs prédits élevé, vous devez généralement accepter une baisse de la sensibilité en contre-partie.
**Note**
Vous devez enregistrer le score seuil pour qu'il prenne effet lors de la classification de futures prédictions par votre modèle d'apprentissage-machine.
# Analyse du modèle multiclasse
## *Interprétation des prédictions*
La sortie réelle d'un algorithme de classification multiclasse est un ensemble de *scores* de prédiction. Les scores indiquent la certitude du modèle que l'observation donnée appartient à chacune des classes. Contrairement aux problèmes de classification binaire, vous n'avez pas besoin de choisir un score seuil pour effectuer des prédictions. La réponse prédite est la classe (par exemple, une étiquette) avec le score prédit le plus élevé.
### Mesure de la précision du modèle d'apprentissage-machine
Les métriques standard utilisées en mode multiclasse sont les mêmes que celles utilisées dans le cas d'une classification binaire après avoir calculé leur moyenne sur l'ensemble des classes. Dans Amazon ML, le score F1 macromoyen est utilisé pour évaluer la précision prédictive d'une métrique multiclasse.
#### Score F1 moyenné par macro
Le score F1 est une métrique de classification binaire qui prend en compte à la fois la sensibilité et le taux de positifs prédits des métriques binaires. Il s'agit de la moyenne harmonique entre la sensibilité et le taux de positifs prédits. La plage est comprise entre 0 et 1. Plus la valeur est grande et meilleure est la précision prédictive :
![\[image54\]](http://docs.aws.amazon.com/fr_fr/machine-learning/latest/dg/images/image53.png)
Le score F1 moyenné par macro correspond à la moyenne non pondérée du score F1 sur l'ensemble des classes du cas multiclasse. Il ne prend pas en compte la fréquence d'apparition des classes dans le jeu de données d'évaluation. Plus la valeur est grande et meilleure est la précision prédictive. L'exemple suivant montre K classes dans la source de données d'évaluation :
![\[image55\]](http://docs.aws.amazon.com/fr_fr/machine-learning/latest/dg/images/image54.png)
Score F1 moyenné par macro de référence
Amazon ML fournit une métrique de référence pour les modèles multiclasses. Il s'agit du score F1 moyenné par macro pour un modèle multiclasse hypothétique qui prédirait toujours la classe la plus fréquente comme réponse. Par exemple, dans le cadre de la prédiction du genre d'un film, si le genre le plus courant figurant dans vos données de formation était Film romantique, alors le modèle de référence prédirait toujours le genre comme Film romantique. Vous pouvez comparer votre modèle d'apprentissage-machine à cette référence afin de valider si votre modèle d'apprentissage-machine est meilleur qu'un modèle d'apprentissage-machine qui prédit cette réponse invariable.
### Utilisation de la visualisation des performances
Amazon ML fournit une *matrice de confusion* afin de visualiser la précision des modèles prédictifs de classification multiclasses. La matrice de confusion illustre dans une table le nombre ou le pourcentage de prédictions correctes et incorrectes pour chaque classe en comparant la classe prédite d'une observation à sa véritable classe.
Par exemple, si vous essayez de classer un film par genre, le modèle prédictif peut prédire que son genre (sa classe) est Film romantique. Toutefois, son véritable genre pourrait en fait être Thriller. Lorsque vous évaluez la précision d'un modèle ML de classification multiclasse, Amazon ML identifie ces erreurs de classification et affiche les résultats dans la matrice de confusion, comme indiqué dans l'illustration suivante.
![\[Exemple de genre prédit.\]](http://docs.aws.amazon.com/fr_fr/machine-learning/latest/dg/images/image55.png)
Les informations suivantes sont affichées dans une matrice de confusion :
+ **Nombre de prédictions correctes et incorrectes pour chaque classe :** chaque ligne de la matrice de confusion correspond aux métriques pour l'une des véritables classes. Par exemple, la première ligne indique que pour les films qui appartiennent réellement au genre Film romantique, le modèle d'apprentissage-machine multiclasse aboutit à des prédictions exactes dans plus de 80 % des cas. Il prédit de façon erronée le genre comme Thriller dans moins de 20 % des cas, et Aventure dans moins de 20 % des cas.
+ **Score F1 au niveau de la classe** : la dernière colonne indique le score F1 pour chacune des classes.
+ **Fréquences de classe véritables dans les données d'évaluation** : l'avant-dernière colonne montre cela dans le jeu de données d'évaluation, 57,92 % des observations dans les données d'évaluation correspondent à Film romantique, 21,23 % à Thriller et 20,85 % à Aventure.
+ **Fréquences de classe prévues pour les données d'évaluation** : La dernière ligne indique la fréquence de chaque classe dans les prédictions. 77,56 % des observations sont prédites comme Romance, 9,33 % sont prédites comme Thriller et 13,12 % sont prédites comme Adventure.
La console Amazon ML fournit un affichage visuel qui prend en charge jusqu'à 10 classes dans la matrice de confusion, répertoriées par ordre de classe la plus fréquente à la moins fréquente dans les données d'évaluation. Si vos données d'évaluation comportent plus de 10 classes, les 9 classes les plus fréquentes apparaîtront dans la matrice de confusion, et toutes les autres classes seront regroupées dans une classe appelée « autres ». Amazon ML permet également de télécharger la matrice de confusion complète via un lien sur la page des visualisations multiclasses.
# Analyse du modèle de régression
## *Interprétation des prédictions*
La sortie d'un modèle d'apprentissage-machine de régression est une valeur numérique pour la prédiction de la cible du modèle. Par exemple, si vous effectuez une prédiction des prix de logements, la prédiction du modèle peut être une valeur telle que 254 013.
**Note**
La plage des prédictions peut différer de la plage de la cible dans les données de formation. Par exemple, supposons que vous effectuez des prédictions de prix de logements et que la cible dans les données de formation avait des valeurs comprises dans une plage de 0 à 450 000. La cible prédite n'est pas nécessairement dans la même plage et peut prendre n'importe quelle valeur positive (supérieure à 450 000) ou négative (inférieure à zéro). Il est important de planifier comment gérer les valeurs de prédiction qui sortent d'une plage acceptable pour votre application.
### Mesure de la précision du modèle d'apprentissage-machine
Pour les tâches de régression, Amazon ML utilise la métrique d'erreur quadratique moyenne (RMSE, Root Mean Square Error) qui est un standard de l'industrie. Il s'agit d'une mesure de distance entre la cible numérique prédite et la réponse numérique réelle (vérité du terrain). Plus la valeur de la métrique RMSE est petite, meilleure est la précision du modèle. Un modèle avec des prédictions parfaitement correctes aurait une métrique RMSE de 0. L'exemple suivant montre des données d'évaluation qui contiennent N enregistrements :
![\[image56\]](http://docs.aws.amazon.com/fr_fr/machine-learning/latest/dg/images/image56.png)
RMSE de référence
Amazon ML fournit une métrique de référence pour les modèles de régression. Il s'agit de la métrique RMSE pour un modèle de régression hypothétique qui prédirait toujours la moyenne de la cible comme réponse. Par exemple, si vous essayez de prédire l'âge d'un acheteur de maison et que l'âge moyen pour les observations dans vos données de formation est 35, le modèle de référence prédira toujours la réponse 35. Vous pouvez comparer votre modèle d'apprentissage-machine à cette référence afin de valider si votre modèle d'apprentissage-machine est meilleur qu'un modèle d'apprentissage-machine qui prédit cette réponse invariable.
### Utilisation de la visualisation des performances
Il est usuel de passer en revue les *résidus* pour identifier les problèmes de régression éventuels. Un résidu pour une observation dans les données d'évaluation représente la différence entre la cible réelle et la cible prédite. Les résidus représentent la partie de la cible que le modèle n'est pas en mesure de prédire. Un résidu positif indique que le modèle sous-estime la cible (la cible réelle est supérieure à la cible prédite). Un résidu négatif indique une surestimation (la cible réelle est inférieure à la cible prédite). L'histogramme des résidus sur les données d'évaluation lors d'une distribution en forme de cloche centrée sur zéro indique que le modèle commet des erreurs d'une manière aléatoire et qu'il ne prédit pas systématiquement trop haut ou trop bas une plage particulière de valeurs cibles. Si les résidus ne constituent pas une forme en cloche centrée sur zéro, il y a une certaine structure dans l'erreur de prédiction du modèle. L'ajout de variables supplémentaires au modèle peut aider le modèle à capturer la tendance qui n'est pas capturée par le modèle actuel. L'illustration suivante montre des résidus qui ne sont pas centrés sur zéro.
![\[image58\]](http://docs.aws.amazon.com/fr_fr/machine-learning/latest/dg/images/image57.png)
## Prévention d'un surajustement
Lors de la création et de la formation d'un modèle d'apprentissage-machine, l'objectif est de sélectionner le modèle qui réalise les meilleures prédictions, ce qui revient à sélectionner le modèle doté des meilleurs paramètres (paramètres ou hyper-paramètres de modèle d'apprentissage-machine). Dans Amazon Machine Learning, vous pouvez définir quatre hyperparamètres : le nombre de passes, la régularisation, la taille du modèle et le type de shuffle. Toutefois, si vous sélectionnez les paramètres de modèle qui produisent les « meilleures » performances prédictives sur les données d'évaluation, vous pouvez surajuster votre modèle. Un surajustement se produit lorsqu'un modèle a mémorisé les tendances qui apparaissent dans les sources de données de formation et d'évaluation, mais n'a pas réussi à généraliser ces tendances dans les données. Il se produit souvent lorsque les données de formation incluent toutes les données utilisées dans l'évaluation. Un modèle surajusté présente de bons résultats pendant les évaluations, mais ne permet pas des prédictions précises sur des données inconnues.
Pour éviter de sélectionner un modèle surajusté comme meilleur modèle, vous pouvez réserver des données supplémentaires pour valider les performances du modèle d'apprentissage-machine. Par exemple, vous pouvez séparer vos données en en dédiant 60 % à la formation, 20 % à l'évaluation et encore 20 % à la validation. Après avoir sélectionné les paramètres de modèle qui fonctionnent bien pour les données d'évaluation, vous effectuez une seconde évaluation avec les données de validation pour voir l'efficacité du modèle d'apprentissage-machine sur les données de validation. Si le modèle répond à vos attentes sur les données de validation, cela signifie que le modèle ne surajuste pas les données.
L'utilisation d'un troisième ensemble de données pour la validation vous aide à sélectionner les paramètres de modèle d'apprentissage-machine appropriés pour empêcher tout surajustement. Toutefois, mettre de côté des données du processus de formation pour effectuer l'évaluation et la validation réduit la quantité de données disponibles pour la formation. Ceci peut s'avérer particulièrement problématique avec de petits ensembles de données, car il est toujours préférable d'utiliser autant de données que possible pour la formation. Pour résoudre ce problème, vous pouvez effectuer une validation croisée. Pour plus d'informations sur la validation croisée, consultez [Validation croisée](cross-validation.md).
# Validation croisée
La validation croisée est une technique d'évaluation des modèles d'apprentissage-machine via la formation de plusieurs modèles d'apprentissage-machine sur des sous-ensembles des données d'entrée disponibles et via leur évaluation sur le sous-ensemble complémentaire des données. Utilisez la validation croisée pour détecter un surajustement, par exemple, l'échec de la généralisation d'une tendance.
Dans Amazon ML, vous pouvez utiliser la méthode de validation croisée k-fold pour effectuer une validation croisée. Dans le cadre de la validation croisée à k volets, vous divisez les données d'entrée en k sous-ensembles de données (également appelés plis). Vous entraînez un modèle ML sur tous les sous-ensembles sauf un (k-1), puis vous évaluez le modèle sur le sous-ensemble qui n'a pas été utilisé pour l'entraînement. Ce processus est répété k fois, avec un sous-ensemble différent réservé à l'évaluation (et exclu de la formation) à chaque fois.
Le diagramme suivant illustre un exemple des sous-ensembles de formation et des sous-ensembles d'évaluation complémentaire générés pour chacun des quatre modèles qui sont créés et formés au cours d'une validation croisée à 4 échantillons. Le modèle 1 utilise 25 % des données pour l'évaluation et les 75 % restants pour la formation. Le modèle 2 utilise le deuxième sous-ensemble de 25 % (de 25 % à 50 %) pour l'évaluation et les trois sous-ensembles restants
![\[Four rectangles showing data division for cross-validation models with training and evaluation subsets.\]](http://docs.aws.amazon.com/fr_fr/machine-learning/latest/dg/images/image63.png)
Chaque modèle est formé et évalué à l'aide de sources de données complémentaires - les données figurant dans la source de données d'évaluation incluent toutes les données qui ne se trouvent pas dans la source de données de formation, et sont limitées à cela. Vous créez des sources de données pour chacun de ces sous-ensembles avec le `DataRearrangement` paramètre dans le `createDatasourceFromS3``createDatasourceFromRedShift`, et. `createDatasourceFromRDS` APIs Dans le paramètre `DataRearrangement`, spécifiez le sous-ensemble de données à inclure dans une source de données en spécifiant où commencer et finir chaque segment. Pour créer les sources de données complémentaires requises pour une validation croisée à 4 000 échantillons, spécifiez le paramètre `DataRearrangement` comme indiqué dans l'exemple suivant :
**Modèle 1 :**
Source de données pour l'évaluation :
```
{"splitting":{"percentBegin":0, "percentEnd":25}}
```
Source de données pour la formation :
```
{"splitting":{"percentBegin":0, "percentEnd":25, "complement":"true"}}
```
**Modèle 2 :**
Source de données pour l'évaluation :
```
{"splitting":{"percentBegin":25, "percentEnd":50}}
```
Source de données pour la formation :
```
{"splitting":{"percentBegin":25, "percentEnd":50, "complement":"true"}}
```
**Modèle 3 :**
Source de données pour l'évaluation :
```
{"splitting":{"percentBegin":50, "percentEnd":75}}
```
Source de données pour la formation :
```
{"splitting":{"percentBegin":50, "percentEnd":75, "complement":"true"}}
```
**Modèle 4 :**
Source de données pour l'évaluation :
```
{"splitting":{"percentBegin":75, "percentEnd":100}}
```
Source de données pour la formation :
```
{"splitting":{"percentBegin":75, "percentEnd":100, "complement":"true"}}
```
L'exécution d'une validation croisée en 4 étapes génère quatre modèles, quatre sources de données pour entraîner les modèles, quatre sources de données pour évaluer les modèles et quatre évaluations, une pour chaque modèle. Amazon ML génère une métrique de performance du modèle pour chaque évaluation. Par exemple, dans une validation croisée à 4 échantillons pour un problème de classification binaire, chacune des évaluations signale une métrique Aire sous une courbe (AUC, Area Under a Curve). Vous pouvez obtenir la mesure des performances globales en calculant la moyenne de ces quatre métriques AUC. Pour obtenir des informations sur la métrique AUC, consultez [Mesure de la précision du modèle d'apprentissage-machine](binary-model-insights.md#measuring-ml-model-accuracy).
Pour un exemple de code expliquant comment créer une validation croisée et calculer la moyenne des scores du modèle, consultez l'[exemple de code Amazon ML](https://github.com/awslabs/machine-learning-samples).
## Ajustement de vos modèles
Après avoir effectué la validation croisée des modèles, vous pouvez ajuster les paramètres pour le modèle suivant si votre modèle ne fonctionne pas selon vos normes. Pour plus d'informations sur le surajustement, consultez [Ajustement du modèle : sous-ajustement et surajustement](model-fit-underfitting-vs-overfitting.md). Pour plus d'informations sur la régularisation, consultez [Régularisation](training-parameters1.md#regularization). Pour plus d'informations sur la modification des paramètres de régularisation, consultez [Création d'un modèle d'apprentissage-machine avec des options personnalisées](creating-ml-model-on-the-amazon-ml-console.md#creating-ml-model-using-custom-settings).
# Alertes d'évaluation
Amazon ML fournit des informations qui vous aident à vérifier si vous avez correctement évalué le modèle. Si l'évaluation ne répond pas à l'un des critères de validation, la console Amazon ML vous avertit en affichant le critère de validation qui n'a pas été respecté, comme suit.
+ **L'évaluation du modèle d'apprentissage-machine s'effectue sur des données mises de côté**
Amazon ML vous avertit si vous utilisez la même source de données pour la formation et l'évaluation. Si vous utilisez Amazon ML pour fractionner vos données, vous répondrez à ce critère de validité. Si vous n'utilisez pas Amazon ML pour diviser vos données, assurez-vous d'évaluer votre modèle ML avec une source de données autre que la source de données d'entraînement.
+ **Des données suffisantes ont été utilisées pour l'évaluation du modèle prédictif**
Amazon ML vous avertit si le nombre d'observations/d'enregistrements dans vos données d'évaluation est inférieur à 10 % du nombre d'observations que vous avez dans votre source de données d'entraînement. Pour évaluer correctement votre modèle, il est important de fournir un échantillon de données suffisamment grand. Ce critère vous permet de savoir si vous utilisez trop peu de données. La quantité de données requise pour évaluer votre modèle de machine learning est subjective. 10 % sont sélectionnés ici comme solution provisoire en l'absence d'une meilleure mesure.
+ **Correspondance des schémas**
Amazon ML vous avertit si le schéma de la source de données de formation et d'évaluation n'est pas le même. Si certains attributs n'existent pas dans la source de données d'évaluation ou si vous avez des attributs supplémentaires, Amazon ML affiche cette alerte.
+ **Tous les enregistrements issus des fichiers d'évaluation ont été utilisés pour l'évaluation des performances du modèle prédictif**
Il est important de savoir si tous les enregistrements fournis pour l'évaluation ont réellement été utilisés pour évaluer le modèle. Amazon ML vous avertit si certains enregistrements de la source de données d'évaluation n'étaient pas valides et n'ont pas été inclus dans le calcul des mesures de précision. Par exemple, si la variable cible est absente pour certaines observations de la source de données d'évaluation, Amazon ML n'est pas en mesure de vérifier si les prédictions du modèle ML pour ces observations sont correctes. Dans ce cas, les enregistrements avec des valeurs cibles manquantes sont considérés comme non valides.
+ **Distribution de la variable cible**
Amazon ML vous indique la distribution de l'attribut cible à partir des sources de données de formation et d'évaluation afin que vous puissiez vérifier si la cible est distribuée de la même manière dans les deux sources de données. Si le modèle a été formé sur des données de formation avec une distribution de la cible différente de la distribution de la cible sur les données d'évaluation, la qualité de l'évaluation pourrait en pâtir, car elle serait calculée sur des données dotées de statistiques très différentes. Il est recommandé d'avoir des données distribuées de manière similaire dans les données de formation et d'évaluation, et de faire en sorte que ces ensembles de données imitent autant que possible les données que le modèle rencontrera lorsqu'il réalisera des prédictions.
Si cette alerte se déclenche, essayez d'utiliser la stratégie de fractionnement aléatoire pour diviser les données en sources de données de formation et d'évaluation. Dans de rares cas, cette alerte peut vous avertir par erreur des différences de distribution cible, même si vous répartissez vos données de manière aléatoire. Amazon ML utilise des statistiques de données approximatives pour évaluer les distributions de données, déclenchant parfois cette alerte par erreur.