Fondamentaux de l'apprentissage automatique

Fondamentaux de l'apprentissage automatique

1. Apprentissage supervisé, non supervisé et par renforcement

   Un modèle n'apprend que ce qu'on lui montre. Toute la difficulté tient en une phrase : construire un jeu de données qui reflète le problème réel.

   Trois familles

   • Supervisé : chaque exemple est étiqueté. Le modèle apprend une fonction d'entrées vers étiquettes. Cas typiques : classer un e-mail, estimer un prix, détecter une fraude.
   • Non supervisé : aucune étiquette. Le modèle cherche une structure. Cas typiques : segmenter une base de clients, réduire une dimension, détecter des anomalies.
   • Par renforcement : un agent agit dans un environnement et reçoit une récompense. Cas typiques : pilotage, logistique, recommandation avec boucle.

   Données, caractéristiques, étiquettes

   Une caractéristique (feature, variable explicative) est une colonne mesurable. Une étiquette (label, target, variable expliquée) est ce qu'on cherche à prédire. Un modèle n'apprend que des corrélations : il ne comprend ni le métier, ni le contexte, ni les causes.

   Apprentissage, validation, test

   Trois jeux de données, trois rôles, et l'ordre compte :

   1. entraînement : le modèle ajuste ses paramètres sur ces exemples ;
   2. validation : sert à choisir entre des variantes et à régler les hyperparamètres ;
   3. test : le seul jeu qui n'a jamais servi à décider quoi que ce soit. Il est consulté une fois, à la fin.

   Réutiliser le jeu de test pour ajuster un modèle, c'est l'annuler. À force de regarder ses résultats, on l'a fait devenir un jeu de validation sous un autre nom : le score affiché est alors optimiste et ne reflète plus rien de la production.

   Surapprentissage et sous-apprentissage

   • Surapprentissage : score excellent en entraînement, médiocore en test. Le modèle a mémorisé le bruit du jeu au lieu d'apprendre la règle.
   • Sous-apprentissage : score médiocre partout. Le modèle est trop simple, ou les variables retenues ne portent pas le signal.

   Fuite de données

   Une fuite, c'est quand une caractéristique du test apparaît dans les données d'entraînement. Exemple : prédire si un client résilie et utiliser la variable « a résilié le mois dernier ». Le modèle obtient un score parfait et ne sert à rien, parce que l'information n'existait pas au moment de la prédiction.

   C'est l'erreur la plus coûteuse du domaine : elle produit un score flatteur et un modèle inutilisable. On la détecte en se demandant, pour chaque variable : étais-ce réellement disponible au moment de la décision ?

2. Choisir la bonne métrique

   Une métrique mal choisie est un objectif mal placé. L'exactitude (accuracy) est le premier réflexe, et c'est presque toujours le mauvais.

   Classification

   • Matrice de confusion : quatre cases — vrais positifs (VP), faux positifs (FP), faux négatifs (FN), vrais négatifs (VN). Tout le reste s'en dérive.
   • Précision : parmi les positifs annoncés, quelle part est correcte ? VP / (VP + FP). À privilégier quand un faux positif coûte cher.
   • Rappel : parmi les vrais positifs, combien ont été trouvés ? VP / (VP + FN). À privilégier quand un faux négatif coûte cher.
   • Score F1 : moyenne harmonique des deux. Utile quand on ne peut pas trancher.
   • Exactitude : (VP + VN) / total. Trompeuse sur classes déséquilibrées : un détecteur de panne qui répond toujours « rien » obtient 99 % d'exactitude sur une base sans panne.

   Aucune métrique n'est universelle : le bon choix dépend du coût réel de chaque erreur, qui est une décision métier et jamais une décision technique.

   Régression

   • Erreur absolue moyenne (MAE) : moyenne des écarts en valeur absolue. Exprimée dans l'unité de la cible, donc lisible.
   • Erreur quadratique moyenne (RMSE) : penalise fortement les grosses erreurs, utile si les valeurs aberrantes comptent.
   • R² : part de variance expliquée. Proche de 1, le modèle suit bien ; négatif, il est moins bon qu'une simple moyenne.

   Au-delà d'une métrique

   • Courbe précision-rappel : compromis selon le seuil de décision retenu.
   • Courbe ROC et aire sous la courbe (AUC) : capacité à séparer les classes, quel que soit le seuil. À manier avec prudence sur données déséquilibrées.
   • Matrice de confusion : elle reste la seule façon de comprendre quelles erreurs le modèle commet.