MLOps et qualité des modèles

MLOps et qualité des modèles

1. Reproductibilité : l'expérience qui compte

   Un modèle non reproductible est un modèle qu'on ne peut ni corriger, ni auditer, ni migrer. La reproductibilité n'est pas pas une élégance technique : c'est la condition d'exploitation.

   Ce qu'il faut consigner à chaque entraînement

   1. la version des données : le jeu d'entraînement, avec une empreinte de contrôle (checksum) pour garantir qu'il n'a pas bougé ;
   2. le code : la version exacte du dépôt, pas « la branche principale » ;
   3. l'environnement : versions de Python et des bibliothèques, idéalement via un fichier verrouillé ;
   4. les hyperparamètres et la configuration ;
   5. les métriques sur chaque jeu ;
   6. l'empreinte du modèle produit.

   Geler les dépendances

   Une version non épinglée est une source d'irreproductibilité silencieuse. On verrouille les versions dans un fichier dédié et on s'appuie dessus.

   Le résultat obtenu par un tiers ne dépend plus du jour où il a tourné, mais de la version déclarée. C'est aussi ce qui permet de diagnostiquer : sans trace figée, un score qui change n'a aucune explication possible.

2. Passer en production, et surveiller

   Un modèle en production n'est pas fini. Il dérive, parce que le monde dérive.

   La dérive des données

   La distribution des données d'entrée change : nouvelle campagne, nouveau matériel, nouvelle saisonnalité, changement d'habitude de consommation. Le modèle reçoit alors des entrées qu'il n'a jamais vues, et son exactitude réelle baisse sans qu'aucune alerte ne se déclenche, parce que tout continue de fonctionner techniquement.

   La dérive de la performance est plus grave : elle vient du lien entre les entrées et la cible, qui se dégrade.

   Ce qu'on surveille

   • entrées : distribution, valeurs manquantes, valeurs inattendues ;
   • sorties : répartition des prédictions, taux de refus, latence ;
   • performance : quand les étiquettes réelles arrivent, on peut mesurer l'exactitude réelle, la seule qui compte ;
   • dépendances : changement de version d'un composant en amont.

   Alerte et retour arrière

   Une surveillance sans procédure n'est pas une surveillance. Le dispositif se résume à trois questions auxquelles il faut pouvoir répondre :

   1. quelle métrique surveille-t-on, et quel seuil déclenche une alerte ?
   2. que fait-on à l'alerte — on alerte qui ?
   3. combien de temps faut-il pour revenir à la version précédente ?

   Sans réponse à la troisième question, la reprise d'activité peut prendre des jours. Le retour arrière doit être aussi immédiat que le déploiement.

   Décider de la mise en production

   Avant de publier, on statue sur ce qui doit rester vrai et donc être testé : un niveau de performance minimal, un comportement correct sur des cas limites, une latence maximale, un coût par requête, un seuil de disponibilité. Ces critères deviennent des tests automatiques : c'est la seule manière de les tenir dans la durée.

3. Le coût total, et le premier projet

   Le coût total d'un projet

   Le modèle n'est qu'une ligne :

   • acquisition et nettoyage des données : la ligne la plus sous-estimée ;
   • annotation, si un humain doit étiqueter : elle détermine le plafond de qualité ;
   • inférence : le coût se répète à chaque appel, il est donc cumulatif ;
   • maintenance : surveillance, réentraînement, mise à jour des dépendances ;
   • explication et audit, exigés de plus en plus par les textes en vigueur.

   Par quoi commencer

   Le premier projet qui réussit n'est pas le plus ambitieux, c'est celui qui répond à une question précise, avec une donnée disponible et un coût d'erreur connu. Trois critères de choix :

   1. la donnée existe-t-elle déjà, et quelqu'un l'a-t-il vue ?
   2. connaissez-vous le coût d'une erreur ?
   3. pouvez-vous mesurer l'effet sur une décision réelle ?

   Et la question la plus rentable du début : une règle explicite suffit-elle ? Si un expert sait formuler la règle, un modèle est rarement nécessaire — il sera plus coûteux, moins lisible et moins maintenable qu'un tableau.