Traitement du langage et grands modèles

Traitement du langage et grands modèles

1. Des mots aux vecteurs

   Un modèle ne manipule pas du texte : il manipule des nombres. Tout commence donc par une conversion.

   Découpage

   Le tokenizer découpe le texte en unités, appelées jetons. Un mot peut être un jeton, une partie de mot, ou plusieurs mots réunis selon la ponctuation et la langue.

   Les jetons. Chaque identifiant de jeton est associé à un vecteur de nombres que le réseau apprend l'est. Un mot n'a pas de sens isolé : « bank » désigne une banque ou une rive selon la phrase, et seul le contexte permet de le trancher.

   Des vecteurs statiques aux vecteurs contextuels

   • word2vec et analogues : un vecteur unique par mot. Problème : « banque » a un seul vecteur pour deux sens.
   • embeddings contextuels : le vecteur dépend de la phrase. Le mot « banque » de la phrase sur la Seine et celui de la phrase sur le taux de change n'ont plus le même vecteur.

   La distance entre vecteurs reflète une similarité de sens, et c'est ce qui permet des usages comme le rapprochement automatique d'une question avec un document.

   Tâches classiques

   • classification : étiqueter un document ;
   • analyse d'opinion : détecter le sentiment ;
   • reconnaissance d'entités : extraire les noms, montants, dates ;
   • résumé et traduction : produire un texte.

2. L'architecture transformer

   Les réseaux récurrents lisaient le texte mot à mot, ce qui rendait l'entraînement lent et la mémorisation longue difficile. Le transformer change la donne : il lit toute la séquence en une fois, en parallèle, grâce à l'attention.

   Le mécanisme d'attention

   L'attention répond à une question simple : quels mots de la phrase doivent regarder quels autres mots ? En « l'animal n'a pas croisé le rue parce qu'il était fatigué », « il » doit se rattacher à « l'animal », et non à « rue ».

   Pour chaque mot, le mécanisme calcule trois vecteurs :

   • requête (query) : ce que le mot cherche ;
   • clé (key) : ce que le mot offre ;
   • valeur (value) : l'information réellement transmise.

   Le mécanisme compare chaque requête à toutes les clés pour obtenir des poids d'attention, puis fait une moyenne pondérée des valeurs. C'est ce qui permet à « il » de récupérer l'information de « l'animal » quelle que soit la distance entre les deux mots.

   Encodeur et décodeur

   • encodeur : lit et comprend. Base de la classification, de l'extraction d'entités et des vecteurs de recherche.
   • décodeur : produit du texte, jeton après jeton. Base de la génération.
   • encodeur-décodeur : lit d'un côté, écrit de l'autre. Base de la traduction et de la synthèse.

   Un modèle de langage prédit le jeton suivant à partir des précédents. C'est tout. Cette unique idée suffit à produire de la traduction, du résumé, du code et des réponses.

   Le prix à payer

   Chaque jeton compare sa requête à tous les autres : le coût est quadratique en longueur de séquence. D'où les fenêtres d'attention tronquées, les versions à contexte long, et le fait qu'un contexte gigantesque n'est pas gratuit, ni en calcul, ni en mémoire, ni en latence.

3. Grands modèles : usage, hallucinations et cadrage

   Un grand modèle de langage est un prédicteur de texte. Il n'accède pas à une base de connaissances vérifiée, il ne raisonne pas sur des faits, et il ne « sait » pas ce qu'il ne sait pas.

   L'hallucination

   Le modèle produit la suite la plus plausible, pas la suite vraie. Une citation d'article, une API ou un résumé inexistants sont donc parfaitement idiomatiques — et totalement faux. Il est essentiel d'écrire du contenu génératif dans l'ordre, de garder cette limite à l'esprit : sur un sujet qu'on ne maîtrise pas, la phrase produite est un indice, pas une preuve.

   Trois parades

   • Donner du contexte vérifiable au lieu de compter sur la mémoire du modèle : c'est le principe du RAG, où l'on retrieve des documents fiables avant de générer la réponse ;
   • Exiger des sources et les contrôler une par une ;
   • Restreindre les tâches à ce que le modèle fait bien : reformuler, classer, extraire, synthétiser un document fourni.

   L'affinage consiste à réentraîner un modèle déjà entraîné sur vos données. Le RAG, lui, ne change aucune requête : il enrichit la requête avec des documents trouvés au moment de l'appel. En pratique, on commence par le RAG, car il est réversible : on retire les documents et le système revient à son état précédent, alors qu'un affinage est difficile à défaire.

   Évaluer avant de déployer

   On n'évalue pas un grand modèle à l'œil. Trois niveaux :

   1. évaluation de base : un jeu de questions représentatives, notées sur un barème écrit à l'avance ;
   2. évaluation adversariale : chercher activement les cas où le modèle se trompe ;
   3. évaluation en production : taux d'abandon, reprises de la réponse, signalements, coût par requête.

   Un point de vigilance : fuite de données par la requête. Un modèle qui reçoit une question contenant une donnée personnelle peut la mémoriser. Aucune donnée personnelle ne part dans un modèle tiers sans base légale et information de la personne.