Vous avez peut-être entendu que l’IA s’est améliorée parce que les laboratoires ont « changé d’échelle ». Des modèles plus gros, plus de puces, plus de données. C’est à peu près exact, et il y a de vraies recherches derrière. Cela explique aussi quelque chose de pratique pour une entreprise : pourquoi la part que vous contrôlez, vos propres dossiers, compte plus qu’il n’y paraît.
Ce billet explique les lois d’échelle sans les mathématiques, en date de novembre 2026, et ce qu’il en découle pour une PME.
Ce qu’est une loi d’échelle
Une loi d’échelle est une régularité mesurée. Des chercheurs entraînent de nombreux modèles de tailles différentes, sur des quantités de données différentes, avec des quantités de calcul différentes, puis mesurent à quel point chacun prédit bien le mot suivant. Si la régularité est nette, on peut prédire de combien un modèle s’améliorera quand on lui donne plus de quelque chose.
Deux ingrédients reviennent sans cesse :
- Le calcul : la quantité de calculs consacrés à l’entraînement.
- Les données : la quantité de texte, sous forme de « jetons » (de petits morceaux de mots), que le modèle voit.
Le troisième est la taille du modèle : le nombre de paramètres, ces nombres ajustables à l’intérieur du modèle.
Ce qu’ont trouvé les recherches
En 2020, Jared Kaplan et ses collègues d’OpenAI ont publié « Scaling Laws for Neural Language Models ». Ils ont constaté que l’erreur du modèle suivait une régularité de type loi de puissance à mesure qu’augmentaient la taille du modèle, la taille du jeu de données et le calcul d’entraînement, sur plus de sept ordres de grandeur. Ils ont aussi constaté que des détails comme la forme exacte du réseau comptaient peu dans une large plage, et que les modèles plus gros utilisaient plus efficacement les données qu’ils voyaient. Leur lecture : pour un budget fixe, le meilleur plan était un très gros modèle entraîné sur une quantité modeste de données.
En 2022, Jordan Hoffmann et ses collègues de DeepMind ont publié « Training Compute-Optimal Large Language Models » et révisé cette conclusion. Sur plus de 400 modèles, ils ont soutenu que les grands modèles existants étaient nettement sous-entraînés : les laboratoires agrandissaient les modèles en gardant à peu près constante la quantité de données d’entraînement. Leur constat : la taille du modèle et les données d’entraînement devraient croître ensemble, de sorte que doubler le modèle signifie doubler les jetons. Pour le vérifier, ils ont entraîné Chinchilla, un modèle de 70 milliards de paramètres, avec le même calcul que Gopher, de 280 milliards de paramètres, mais environ quatre fois plus de données. Ils ont rapporté que Chinchilla surpassait Gopher, GPT-3 et d’autres modèles plus gros sur un large éventail de tâches, et qu’être plus petit le rendait moins coûteux à ajuster et à exécuter.
La leçon des deux articles réunis est simple : pour une quantité de calcul donnée, la quantité de bonnes données utilisées compte autant que la taille du modèle. L’équilibre était mauvais, puis il a été corrigé en regardant du côté des données.
Des réserves utiles à connaître
- Ce sont des régularités observées dans des montages précis. Elles décrivent ce qui s’est passé pour les modèles et les données étudiés. Ce ne sont pas des lois de la nature, et elles ne garantissent rien sur le prochain modèle.
- Elles mesurent la qualité de la prédiction du texte, pas l’utilité pour votre tâche. L’utilité dépend de ce pour quoi le modèle a été ajusté et de la façon dont vous l’utilisez.
- « Plus de données » suppose de bonnes données. Ce qui nous amène à la qualité.
La qualité compte, pas seulement la quantité
L’article « Textbooks Are All You Need » (Microsoft Research, 2023) a entraîné un petit modèle de code de 1,3 milliard de paramètres sur environ 6 milliards de jetons de données du Web choisies pour leur qualité éducative, plus environ 1 milliard de jetons de manuels et d’exercices synthétiques. Il a rapporté un résultat comparable à celui de modèles bien plus gros sur un test de programmation. Selon les auteurs, une sélection soignée des données peut faire une bonne part du travail qu’on attribuait à l’échelle. Là encore, ce sont leurs propres résultats sur un test précis.
Un autre article va en sens contraire. « The Curse of Recursion » (Shumailov et coll., 2023; puis Nature, 2024) a constaté que l’entraînement sur du contenu généré par des modèles antérieurs peut dégrader les suivants, et a suggéré que des données réelles, produites par des humains, prennent de la valeur à mesure que le contenu généré envahit le Web. Nous en avons parlé dans notre billet sur les données synthétiques.
Mis ensemble : les modèles ont été construits sur un bassin commun de texte public, ce bassin se remplit de plus en plus de texte écrit par des machines, et ce qui reste rare, c’est l’information propre, bien étiquetée, réelle, de source connue.
Où l’avantage se déplace
N’importe quelle entreprise peut appeler les mêmes modèles de pointe. Le calcul, et les données sur lesquelles ces modèles ont été entraînés, sont accessibles à quiconque peut en payer l’accès. La différence entre deux entreprises qui utilisent le même modèle n’est donc pas le modèle.
C’est ce que le modèle a sous les yeux quand il répond :
- vos prix actuels, pas la liste de l’an dernier trouvée sur le Web;
- vos vraies politiques et vos exceptions;
- l’historique de vos clients : ce qu’ils ont acheté, demandé, et dont ils se sont plaints;
- vos travaux, soumissions et résultats, dans vos propres mots;
- la façon dont votre équipe fait réellement les choses.
Pour presque toutes les PME, la voie pratique n’est pas d’entraîner un modèle là-dessus. C’est de garder les dossiers propres et de donner au modèle les bons au moment où il répond, puis de vérifier ce qui revient. C’est un projet plus petit, moins coûteux et plus maîtrisable que l’entraînement d’un modèle, et il met à profit ce que vous avez et que personne d’autre n’a.
Notre essai précédent sur les plaques tectoniques de la techno faisait un constat voisin : à mesure que chaque couche de technologie devient moins chère et largement accessible, la valeur se déplace vers ce qui reste rare. En ce moment, pour l’IA, une bonne part de ce qui est rare, c’est le contexte.
Ce que ça change pour votre entreprise
1. Traitez vos dossiers comme un actif. Prix, politiques, produits, historique des travaux, notes sur les clients. S’ils sont éparpillés dans des boîtes de réception, des chiffriers et des têtes, un modèle ne peut pas s’en servir.
2. Mettez la qualité avant le volume. Une liste de prix courte, exacte et à jour vaut mieux qu’une longue liste périmée. Éliminez les doublons et les contradictions, et mettez une date et un responsable sur chaque fait.
3. Gardez une source unique. Si trois documents se contredisent, un modèle, et une nouvelle recrue, en choisiront un au hasard.
4. Marquez ce qui est réel et ce qui est généré. Ne laissez pas des brouillons, des résumés ou des données d’essai glisser dans vos dossiers comme s’ils étaient des faits.
5. N’attendez pas du prochain modèle plus gros qu’il comble les faits manquants. Un modèle plus intelligent qui n’a jamais vu votre liste de prix ne peut toujours pas la citer.
6. Vérifiez ce qui revient. Un meilleur contexte réduit le risque d’une mauvaise réponse. Il ne l’élimine pas : les approbations et les vérifications comptent toujours.
Ce que ça donne chez Humonix
C’est la raison d’être de Know. Know est le dossier unique où vivent les faits d’un client : ce que l’entreprise vend, facture et promet, et ce qui s’est passé avec chaque client. Hue répond à partir de lui en montrant d’où vient une réponse, et tout ce qui est public, tarifé ou payé attend dans la file d’approbation qu’une personne s’en occupe.
Nous n’entraînons pas de modèles sur les données de clients, et nous ne prétendons pas que la taille d’un modèle fait fonctionner Humonix. Nous tenons les dossiers en ordre et donnons aux modèles les bons. Chaque fonction d’une page de module porte la mention Disponible, Accès anticipé ou À venir, pour que vous voyiez ce qui fonctionne aujourd’hui. Voyez L’entreprise agentique pour comprendre comment les pièces s’emboîtent.
Sources
- Kaplan et coll., « Scaling Laws for Neural Language Models » (arXiv:2001.08361, 2020)
- Hoffmann et coll., « Training Compute-Optimal Large Language Models » (arXiv:2203.15556, 2022)
- Gunasekar et coll., « Textbooks Are All You Need » (arXiv:2306.11644, 2023)
- Shumailov et coll., « The Curse of Recursion: Training on Generated Data Makes Models Forget » (arXiv:2305.17493)
Ce billet est de l’information générale, pas un avis technique ni juridique.