Si vous utilisez un assistant d’IA au travail, vous avez déjà senti l’effet d’une étape dont la plupart des propriétaires n’entendent jamais parler. Avant de vous répondre, un modèle passe par deux étapes. Dans la première, il lit une quantité énorme de texte et apprend à prédire ce qui vient ensuite. Dans la seconde, qu’on appelle le post-entraînement, il est façonné pour bien se comporter : suivre des consignes, être utile, refuser certaines demandes, montrer son raisonnement devant un problème difficile.


Deux méthodes font une bonne part de cette seconde étape, et leurs noms se confondent facilement : le RLHF et le RLVR. Ce billet explique les deux simplement, en date de novembre 2026. Ce n’est pas un guide technique. Il vise à vous aider à juger ce qu’un outil d’IA fait bien, et où une personne doit encore regarder.


La version courte


  • Le RLHF (Reinforcement Learning from Human Feedback, ou apprentissage par renforcement à partir de la rétroaction humaine) : des gens comparent les réponses du modèle, et celui-ci est ajusté vers les réponses qu’ils préfèrent.
  • Le RLVR (Reinforcement Learning with Verifiable Rewards, ou apprentissage par renforcement avec récompenses vérifiables) : un programme vérifie la réponse, et le modèle n’est récompensé que si la vérification réussit.

L’un apprend ce que les gens aiment. L’autre apprend ce qui est démontrablement juste, mais seulement là où « juste » peut être vérifié par un programme.



Dans le RLHF, le juge est un modèle entraîné sur les préférences de personnes. Dans le RLVR, le juge est un vérificateur, comme un test ou un calcul.


Comment fonctionne le RLHF


La description la plus connue est l’article de 2022 d’OpenAI, « Training language models to follow instructions with human feedback ». Les auteurs sont partis de GPT-3, lui ont montré des exemples de bonnes réponses écrites par des gens, puis ont recueilli des classements où des personnes comparaient plusieurs réponses à une même consigne. Un second modèle a appris à prédire ces classements. Le modèle de langage a ensuite été ajusté pour produire des réponses que ce « modèle de récompense » notait bien.


Le résultat marquant mérite d’être connu : dans des évaluations humaines, les réponses d’un modèle de 1,3 milliard de paramètres entraîné ainsi ont été préférées à celles du GPT-3 original de 175 milliards de paramètres. Les auteurs ont aussi indiqué que le modèle faisait encore de simples erreurs. Les deux moitiés comptent. La rétroaction a rendu le modèle bien plus utile aux personnes qui le jugeaient. Elle ne l’a pas rendu fiable.


Le RLHF explique pourquoi les assistants conversationnels semblent serviables et polis au lieu de prolonger votre phrase au hasard. Il est efficace pour tout ce qui n’a pas de réponse unique : le ton, la clarté, le niveau de détail, le moment de refuser.


Où le RLHF s’arrête


  • Les gens n’ont pas toujours raison, ni toujours la même opinion. Les évaluateurs peuvent préférer une réponse assurée à une réponse juste, ou une réponse longue à une meilleure.
  • Le modèle de récompense est un substitut. C’est une estimation apprise de ce que les gens aiment. Un article de 2022 de Leo Gao, John Schulman et Jacob Hilton (« Scaling Laws for Reward Model Overoptimization ») a constaté qu’optimiser à fond contre un modèle de récompense imparfait peut dégrader la qualité réelle, conformément à la loi de Goodhart : quand une mesure devient un objectif, elle cesse d’être une bonne mesure.
  • C’est coûteux à recueillir. Le jugement humain prend du temps et de l’argent à grande échelle.

Comment fonctionne le RLVR


Certaines tâches ont une réponse qu’un programme peut vérifier. Un problème de mathématiques a un résultat. Un code réussit ses tests ou non. Une consigne comme « répondez en exactement trois puces » se compte.


Le RLVR en tire parti. Le nom vient de Tülu 3, une recette ouverte de post-entraînement publiée en novembre 2024, qui présente le RLVR comme une nouvelle méthode. La récompense est simple : si la réponse du modèle est vérifiée comme juste, il obtient une récompense; sinon, rien. Aucun modèle de récompense ne remplace une personne. Les auteurs de Tülu 3 rapportent que cette étape a amélioré les résultats sur des tests de mathématiques et de respect des consignes (GSM8K, MATH et IFEval), dans des proportions modestes selon leurs tableaux.


L’idée a rejoint un public plus large avec DeepSeek-R1, publié en janvier 2025 (puis dans Nature). Les auteurs rapportent que l’apprentissage par renforcement sur des tâches à réponse vérifiable, en mathématiques, en programmation de compétition et en sciences, a pu faire apparaître des comportements de raisonnement, comme la vérification de son propre travail, sans exemples écrits par des humains des étapes du raisonnement. Ils rapportent que le modèle obtenu a surpassé des modèles entraînés sur des démonstrations humaines sur ces tâches vérifiables. Ce sont les résultats des auteurs, sur leurs propres tests.


Où le RLVR s’arrête


  • Il ne fonctionne que là où un vérificateur existe. Qu’un courriel soit chaleureux, ou qu’une soumission soit équitable pour le client, aucun programme ne répond par réussite ou échec.
  • Le vérificateur peut se tromper ou être contourné. Un test faible peut être satisfait sans résoudre le vrai problème. La même logique que celle de Goodhart s’applique : un modèle récompensé pour avoir réussi une vérification trouvera le chemin le moins coûteux pour la réussir.
  • Une réponse juste n’est pas une bonne décision. Vérifier que 2 340 plus 780 font 3 120 ne dit rien sur l’opportunité d’envoyer la facture.

Pourquoi la différence compte pour les agents


Un assistant qui clavarde et un agent qui travaille n’ont pas les mêmes besoins. Beaucoup de travail courant en entreprise est vérifiable :


  • Le total de la facture est-il égal à la somme de ses lignes, et correspond-il au bon de commande?
  • Le dépôt bancaire est-il égal aux paiements que vous avez appliqués?
  • La fiche du CRM correspond-elle au formulaire signé, champ par champ?
  • Chaque champ obligatoire a-t-il été rempli?

Les récompenses vérifiables sont ici un bon signe. Les modèles façonnés par le RLVR sont entraînés précisément sur le travail dont la réponse peut être vérifiée, ce qui explique en partie pourquoi les modèles récents sont plus forts en mathématiques, en code et en tâches structurées. C’est un pari raisonnable, pas une promesse, que la saisie de données, le rapprochement et d’autres travaux encadrés par des règles en profitent aussi. Vos propres tâches doivent quand même être mises à l’essai sur vos propres dossiers.


Mais regardez ce que ces exemples ont en commun : la vérification se trouve à l’extérieur du modèle. Un bon système ne se fie pas au modèle pour dire qu’il avait raison. Il exécute la vérification. Additionner les lignes. Comparer les totaux. Rejeter le brouillon si les chiffres diffèrent.


Ce que ça change pour votre entreprise


1. Séparez votre travail entre le vérifiable et le jugement. Le travail vérifiable, comme les totaux, les correspondances, les champs obligatoires et les dates, peut être vérifié par du code et constitue un bon premier terrain pour un agent. Le travail de jugement, comme le ton, les prix, les exceptions et ce qu’on dit à un client contrarié, demande une personne.

2. Placez un vérificateur à côté de chaque agent. Demandez à tout fournisseur : qu’est-ce qui vérifie le résultat avant qu’il compte? Si la réponse est « le modèle est très précis », continuez de poser des questions.

3. Gardez une personne au poste d’approbation pour tout ce qui sort de l’entreprise. Le RLHF rend les modèles agréables; le RLVR les rend meilleurs sur les tâches vérifiables. Ni l’un ni l’autre ne rend un modèle responsable. Une personne qui approuve un message, un prix ou un paiement, oui.

4. Mesurez sur vos propres exemples. Prenez de 30 à 50 cas réels de votre travail, dont la bonne réponse est connue, et faites-y passer tout outil avant de vous y fier.

5. Ne lisez pas l’acronyme comme une garantie. « Entraîné avec des récompenses vérifiables » décrit une méthode. Ce n’est pas une promesse sur vos factures.


Ce que ça donne chez Humonix


Humonix n’entraîne pas de modèles de fondation. Nous utilisons des modèles entraînés par d’autres laboratoires : ce n’est donc pas une affirmation sur notre propre entraînement. Nous empruntons l’idée : partout où un résultat peut être vérifié par du code, il devrait l’être, et partout où il ne le peut pas, une personne l’approuve.


Concrètement, c’est pourquoi tout ce qui est public, tarifé ou payé attend dans la file d’approbation de Hue, et pourquoi chaque fonction d’une page de module porte la mention Disponible, Accès anticipé ou À venir, au lieu d’être décrite comme fonctionnelle. Know, le dossier unique, est ce à quoi une vérification compare : un brouillon est confronté à vos faits, et non à la mémoire du modèle. Voyez Know, Hue et le livre blanc L’entreprise agentique. Le glossaire donne les termes en langage simple.


Rien de cela ne garantit un résultat. Cela réduit ce qui peut mal tourner et place une personne là où se trouve le jugement.


Sources



Ce billet est de l’information générale, pas un avis technique ni juridique.