Quand vous regardez une démonstration d’IA, vous voyez la meilleure exécution. Quand vous dirigez une entreprise, vous vivez avec toutes les autres.


Un outil brillant 90 fois sur 100 et dans l’erreur les 10 autres fois peut être pire qu’un outil simple qui a raison chaque fois, si vous ne pouvez pas dire lesquelles sont lesquelles. Ce billet soutient que, pour un usage en entreprise, la fiabilité est la fonction à chercher en premier : faire la même chose correctement, pouvoir être vérifié, et laisser une trace. Il s’appuie sur des recherches publiées et sur une cause connue, en date de novembre 2026.


Capacité ou fiabilité


La capacité, c’est ce qu’un modèle peut faire dans ses meilleurs moments : résoudre un problème difficile, rédiger un bon brouillon, trouver un détail rare.


La fiabilité, c’est la fréquence à laquelle il fait la bonne chose sur de nombreux essais, la façon dont il échoue quand il échoue, et le fait que vous puissiez ou non le constater.


Les deux sont différentes et se mesurent différemment. Un modèle peut dominer un test de capacité et donner quand même une réponse différente à la même question mardi.


Ce que dit la recherche sur la constance


Un article de 2024 de Shunyu Yao et de ses collègues, « τ-bench », a mis à l’essai des agents sur des tâches qui ressemblent à du vrai travail de service : un client simulé qui parle à un agent devant suivre la politique d’une entreprise et utiliser des outils, par exemple pour modifier une commande. Le succès était jugé selon que le système se retrouvait dans le bon état, pas selon que la conversation avait l’air juste.


Les auteurs ont proposé une mesure appelée pass^k : la probabilité qu’un agent réussisse la *même* tâche à chacun de k essais. Leurs constats, qui décrivent les modèles qu’ils ont testés en 2024 : même les agents à appel de fonctions les plus avancés réussissaient moins de la moitié des tâches, et la constance était faible, avec un pass^8 sous 25 % dans le domaine de la vente au détail. Autrement dit, un agent qui réussissait une tâche une fois ne pouvait souvent pas la réussir huit fois de suite.


Deux mises en garde. Ce sont des modèles de 2024; les systèmes ont changé depuis, et nous ne citons pas de résultat actuel. Et un test de référence n’est pas votre entreprise. Mais l’idée derrière la mesure est ce qui compte : demandez à quelle fréquence il a raison chaque fois, pas à quelle fréquence il a raison une fois.


Ce que peut coûter un assistant peu fiable


En février 2024, un tribunal de la Colombie-Britannique a tranché *Moffatt c. Air Canada*. Un client affirmait que l’agent conversationnel du site d’Air Canada lui avait donné de faux renseignements sur les tarifs de deuil. Air Canada soutenait que l’agent était une entité juridique distincte, responsable de ses propres actes. Le tribunal a rejeté cet argument, conclu qu’Air Canada n’avait pas pris les précautions raisonnables pour assurer l’exactitude de son agent, l’a tenue responsable de déclaration inexacte faite par négligence et a accordé au client environ 650 $ en dommages-intérêts, plus les intérêts et les frais. C’est une décision de petites créances d’un tribunal provincial, pas une décision d’appel qui lie les autres, et des commentateurs ont discuté de sa portée. La leçon pratique est plus simple : une entreprise peut être tenue de respecter ce que dit son assistant.


Quatre niveaux de fiabilité


1. La constance


Même entrée, même sortie, autant que possible. Pour le travail courant, encadré par des règles, mettez les règles dans du code et réservez le modèle aux parties qui exigent du langage. Un total égal à la somme de ses lignes est un calcul, pas un jugement.


2. La vérification


Vérifiez le résultat avant qu’il compte, et faites-le avec autre chose que le modèle qui l’a produit. Les totaux contre les lignes. Les dates contre le calendrier. Les prix contre la liste de prix. Les noms contre la fiche du client. Si une vérification échoue, le brouillon est rejeté ou envoyé à une personne.


3. Les approbations


Une personne décide de ce qui sort de l’entreprise : un message à un client, un prix, un paiement, une publication publique. Plus l’action est irréversible, plus une personne nommée devrait clairement assumer la décision. Ce n’est pas un signe que l’IA a échoué. C’est la façon dont le travail professionnel a toujours été contrôlé.


4. La piste d’audit


Un registre de ce que l’agent a fait, des données dont il s’est servi, de qui a approuvé et quand. Il vous permet de répondre à un client, de corriger une erreur à sa source, et de montrer à un organisme de réglementation ou à un assureur ce qui s’est passé.


Le cadre de gestion des risques de l’IA du NIST organise ce genre de travail en quatre fonctions : gouverner, cartographier, mesurer et gérer. Vous n’avez pas à l’adopter formellement, mais c’est une liste de vérification utile de ce que couvre un programme d’IA responsable.


Comment mettre un agent à l’essai sur votre propre travail


1. Choisissez une tâche et écrivez à quoi ressemble le correct. « Coder cette facture au bon compte », « répondre à partir de la liste de prix ».

2. Rassemblez de 30 à 50 exemples réels dont les bonnes réponses sont connues, y compris des cas tordus.

3. Faites-les passer plusieurs fois et comptez à quelle fréquence le résultat est identique et juste. Une tâche réussie 8 fois sur 10 n’est pas la même proposition qu’une tâche réussie 10 fois sur 10.

4. Regardez les échecs, pas la moyenne. Sont-ils évidents et faciles à repérer, ou discrets et plausibles?

5. Mettez les limites à l’épreuve : un champ manquant, un dossier contradictoire, un client en colère, une demande hors politique. Le bon comportement peut être de s’arrêter et de poser une question.

6. Refaites l’essai après tout changement, de modèle, de consignes ou de données.

7. Continuez la surveillance après le lancement. Échantillonnez le travail réel chaque semaine.


Questions à poser à un fournisseur


  • Qu’est-ce qui vérifie le résultat avant l’envoi, et la vérification est-elle extérieure au modèle?
  • Quelles actions exigent l’approbation d’une personne, et puis-je fixer la limite?
  • Existe-t-il un registre de ce que l’agent a fait, de ce dont il s’est servi et de qui a approuvé?
  • Que fait l’agent quand il hésite?
  • Comment mettez-vous la constance à l’essai, et quand cela a-t-il été fait pour la dernière fois?
  • Que se passe-t-il quand vous changez le modèle sous-jacent?
  • Quelles fonctions sont disponibles aujourd’hui, et lesquelles sont prévues?

Ce que ça change pour votre entreprise


  • Commencez par le travail qui peut être vérifié. Totaux, correspondances, champs obligatoires, dates.
  • Faites de l’approbation la règle pour tout ce qui sort de l’entreprise, et ne l’assouplissez que là où un long historique de résultats propres le justifie.
  • Exigez un registre. Si vous ne pouvez pas voir ce que l’agent a fait, vous ne pouvez ni le corriger ni le défendre.
  • Préférez un outil plus petit en qui vous avez confiance à un plus gros qui ne vous l’inspire pas.
  • Méfiez-vous de la « justesse » comme chiffre unique. Posez aussi des questions sur la constance et sur le comportement en cas d’échec.

Ce que ça donne chez Humonix


C’est la conception même, pas un ajout. Dans Hue, tout ce qui envoie, dépense, modifie un prix ou devient public attend l’approbation d’une personne nommée, et la décision est consignée dans un registre à ajout seulement, chaîné par hachage, avec qui et quand; la page sur l’architecture le décrit. Know tient les faits auxquels un brouillon est confronté. Et chaque fonction d’une page de module porte la mention Disponible, Accès anticipé ou À venir, parce que dire honnêtement ce qui fonctionne aujourd’hui fait partie de la fiabilité.


Nous ne promettons pas que Hue ne se trompe jamais. Nous promettons de vous montrer ce qu’il a fait, de placer une personne devant tout ce qui compte, et de dire ce qui n’est pas encore construit. Voyez L’entreprise agentique et la page de sécurité de Hue.


Sources



Ce billet est de l’information générale, pas un avis technique ni juridique.